適用於:✅ Fabric 資料工程與資料科學
Microsoft Fabric Livy API 允許使用者在與 Fabric Lakehouse 相關的 Spark 運算中提交並執行 Spark 程式碼,免除建立任何筆記本或 Spark 工作定義的產物。 這與 Lakehouse 整合可確保直接存取儲存在 OneLake 上的數據。
功能
Fabric Livy API 支援以下工作類型:
- Session jobs — Livy 會話工作會建立一個 Spark 會話,該會話在整個與 Livy API 的互動過程中持續保持活躍。 會話對於互動式工作負載非常有用。 工作階段從提交工作開始,持續到使用者結束工作或系統在 20 分鐘不活動後終止工作為止。 多個工作可在一個工作階段內執行,並在執行間共享狀態與快取資料。
- 批次工作 — Livy 批次工作會提交一個 Spark 應用程式以執行單一工作。 與 session 工作不同,批次工作不會連續維持 Spark session。 每個工作都會啟動一個新的 Spark 會話,該工作結束時結束,這對於不依賴先前計算或需要維持狀態的任務來說很有效。
- 高並行會話 — 高並行(HC)會話允許用戶端取得多個獨立執行上下文,從而實現Spark的同時執行。 每個 HC 會話對應至共享底層 Livy 會話中的 Spark REPL(Read-Eval-Print Loop),以支援平行執行、資源使用的可預測性,並實現同時請求間的隔離。 欲了解更多資訊,請參閱 Fabric Livy API 中的 High 並行支援。
備註
高並發支援是加成性的,不會改變現有的 Livy API 合約。 現有的 Livy 會話與批次工作負載則可繼續運作,無需修改。
開始使用 Livy API
- 學習如何使用 Livy API 在 Fabric 中建立並執行 Spark 工作:
- 使用 Livy API 提交 Spark 工作階段作業
- 使用 Livy API 提交 Spark 批次作業。
- Fabric Livy API 的高並行支援。