資料工程師 的 Livy API 是什麼?

適用於:✅ Fabric 資料工程與資料科學

Microsoft Fabric Livy API 允許使用者在與 Fabric Lakehouse 相關的 Spark 運算中提交並執行 Spark 程式碼,免除建立任何筆記本或 Spark 工作定義的產物。 這與 Lakehouse 整合可確保直接存取儲存在 OneLake 上的數據。

功能

Fabric Livy API 支援以下工作類型:

  • Session jobs — Livy 會話工作會建立一個 Spark 會話,該會話在整個與 Livy API 的互動過程中持續保持活躍。 會話對於互動式工作負載非常有用。 工作階段從提交工作開始,持續到使用者結束工作或系統在 20 分鐘不活動後終止工作為止。 多個工作可在一個工作階段內執行,並在執行間共享狀態與快取資料。
  • 批次工作 — Livy 批次工作會提交一個 Spark 應用程式以執行單一工作。 與 session 工作不同,批次工作不會連續維持 Spark session。 每個工作都會啟動一個新的 Spark 會話,該工作結束時結束,這對於不依賴先前計算或需要維持狀態的任務來說很有效。
  • 高並行會話 — 高並行(HC)會話允許用戶端取得多個獨立執行上下文,從而實現Spark的同時執行。 每個 HC 會話對應至共享底層 Livy 會話中的 Spark REPL(Read-Eval-Print Loop),以支援平行執行、資源使用的可預測性,並實現同時請求間的隔離。 欲了解更多資訊,請參閱 Fabric Livy API 中的 High 並行支援

備註

高並發支援是加成性的,不會改變現有的 Livy API 合約。 現有的 Livy 會話與批次工作負載則可繼續運作,無需修改。

開始使用 Livy API