分享方式：

Spark 中的程式庫管理

  • 文章

注意

AKS 上的 Azure HDInsight 將於 2025 年 1 月 31 日退場。 請於 2025 年 1 月 31 日之前，將工作負載移轉至 Microsoft Fabric 或對等的 Azure 產品，以免工作負載突然終止。 訂用帳戶中剩餘的叢集將會停止，並會從主機移除。

在淘汰日期之前，只有基本支援可用。

重要

此功能目前為預覽功能。 Microsoft Azure 預覽版增補使用規定包含適用於 Azure 功能 (搶鮮版 (Beta)、預覽版，或尚未正式發行的版本) 的更多法律條款。 若需此特定預覽版的相關資訊，請參閱 Azure HDInsight on AKS 預覽版資訊。 如有問題或功能建議，請在 AskHDInsight 上提交要求並附上詳細資料，並且在 Azure HDInsight 社群上追蹤我們以獲得更多更新資訊。

程式庫管理的目的是讓開放原始碼或自訂程式碼可供叢集上執行的筆記本和作業使用。 您可以從 PyPI 存放庫上傳 Python 程式庫。 本文著重於在叢集 UI 中管理程式庫。 Azure HDInsight on AKS 已包含叢集中的許多常見程式庫。 若要查看 HDI on AKS 叢集中包含哪些程式庫，請檢閱程式庫管理頁面。

安裝程式庫

您可使用兩種模式安裝程式庫：

  • 叢集安裝
  • 筆記本範圍

叢集安裝

在叢集上執行的所有筆記本都可以使用叢集程式庫。 您可以直接從公用存放庫安裝叢集程式庫，例如 PyPi。 從 Maven 存放庫上傳，從雲端儲存體上傳自訂程式庫位於藍圖中。

顯示安裝有叢集程式庫管理員頁面的螢幕擷取畫面。

筆記本範圍

適用於 Python 和 Scala 的筆記本範圍程式庫，可讓您安裝程式庫，並建立範圍設為筆記本工作階段的環境。 這些程式庫不會影響在相同叢集上執行的其他筆記本。 筆記本範圍的程式庫不會保存，而且必須針對每個工作階段重新安裝。

注意

當您需要特定筆記本的自訂環境時，請使用筆記本範圍的程式庫。

程式庫安裝模式

PyPI：藉由在安裝 UI 中提及程式庫名稱和版本，從開放原始碼 PyPI 存放庫擷取程式庫。

檢視已安裝的程式庫

  1. 從 [概觀] 頁面，瀏覽至 [程式庫管理員]。

    顯示程式庫管理員頁面的螢幕擷取畫面。

  2. 從 Spark 叢集管理員，按一下 [程式庫管理員]。

  3. 您可以從這裡檢視已安裝的程式庫清單。

    顯示如何檢視已安裝之程式庫的螢幕擷取畫面。

新增程式庫小工具

PyPI

  1. 從 [PyPI] 索引標籤，輸入 [套件名稱] 和 [套件版本]。

  2. 按一下 [安裝]。

    顯示如何安裝 PyPI 的螢幕擷取畫面。

解除安裝程式庫

如果您決定不再使用程式庫，您可以透過程式庫管理頁面中的解除安裝按鈕輕鬆地刪除程式庫套件。

  1. 選取並按一下程式庫名稱

    顯示如何選取程式庫的螢幕擷取畫面。

  2. 按一下小工具中的 [解除安裝]

    顯示如何解除安裝程式庫的螢幕擷取畫面。

    注意

    • 從 Jupyter Notebook 安裝的套件只能從 Jupyter Notebook 中刪除。
    • 從程式庫管理員安裝的套件，只能從程式庫管理員解除安裝。
    • 若要升級程式庫/套件，請解除安裝目前版本的程式庫，並重新安裝所需的程式庫版本。
    • 從 Jupyter Notebook 安裝程式庫特別適合於工作階段。 它不是持久的。
    • 安裝繁重的套件可能因為其大小和複雜度而需要一些時間。