共用方式為

從套件存放庫安裝連結庫

  • 發行項

Azure Databricks 提供從 PyPI、Maven 和 CRAN 套件存放庫安裝連結庫的工具。 如需完整的連結庫相容性詳細數據，請參閱 叢集範圍連結庫 。

重要

使用 Databricks Runtime 14.3 LTS 和以下版本時，可以從 DBFS 安裝連結庫。 不過，任何工作區使用者都可以修改儲存在 DBFS 中的連結庫檔案。 若要改善 Azure Databricks 工作區中連結庫的安全性，在 Databricks Runtime 15.1 和更新版本中預設會取代和停用 DBFS 根目錄中的連結庫檔案。 請參閱 在 DBFS 根目錄中儲存連結庫已被取代，並預設為停用。

相反地，Databricks 建議 將所有連結庫，包括 Python 連結庫、JAR 檔案和 Spark 連接器上傳至工作區檔案或 Unity 目錄磁碟區，或使用連結庫套件存放庫。 如果您的工作負載不支援這些模式，您也可以使用儲存在雲端物件記憶體中的連結庫。

PyPI 套件

  1. 在 [ 連結庫來源] 按鈕清單中，選取 [PyPI]。

  2. 輸入 PyPI 套件名稱。 若要安裝特定版本的連結庫，請使用此格式作為連結庫： <library>==<version>。 例如： scikit-learn==0.19.1 。

    注意

    針對 作業，Databricks 建議您指定連結庫版本，以確保可重現的環境。 如果未完整指定連結庫版本，Databricks 會使用最新的比對版本。 這表示相同作業的不同執行可能會隨著新版本發行而使用不同的連結庫版本。 指定連結庫版本可防止連結庫的新重大變更中斷作業。

  3. （選擇性）在 [索引 URL] 字段中，輸入 PyPI 索引 URL。

  4. 按一下 [安裝]。

Maven 或 Spark 套件

重要

若要在以共用存取模式設定的計算上安裝 Maven 連結庫，您必須將座標新增至 allowlist。 請參閱 共享計算上的 Allowlist 連結庫和 init 腳本。

重要

針對 DBR 14.3 LTS 和以下版本，Databricks 會使用 Apache Ivy 2.4.0 解析 Maven 套件。 針對 DBR 15.0 和更新版本，Databricks 會使用 Ivy 2.5.1 或更新版本，而特定的常春藤版本會列在 Databricks Runtime 版本資訊版本資訊和相容性中。

Maven 套件的安裝順序可能會影響最終相依性樹狀結構，這可能會影響載入連結庫的順序。

  1. 在 [ 連結庫來源] 按鈕清單中，選取 [Maven]。

  2. 指定 Maven 座標。 執行下列其中一項動作：

    • 在 [座標] 字段中，輸入要安裝的連結庫 Maven 座標。 Maven 座標的格式 groupId:artifactId:version為 ，例如 com.databricks:spark-avro_2.10:1.0.0。
    • 如果您不知道確切的座標，請輸入連結庫名稱，然後按下 [ 搜尋套件]。 相符套件的清單隨即顯示。 若要顯示套件的詳細數據，請按下其名稱。 您可以依名稱、組織和評等來排序套件。 您也可以在搜尋列中撰寫查詢來篩選結果。 結果會自動重新整理。
      1. 在左上方的下拉式清單中選取 [Maven Central ] 或 [Spark 套件 ]。
      2. 選擇性地選取 [發行] 數據行中的套件版本。
      3. 按兩下 套件旁的 [+ 選取 ]。 [坐標] 欄位會填入選取的套件和版本。

  3. （選擇性）在 [存放庫] 欄位中，您可以輸入 Maven 存放庫 URL。

    注意

    不支持內部 Maven 存放庫。

  4. 在 [ 排除] 字段中，選擇性地提供 groupId 您想要排除之相依性的 和 artifactId （例如 ， log4j:log4j。

    注意

    Maven 的運作方式是使用最接近根版本，而且在兩個套件爭奪具有不同相依性的版本時，順序很重要，因此在先載入具有較舊相依性的套件時可能會失敗。

    若要解決此問題，請排除衝突的連結庫。 例如，使用 座標com.microsoft.azure:azure-eventhubs-spark_2.12:2.3.22安裝套件時，將 [排除] 欄位設定為 com.nimbusds:oauth2-oidc-sdk:RELEASE ，以便載入 MSAL4J 的最新版本eventhubs，並eventhubs滿足相依性。

  5. 按一下 [安裝]。

CRAN 套件

  1. 在 [ 連結庫來源] 按鈕清單中，選取 [CRAN]。
  2. 在 [套件] 欄位中，輸入封裝的名稱。
  3. （選擇性）在 [存放庫] 欄位中，您可以輸入 CRAN 存放庫 URL。
  4. 按一下 [安裝]。

注意

CRAN 鏡像提供最新版的連結庫。 因此，如果您在不同的時間將連結庫附加至不同的叢集，則最後可能會有不同的 R 套件版本。 若要瞭解如何管理及修正 Databricks 上的 R 套件版本，請參閱 知識庫。