A Databricks Connect for Python telepítése

Feljegyzés

Ez a cikk a Databricks Runtime 13.3 LTS-hez készült Databricks Connectet ismerteti.

Ez a cikk bemutatja, hogyan telepíthető a Databricks Connect for Python. Lásd : Mi az a Databricks Connect?.

Követelmények

A Databricks Connect telepítése előtt győződjön meg arról, hogy a munkaterület és a helyi környezet megfelel a követelményeknek. Lásd a Databricks Connect használati követelményeit.

Python virtuális környezet aktiválása

A Databricks határozottan javasolja, hogy a Databricks Connecttel használt összes Python-verzióhoz aktiváljon egy Python virtuális környezetet . A Python virtuális környezetei segítenek meggyőződni arról, hogy a Python és a Databricks Connect megfelelő verzióit használja együtt. További információ ezekről az eszközökről és azok aktiválásáról: venv vagy Poetry.

A Databricks Connect-ügyfél telepítése

Ez a szakasz bemutatja, hogyan telepítheti a Databricks Connect-ügyfeleta Venv vagy a Poetry használatával.

Feljegyzés

Ha már telepítve van a Visual Studio Code Databricks-bővítménye, a Databricks Connect for Databricks Runtime 13.3 LTS-t és újabb verziót a bővítmény használatával telepítheti. Lásd: Hibakeresési kód a Databricks Connect használatával a Visual Studio Code Databricks-bővítményéhez.

A Databricks Connect-ügyfél telepítése a venv használatával

1. Ha a virtuális környezet aktiválva van, távolítsa el a PySparkot, ha már telepítve van, a uninstall parancs futtatásával. Erre azért van szükség, mert a csomag ütközik a databricks-connect PySparkkal. További részletekért lásd : Ütköző PySpark-telepítések. Annak ellenőrzéséhez, hogy a PySpark már telepítve van-e, futtassa a show parancsot.

   # Is PySpark already installed?
   pip3 show pyspark
   
   # Uninstall PySpark
   pip3 uninstall pyspark
   

2. Ha a virtuális környezet továbbra is aktiválva van, telepítse a Databricks Connect-ügyfelet a install parancs futtatásával. Ezzel a --upgrade beállítással frissítheti a meglévő ügyféltelepítéseket a megadott verzióra.

   pip3 install --upgrade "databricks-connect==17.3.*"  # Or X.Y.* to match your cluster version.
   

   Feljegyzés

   A Databricks azt javasolja, hogy a "pont-csillag" jelölést ahelyett adja meg databricks-connect==X.Y.*databricks-connect=X.Y, hogy a legújabb csomag telepítve legyen. Bár ez nem követelmény, segít meggyőződni arról, hogy a fürt legújabb támogatott funkcióit is használhatja.

A Databricks Connect-ügyfél telepítése a Poetryvel

1. Ha a virtuális környezet aktiválva van, távolítsa el a PySparkot, ha már telepítve van, a remove parancs futtatásával. Erre azért van szükség, mert a csomag ütközik a databricks-connect PySparkkal. További részletekért lásd : Ütköző PySpark-telepítések. Annak ellenőrzéséhez, hogy a PySpark már telepítve van-e, futtassa a show parancsot.

   # Is PySpark already installed?
   poetry show pyspark
   
   # Uninstall PySpark
   poetry remove pyspark
   

2. Ha a virtuális környezet továbbra is aktiválva van, telepítse a Databricks Connect-ügyfelet a add parancs futtatásával.

   poetry add databricks-connect@~17.3  # Or X.Y to match your cluster version.
   

   Feljegyzés

   A Databricks azt javasolja, hogy az "at-tilde" jelöléssel adja meg databricks-connect@~17.3 ahelyett databricks-connect==17.3, hogy a legújabb csomag telepítve legyen. Bár ez nem követelmény, segít meggyőződni arról, hogy a fürt legújabb támogatott funkcióit is használhatja.