Fejlesztés a Databricksen

A Databricks fejlesztői felhasználói magukban foglalják az adattudósokat, az adatmérnököket, az adatelemzőket, a gépi tanulási mérnököket, valamint a DevOps és AZ MLOps mérnökeit – mind olyan megoldásokat és integrációkat építenek ki, amelyek a Databrickset az igényeiknek megfelelően bővítik és testre szabják. A munkaterületen elérhető számos Databricks API és adatmérnöki funkció mellett számos olyan eszköz is rendelkezésre áll a Databrickshez való csatlakozáshoz és helyi fejlesztéshez, amelyek támogatják a Databricks fejlesztői felhasználóit.

Ez a cikk áttekintést nyújt a Databricks fejlesztői felhasználói számára elérhető API-król és eszközökről.

Kódolás indítása a munkaterületen

A munkaterületen történő fejlesztéssel gyorsan megismerkedhet a Databricks API-kkal. A Databricks támogatja a Python, az SQL, a Scala, az R és a munkaterület más, fejlesztőközpontú funkcióit, beleértve a hasznos eszközöket és segédprogramokat.

Az alábbiakban néhány módszert talál a kezdésre:

• Olvassa el az áttekintést, és tekintse meg az Python, Scalaés Rkülönböző forgatókönyveinek oktatóanyagaira mutató hivatkozásokat. A különböző nyelveken támogatott eszközök táblázatát Nyelvek áttekintésecímű témakörben talál.
• Böngéssze át a SQL nyelvi referencia-t, hogy megtekinthesse a képességek mélységét és széles skáláját.
• A Spark API-k bemutatása a oktatóanyagban: Adatok betöltése és átalakítása Apache Spark DataFrame- használatával Pythonban, Scalában vagy R-ben. További egyszerű példák a PySparkhoz a PySpark alapjairészben találhatók.
• Keresse meg az elérhető referenciadokumentáció, beleértve a REST API-referencia, amely jó képet nyújt a más eszközökkel is létrehozható és módosítható Databricks-objektumokról.
• Telepítse a Python SDK egy jegyzetfüzetbe, és írjon egy egyszerű függvényt.
• Helyezzen át néhány fájlt a Databricks segédprogramokfs parancsaival, hogy megismerje a dbutils segédprogramok használatát a Databricks-környezet manipulálásához.

Egyéni alkalmazások és megoldások létrehozása

Az Azure Databricks a munkaterület és a helyi fejlesztés eszközeit is biztosítja. A munkaterületen a felhasználói felületen hozhat létre alkalmazásokat, az adatok könnyen elérhetők a Unity Catalog-kötetekben és a munkaterületfájlokban, a csak munkaterületi funkciók, például a Databricks Assistant hibakereséshez, egyéb funkciók, például a jegyzetfüzetek teljes funkcionalitása, valamint a forrásvezérlés a Git-mappákban érhető el.

Másik lehetőségként egyéni megoldásokat fejleszthet ide használatával a helyi gépen, hogy kihasználhassa a gazdag fejlesztési környezet teljes funkcionalitását. A helyi fejlesztés nyelvek szélesebb körét támogatja, ami azt jelenti, hogy a nyelvfüggő funkciók, például a hibakeresés és a tesztelési keretrendszerek nagyobb projektek támogatásához, valamint a forráskövetéshez való közvetlen hozzáféréshez érhetők el.

Az eszközhasználatra vonatkozó javaslatokért tekintse meg a helyi fejlesztési eszközöket.

Funkció	Leírás
Hitelesítés és engedélyezés	Konfigurálja az eszközök, szkriptek és alkalmazások hitelesítését és engedélyezését az Azure Databricks használatához.
Databricks alkalmazások	Biztonságos adatokat és egyéni AI-alkalmazásokat hozhat létre a Databricks platformon, amelyeket más felhasználókkal is megoszthat.
Databricks-bővítmény a Visual Studio Code-hoz	Csatlakozzon távoli Azure Databricks-munkaterületeihez a Visual Studio Code segítségével, hogy könnyen konfigurálhassa a kapcsolatot a Databricks-munkaterülettel, és egy felhasználói felületet kapjon a Databricks-erőforrások kezeléséhez.
PyCharm Databricks beépülő modul	Konfiguráljon kapcsolatot egy távoli Databricks-munkaterülethez, és futtasson fájlokat Databricks-fürtökön a PyCharm segítségével. Ezt a beépülő modult a JetBrains fejlesztette ki és biztosítja a Databricks együttműködésével.
Databricks SDK-k	A Rest API-k közvetlen meghívása helyett automatizálja a Databricks szolgáltatással való interakciót egy SDK használatával. Az SDK-k a munkaterületen is elérhetők. Databricks SDK for Python Databricks SDK for Go Databricks SDK for Java Databricks SDK for R

Csatlakozás a Databrickshez

A Databrickshez való csatlakozás számos integráció és megoldás szükséges összetevője, és a Databricks számos kapcsolati eszközt kínál, amelyek közül választhat. Az alábbi táblázat eszközöket biztosít a fejlesztési környezet és folyamatok Azure Databricks-munkaterülethez és -erőforrásokhoz való csatlakoztatásához.

Funkció	Leírás
Databricks Connect	Csatlakozzon az Azure Databrickshez olyan népszerű integrált fejlesztési környezetek (IDE-k) használatával, mint a PyCharm, az IntelliJ IDEA, az Eclipse, az RStudio és a JupyterLab.
Databricks-bővítmény a Visual Studio Code-hoz	A Databricks-munkaterülethez való kapcsolat egyszerű konfigurálása, valamint a Databricks-erőforrások kezelésére szolgáló felhasználói felület.
Databricks SSH-alagút	Csatlakoztassa az IDE-t a Databricks-számításhoz egy SSH-alagúton keresztül.
SQL-illesztőprogramok és -eszközök	Csatlakozzon az Azure Databrickshez SQL-parancsok és szkriptek futtatásához, az Azure Databricks programozott módon való használatához, és integrálja az Azure Databricks SQL-funkciókat olyan népszerű nyelveken írt alkalmazásokba, mint a Python, a Go, a JavaScript és a TypeScript.

Borravaló

Több népszerű harmadik féltől származó eszközt is csatlakoztathat fürtökhöz és SQL-raktárakhoz, hogy hozzáférjen az adatokhoz az Azure Databricksben. Tekintse meg a technológiai partnereket.

Infrastruktúra és erőforrások kezelése

A fejlesztők és az adatmérnökök az alábbi eszközök közül választhatnak az infrastruktúra és az erőforrások kiépítésének és kezelésének automatizálásához. Ezek az eszközök egyszerű és bonyolult CI/CD-folyamat forgatókönyveket is támogatnak.

Az eszközhasználatra vonatkozó javaslatokért tekintse meg a helyi fejlesztési eszközöket.

Funkció	Leírás
Databricks parancssori felület	Az Azure Databricks funkcióinak elérése a Databricks parancssori felületével (CLI). A parancssori felület körbefuttatja a Databricks REST API-t, így ahelyett, hogy közvetlenül a Curl vagy a Postman használatával küldene REST API-hívásokat, a Databricks parancssori felületével kezelheti a Databricks szolgáltatást. Használja a CLI-t a helyi terminálról, vagy a munkaterület webes terminál-ről.
Databricks-eszközcsomagok	A Databricks-erőforrások és a CI/CD-folyamat meghatározása és kezelése iparági szabványoknak megfelelő fejlesztési, tesztelési és üzembe helyezési ajánlott eljárásokkal az adatokhoz és AI-projektekhez a Databricks Asset Bundles szolgáltatással, amely a Databricks parancssori felület egyik funkciója.
Databricks Terraform-szolgáltató	Azure Databricks-infrastruktúra és -erőforrások kiépítése Terraformhasználatával.
CI/CD-eszközök	Integrálja a népszerű CI/CD-rendszereket és keretrendszereket, például GitHub Actions, Jenkinsés Apache Airflow.

Együttműködés és kódmegosztás

A munkaterület számos más együttműködési funkciója mellett a Databricks kifejezetten támogatja azokat a fejlesztői felhasználókat, amelyek az alábbi funkciókkal szeretnének együttműködni és kódot megosztani a munkaterületen:

Funkció	Leírás
UDF-ek	UDF-ek (felhasználó által definiált függvények) fejlesztése a kód újrafelhasználása és megosztása érdekében.
Git-mappák	Konfigurálja Git-mappákat a Databricks-projektfájlok verzió- és forráskövetési közreműködésére.

Együttműködés a Databricks fejlesztői közösségével

A Databricks aktív fejlesztői közösséggel rendelkezik, amelyet az alábbi programok és erőforrások támogatnak:

• Databricks MVPs: Ez a program elismeri a közösség azon tagjait, adattudósokat, adatmérnököket, fejlesztőket és nyílt forráskódú rajongókat, akik kiemelkedő teljesítményt nyújtanak az adat és mesterséges intelligencia közösségben. További információért tekintse meg a Databricks MVP-ket.
• Képzési: A Databricks képzési modulokat biztosít Apache Spark-fejlesztőknek, Generatív AI-mérnököknek, adatmérnököknekstb.
• Közösség: A Databricks-közösség és az Apache Spark-közösség bőséges tudást kínál.