Fejlesztés a Databricksen

A Databricks fejlesztői felhasználói magukban foglalják az adattudósokat, az adatmérnököket, az adatelemzőket, a gépi tanulási mérnököket, valamint a DevOps és AZ MLOps mérnökeit – mind olyan megoldásokat és integrációkat építenek ki, amelyek a Databrickset az igényeiknek megfelelően bővítik és testre szabják. A munkaterületen elérhető számos Databricks API és adatmérnöki funkció mellett számos olyan eszköz is rendelkezésre áll a Databrickshez való csatlakozáshoz és helyi fejlesztéshez, amelyek támogatják a Databricks fejlesztői felhasználóit.

Ez a lap áttekintést nyújt a Databricks fejlesztői felhasználói számára elérhető API-król és eszközökről.

Kódolás indítása a munkaterületen

A munkaterületen történő fejlesztéssel gyorsan megismerkedhet a Databricks API-kkal. A Databricks támogatja a Python, az SQL, a Scala, az R és a munkaterület más, fejlesztőközpontú funkcióit, beleértve a hasznos eszközöket és segédprogramokat.

Az alábbiakban néhány módszert talál a kezdésre:

• Olvassa el az áttekintést, és tekintse meg az Python, Scalaés Rkülönböző forgatókönyveinek oktatóanyagaira mutató hivatkozásokat. A különböző nyelveken támogatott eszközök táblázatát Nyelvek áttekintésecímű témakörben talál.
• Böngéssze át a SQL nyelvi referencia-t, hogy megtekinthesse a képességek mélységét és széles skáláját.
• A Spark API-k bemutatása a oktatóanyagban: Adatok betöltése és átalakítása Apache Spark DataFrame- használatával Pythonban, Scalában vagy R-ben. További egyszerű példák a PySparkhoz a PySpark alapjairészben találhatók.
• Keresse meg az elérhető referenciadokumentáció, beleértve a REST API-referencia, amely jó képet nyújt a más eszközökkel is létrehozható és módosítható Databricks-objektumokról.
• Telepítse a Python SDK egy jegyzetfüzetbe, és írjon egy egyszerű függvényt.
• Helyezzen át néhány fájlt a Databricks segédprogramokfs parancsaival, hogy megismerje a dbutils segédprogramok használatát a Databricks-környezet manipulálásához.

Egyéni alkalmazások és megoldások létrehozása

Az Azure Databricks a munkaterület és a helyi fejlesztés eszközeit is biztosítja. A munkaterületen a felhasználói felületen hozhat létre alkalmazásokat, az adatok könnyen elérhetők a Unity Catalog köteteiben és a munkaterület fájljaiban, a csak munkaterületi funkciók, például a genie-kód a hibakereséshez, más funkciók, például a jegyzetfüzetek teljes funkcionalitása, valamint a forrásvezérlés a Git-mappákban érhető el.

Másik lehetőségként egyéni megoldásokat fejleszthet ide használatával a helyi gépen, hogy kihasználhassa a gazdag fejlesztési környezet teljes funkcionalitását. A helyi fejlesztés nyelvek szélesebb körét támogatja, ami azt jelenti, hogy a nyelvfüggő funkciók, például a hibakeresés és a tesztelési keretrendszerek nagyobb projektek támogatásához, valamint a forráskövetéshez való közvetlen hozzáféréshez érhetők el.

Az eszközhasználatra vonatkozó javaslatokért lásd Fejlesztői eszközök használati eseteket.

Funkció	Leírás
Hitelesítés és engedélyezés	Konfigurálja az eszközök, szkriptek és alkalmazások hitelesítését és engedélyezését az Azure Databricks használatához.
Databricks alkalmazások	Biztonságos adatokat és egyéni AI-alkalmazásokat hozhat létre a Databricks platformon, amelyeket más felhasználókkal is megoszthat.
Databricks-bővítmény a Visual Studio Code-hoz	Csatlakozzon távoli Azure Databricks-munkaterületeihez a Visual Studio Code segítségével, hogy könnyen konfigurálhassa a kapcsolatot a Databricks-munkaterülettel, és egy felhasználói felületet kapjon a Databricks-erőforrások kezeléséhez.
PyCharm Databricks beépülő modul	Konfiguráljon kapcsolatot egy távoli Databricks-munkaterülethez, és futtasson fájlokat Databricks-fürtökön a PyCharm segítségével. Ezt a beépülő modult a JetBrains fejlesztette ki és biztosítja a Databricks együttműködésével.
Databricks SDK-k	A Rest API-k közvetlen meghívása helyett automatizálja a Databricks szolgáltatással való interakciót egy SDK használatával. Az SDK-k a munkaterületen is elérhetők. Databricks SDK Pythonhoz JavaScripthez készült Databricks SDK-k Databricks SDK for Go Databricks Java SDK Databricks SDK for R

Csatlakozás a Databrickshez

A Databrickshez való csatlakozás számos integráció és megoldás szükséges összetevője, és a Databricks számos kapcsolati eszközt kínál, amelyek közül választhat. Az alábbi táblázat eszközöket biztosít a fejlesztési környezet és folyamatok Azure Databricks-munkaterülethez és -erőforrásokhoz való csatlakoztatásához.

Funkció	Leírás
Databricks Connect	Csatlakozzon az Azure Databrickshez olyan népszerű integrált fejlesztési környezetek (IDE-k) használatával, mint a PyCharm, az IntelliJ IDEA, az Eclipse, az RStudio és a JupyterLab.
Databricks-bővítmény a Visual Studio Code-hoz	A Databricks-munkaterülethez való kapcsolat egyszerű konfigurálása, valamint a Databricks-erőforrások kezelésére szolgáló felhasználói felület.
SSH-tunnel	Csatlakoztassa az IDE-t a Databricks-számításhoz egy SSH-alagúton keresztül.
SQL-illesztőprogramok és -eszközök	Csatlakozzon az Azure Databrickshez SQL-parancsok és szkriptek futtatásához, az Azure Databricks programozott módon való használatához, és integrálja az Azure Databricks SQL-funkciókat olyan népszerű nyelveken írt alkalmazásokba, mint a Python, a Go, a JavaScript és a TypeScript.

Borravaló

Több népszerű harmadik féltől származó eszközt is csatlakoztathat fürtökhöz és SQL-raktárakhoz, hogy hozzáférjen az adatokhoz az Azure Databricksben. Tekintse meg a technológiai partnereket.

Infrastruktúra és erőforrások kezelése

A fejlesztők és az adatmérnökök az alábbi eszközök közül választhatnak az infrastruktúra és az erőforrások kiépítésének és kezelésének automatizálásához. Ezek az eszközök egyszerű és bonyolult CI/CD-folyamat forgatókönyveket is támogatnak.

Az eszközhasználatra vonatkozó javaslatokért lásd Fejlesztői eszközök használati eseteket.

Funkció	Leírás
Databricks parancssori felület	Az Azure Databricks funkcióinak elérése a Databricks parancssori felületével (CLI). A parancssori felület körbefuttatja a Databricks REST API-t, így ahelyett, hogy közvetlenül a Curl vagy a Postman használatával küldene REST API-hívásokat, a Databricks parancssori felületével kezelheti a Databricks szolgáltatást. Használja a CLI-t a helyi terminálról, vagy a munkaterület webes terminál-ről.
Deklaratív automatizációs csomagok	Databricks-erőforrások és a CI/CD-folyamatok definiálása és kezelése iparági szabványoknak megfelelő fejlesztési, tesztelési és üzembe helyezési legjobb gyakorlatokkal az adat- és AI-projektekhez, a Deklaratív automatizálási csomagok használatával, ami a Databricks CLI egy funkciójaként van jelen.
Databricks Terraform-szolgáltató	Azure Databricks-infrastruktúra és -erőforrások kiépítése Terraformhasználatával.
CI/CD-eszközök	Integrálja a népszerű CI/CD-rendszereket és keretrendszereket, például GitHub Actions, Jenkinsés Apache Airflow.

Együttműködés és kódmegosztás

A munkaterület számos más együttműködési funkciója mellett a Databricks kifejezetten támogatja azokat a fejlesztői felhasználókat, amelyek az alábbi funkciókkal szeretnének együttműködni és kódot megosztani a munkaterületen:

Funkció	Leírás
UDF-ek	UDF-ek (felhasználó által definiált függvények) fejlesztése a kód újrafelhasználása és megosztása érdekében.
Git-mappák	Konfigurálja Git-mappákat a Databricks-projektfájlok verzió- és forráskövetési közreműködésére.

Együttműködés a Databricks fejlesztői közösségével

A Databricks aktív fejlesztői közösséggel rendelkezik, amelyet az alábbi programok és erőforrások támogatnak:

• Databricks MVPs: Ez a program elismeri a közösség azon tagjait, adattudósokat, adatmérnököket, fejlesztőket és nyílt forráskódú rajongókat, akik kiemelkedő teljesítményt nyújtanak az adat és mesterséges intelligencia közösségben. További információért tekintse meg a Databricks MVP-ket.
• Képzési: A Databricks képzési modulokat biztosít Apache Spark-fejlesztőknek, Generatív AI-mérnököknek, adatmérnököknekstb.
• Közösség: A Databricks-közösség és az Apache Spark-közösség bőséges tudást kínál.