Sdílet prostřednictvím

Vývoj v Databricks

Vývojáři Databricks zahrnují datové vědce, datové inženýry, datové analytiky, techniky strojového učení a také techniky DevOps a MLOps – všechna sestavování řešení a integrace pro rozšíření a přizpůsobení Databricks pro jejich konkrétní potřeby. Kromě mnoha rozhraní API Databricks a funkcí přípravy dat dostupných v pracovním prostoru existuje také mnoho nástrojů pro připojení k Databricks a místní vývoj, které podporují uživatele Databricks pro vývojáře.

Tento článek obsahuje přehled rozhraní API a nástrojů dostupných pro uživatele vývojářů Databricks.

Zahájení kódování v pracovním prostoru

Vývoj v pracovním prostoru je skvělý způsob, jak se rychle seznámit s rozhraními API Databricks. Databricks podporuje Python, SQL, Scala, R a další funkce zaměřené na vývojáře v pracovním prostoru, včetně užitečných nástrojů a utilit.

Tady je několik způsobů, jak začít:

  • Přečtěte si přehled a odkazy na kurzy pro různé scénáře pro Python, Scala a R. Tabulku nástrojů podporovaných v různých jazycích najdete v přehledu jazyků.
  • Projděte si referenční informace k jazyku SQL a podívejte se na hloubku a šířku možností.
  • Projděte si kurz: Načtení a transformace dat pomocí datových rámců Apache Spark v Pythonu, Scala nebo R, abyste získali úvod do rozhraní Spark API. Další jednoduché příklady pro PySpark jsou v základech PySpark.
  • Projděte si dostupnou referenční dokumentaci , včetně referenčního rozhraní REST API , která poskytuje dobrý přehled o objektech Databricks, jež lze také vytvářet a upravovat pomocí dalších nástrojů.
  • Nainstalujte sadu Python SDK do poznámkového bloku a napište jednoduchou funkci.
  • Některé soubory můžete přesouvat pomocí příkazů Nástrojů fs, abyste se seznámili s používáním dbutils nástrojů pro manipulaci s prostředím Databricks.

Vytváření vlastních aplikací a řešení

Azure Databricks poskytuje nástroje pro pracovní prostor i místní vývoj. V pracovním prostoru můžete vytvářet aplikace pomocí uživatelského rozhraní, data jsou snadno přístupná ve svazcích katalogu Unity a souborech pracovních prostorů, funkce určené jen pro pracovní prostory, jako je Pomocník pro ladění Databricks, jsou k dispozici, další funkce, jako jsou poznámkové bloky, jsou plně funkční a správa zdrojového kódu je k dispozici se složkami Gitu.

Alternativně můžete vyvíjet vlastní řešení pomocí integrovaného vývojového prostředí na místním počítači, abyste využili všech funkcí bohatého vývojového prostředí. Místní vývoj podporuje širší škálu jazyků, což znamená, že funkce závislé na jazyce, jako je ladění a testovací architektury, jsou k dispozici pro podporu větších projektů spolu s přímým přístupem ke správě zdrojového kódu.

Doporučení k používání nástrojů najdete v tématu Který vývojářský nástroj mám použít?.

Funkce Popis
Ověřování a autorizace Nakonfigurujte ověřování a autorizaci pro vaše nástroje, skripty a aplikace pro práci s Azure Databricks.
Databricks Apps Na platformě Databricks můžete vytvářet zabezpečená data a vlastní aplikace AI, které můžete sdílet s ostatními uživateli.
Rozšíření Databricks pro Visual Studio Code Připojte se ke vzdáleným pracovním prostorům Azure Databricks ze sady Visual Studio Code , abyste mohli snadno nakonfigurovat připojení k pracovnímu prostoru Databricks a uživatelské rozhraní pro správu prostředků Databricks.
Plug-in PyCharm Databricks Nakonfigurujte připojení ke vzdálenému pracovnímu prostoru Databricks a spusťte soubory v clusterech Databricks z PyCharm. Tento modul plug-in je vyvinut a poskytován JetBrains ve spolupráci s Databricks.
Databricks SDK Sady Automatizujte interakce s Databricks pomocí sady SDK místo přímého volání rozhraní REST API. Sady SDK jsou také k dispozici v pracovním prostoru.

Připojení k Databricks

Připojení k Databricks je nezbytnou součástí mnoha integrací a řešení a Databricks nabízí velký výběr nástrojů pro připojení, ze kterých si můžete vybrat. Následující tabulka obsahuje nástroje pro připojení vývojového prostředí a procesů k pracovnímu prostoru a prostředkům Azure Databricks.

Funkce Popis
Databricks Connect Připojte se k Azure Databricks pomocí oblíbených integrovaných vývojových prostředí (IDE), jako jsou PyCharm, IntelliJ IDEA, Eclipse, RStudio a JupyterLab.
Rozšíření Databricks pro Visual Studio Code Snadná konfigurace připojení k pracovnímu prostoru Databricks a uživatelské rozhraní pro správu prostředků Databricks
Ovladače a nástroje SQL Připojte se k Azure Databricks, abyste mohli spouštět příkazy a skripty SQL, pracovat programově s Azure Databricks a integrovat funkce SQL Azure Databricks do aplikací psaných v oblíbených jazycích, jako je Python, Go, JavaScript a TypeScript.

Spropitné

K clusterům a skladům SQL pro přístup k datům v Azure Databricks můžete také připojit mnoho dalších oblíbených nástrojů třetích stran. Podívejte se na technologické partnery.

Správa infrastruktury a prostředků

Vývojáři a datoví inženýři vytvářející kanály CI/CD pro automatizaci zřizování a správy infrastruktury a prostředků si můžou vybrat z následujících nástrojů, které podporují jednoduché a složitější scénáře kanálů.

Doporučení k používání nástrojů najdete v tématu Který vývojářský nástroj mám použít?.

Funkce Popis
Rozhraní příkazového řádku Databricks Přístup k funkcím Azure Databricks pomocí rozhraní příkazového řádku Databricks (CLI). Rozhraní příkazového řádku zabalí rozhraní REST API Databricks, takže místo odesílání volání rozhraní REST API přímo pomocí nástroje curl nebo Postman můžete k interakci s Databricks použít rozhraní příkazového řádku Databricks. Použijte rozhraní příkazového řádku z místního terminálu nebo ho použijte z webového terminálu pracovního prostoru.
Sady prostředků Databricks Definujte a spravujte prostředky Databricks a kanál CI/CD pomocí standardních postupů vývoje, testování a nasazení pro vaše data a projekty AI pomocí sad prostředků Databricks, což je funkce rozhraní příkazového řádku Databricks.
Poskytovatel služeb Terraform pro Databricks a CDKTF Terraform pro Databricks Zřiďte infrastrukturu a prostředky Azure Databricks pomocí Terraformu.
nástroje CI/CD Integrujte oblíbené systémy a architektury CI/CD, jako jsou GitHub Actions, Jenkins a Apache Airflow.

Spolupráce a sdílení kódu

Kromě mnoha dalších funkcí spolupráce v pracovním prostoru podporuje Databricks konkrétně uživatele vývojářů, kteří chtějí spolupracovat a sdílet kód v pracovním prostoru s těmito funkcemi:

Funkce Popis
UDFs (funkce definované uživatelem) Vyvíjejte funkce definované uživatelem (UDF) pro opakované použití a sdílení kódu.
Složky Gitu Nakonfigurujte složky Git pro verzování a řízení verzí příspěvků do souborů projektu Databricks.

Zapojení komunity vývojářů Databricks

Databricks má aktivní komunitu vývojářů, kterou podporují následující programy a zdroje informací:

  • Last updated on