Ontwikkelen met Databricks

Databricks-ontwikkelaarsgebruikers omvatten de gegevenswetenschappers, data engineers, gegevensanalisten, machine learning-engineers en DevOps- en MLOps-engineers: alle bouwoplossingen en integraties om Databricks uit te breiden en aan te passen aan hun specifieke behoeften. Naast de vele Databricks-API's en data engineering-functies die beschikbaar zijn in de werkruimte, zijn er ook veel hulpprogramma's om verbinding te maken met Databricks en lokaal te ontwikkelen die ontwikkelaars van Databricks ondersteunen.

Dit artikel bevat een overzicht van API's en hulpprogramma's die beschikbaar zijn voor gebruikers van Databricks-ontwikkelaars.

Beginnen met coderen in de werkruimte

Ontwikkelen in de werkruimte is een uitstekende manier om snel vertrouwd te raken met Databricks-API's. Databricks ondersteunt Python, SQL, Scala, R en andere op ontwikkelaars gerichte functies in de werkruimte, waaronder handige tools en hulpmiddelen.

Hier volgen enkele manieren om te beginnen:

• Lees een overzicht en zoek koppelingen naar zelfstudies voor verschillende scenario's voor Python, Scala en R. Zie het overzicht van talen voor een tabel met hulpprogramma's die in verschillende talen worden ondersteund.
• Blader door de SQL-taalreferentie voor een overzicht van de diepte en breedte van de mogelijkheden.
• Doorloop de handleiding: Gegevens laden en transformeren met Apache Spark DataFrames in Python, Scala of R voor een inleiding tot Spark-API's. Aanvullende eenvoudige voorbeelden voor PySpark zijn de basisbeginselen van PySpark.
• Blader door de beschikbare referentiedocumentatie, inclusief de REST API-verwijzing die een goed beeld biedt van Databricks-objecten die ook kunnen worden gemaakt en gewijzigd met andere hulpprogramma's.
• Installeer de Python SDK in een notebook en schrijf een eenvoudige functie.
• Verplaats enkele bestanden met behulp van de Databricks Utilities-opdrachtenfs om vertrouwd te raken met het gebruik van de dbutils hulpprogramma's om de Databricks-omgeving te manipuleren.

Aangepaste apps en oplossingen bouwen

Azure Databricks biedt hulpprogramma's voor zowel werkruimte- als lokale ontwikkeling. In de werkruimte kunt u apps maken met behulp van de gebruikersinterface, gegevens zijn eenvoudig toegankelijk in Unity Catalog-volumes en werkruimtebestanden, functies die alleen voor werkruimten beschikbaar zijn, zoals de Databricks Assistant voor foutopsporing, andere functionaliteit zoals notebooks zijn volledig beschikbaar en broncodebeheer is beschikbaar in Git-mappen.

U kunt ook aangepaste oplossingen ontwikkelen met behulp van een IDE op uw lokale computer om te profiteren van de volledige functionaliteit van een uitgebreide ontwikkelomgeving. Lokale ontwikkeling ondersteunt een breder scala aan talen, wat betekent dat taalafhankelijke functies, zoals foutopsporing en testframeworks, beschikbaar zijn om grotere projecten te ondersteunen, samen met directe toegang tot broncodebeheer.

Zie welk hulpprogramma voor ontwikkelaars moet ik gebruiken voor aanbevelingen voor het gebruik van hulpprogramma's.

Kenmerk	Beschrijving
verifiëren en autoriseren	Configureer verificatie en autorisatie voor uw hulpprogramma's, scripts en apps om te werken met Azure Databricks.
Databricks-apps	Maak beveiligde gegevens en aangepaste AI-toepassingen op het Databricks-platform, die u kunt delen met andere gebruikers.
Databricks-extensie voor Visual Studio Code	Maak verbinding met uw externe Azure Databricks-werkruimten vanuit Visual Studio Code voor een eenvoudige configuratie van uw verbinding met de Databricks-werkruimte en een gebruikersinterface voor het beheren van Databricks-resources.
PyCharm Databricks-plugin	Configureer een verbinding met een externe Databricks-werkruimte en voer bestanden uit op Databricks-clusters vanuit PyCharm. Deze plugin is ontwikkeld en geleverd door JetBrains in samenwerking met Databricks.
Databricks SDK's	Automatiseer uw interacties met Databricks met behulp van een SDK, in plaats van de REST API's rechtstreeks aan te roepen. De SDK's zijn ook beschikbaar in de werkruimte. Databricks SDK voor Python Databricks SDK voor Go Databricks SDK voor Java Databricks SDK voor R

Verbinding maken met Databricks

Verbinding maken met Databricks is een noodzakelijk onderdeel van veel integraties en oplossingen en Databricks biedt een grote selectie verbindingshulpprogramma's waaruit u kunt kiezen. De volgende tabel bevat hulpprogramma's voor het verbinden van uw ontwikkelomgeving en processen met uw Azure Databricks-werkruimte en -resources.

Kenmerk	Beschrijving
Databricks Connect	Maak verbinding met Azure Databricks met behulp van populaire geïntegreerde ontwikkelomgevingen (IDE's), zoals PyCharm, IntelliJ IDEA, Eclipse, RStudio en JupyterLab.
Databricks-extensie voor Visual Studio Code	Eenvoudige configuratie van uw verbinding met de Databricks-werkruimte en een gebruikersinterface voor het beheren van Databricks-resources.
SQL-stuurprogramma's en -hulpprogramma's	Maak verbinding met Azure Databricks om SQL-opdrachten en -scripts uit te voeren, programmatisch te communiceren met Azure Databricks en Azure Databricks SQL-functionaliteit te integreren in toepassingen die zijn geschreven in populaire talen, zoals Python, Go, JavaScript en TypeScript.

Aanbeveling

U kunt ook veel extra populaire hulpprogramma's van derden verbinden met clusters en SQL-warehouses voor toegang tot gegevens in Azure Databricks. Zie de technologiepartners.

Infrastructuur en middelen beheren

Ontwikkelaars en data engineers kunnen kiezen uit de volgende hulpprogramma's om het inrichten en beheren van infrastructuur en resources te automatiseren. Deze hulpprogramma's ondersteunen zowel eenvoudige als gecompliceerde CI/CD-pijplijnscenario's.

Zie welk hulpprogramma voor ontwikkelaars moet ik gebruiken voor aanbevelingen voor het gebruik van hulpprogramma's.

Kenmerk	Beschrijving
Databricks-CLI	Toegang tot de Functionaliteit van Azure Databricks met behulp van de Opdrachtregelinterface (CLI) van Databricks. De CLI verpakt de Databricks REST API, dus in plaats van REST API-aanroepen rechtstreeks te verzenden met curl of Postman, kunt u de Databricks CLI gebruiken om te communiceren met Databricks. Gebruik de CLI vanuit een lokale terminal of gebruik deze vanuit de webterminal van de werkruimte.
Databricks Asset Bundels	Definieer en beheer Databricks-resources en uw CI/CD-pijplijn met aanbevolen procedures voor ontwikkeling, testen en implementatie van industriestandaarden voor uw gegevens en AI-projecten met Databricks Asset Bundles. Dit is een functie van de Databricks CLI.
Databricks Terraform-provider en Terraform CDKTF voor Databricks	Azure Databricks-infrastructuur en -resources inrichten met behulp van Terraform.
CI/CD-hulpprogramma's	Integreer populaire CI/CD-systemen en -frameworks, zoals GitHub Actions, Jenkins en Apache Airflow.

Samenwerken en code delen

Databricks ondersteunt onder andere andere samenwerkingsfuncties in de werkruimte specifiek ontwikkelaars die willen samenwerken en code in de werkruimte willen delen met deze functies:

Kenmerk	Beschrijving
UDF's	UDF's (door de gebruiker gedefinieerde functies) ontwikkelen om code opnieuw te gebruiken en te delen.
Git-mappen	Configureer Git-mappen voor bijdragen van versie- en broncodebeheer aan uw Databricks-projectbestanden.

Contact opnemen met de Databricks-ontwikkelaarscommunity

Databricks heeft een actieve ontwikkelaarscommunity die wordt ondersteund door de volgende programma's en resources:

• Databricks MVP's: dit programma herkent communityleden, gegevenswetenschappers, data engineers, ontwikkelaars en opensource-liefhebbers die zich boven en buiten de data- en AI-community bevinden. Zie Databricks MVP's voor meer informatie.
• Training: Databricks biedt leermodules voor Apache Spark-ontwikkelaars, Generatieve AI-technici, Data engineers en meer.
• Community: Er is een schat aan kennis beschikbaar in de Databricks-community en de Apache Spark-community.