Bagikan melalui

Mengembangkan di Databricks

Pengguna pengembang Databricks mencakup ilmuwan data, insinyur data, analis data, insinyur pembelajaran mesin, serta insinyur DevOps dan MLOps - semuanya membangun solusi dan integrasi untuk memperluas dan menyesuaikan Databricks sesuai kebutuhan spesifik mereka. Selain banyak API Databricks dan fitur rekayasa data yang tersedia di ruang kerja, ada juga banyak alat untuk terhubung ke Databricks dan mengembangkan secara lokal yang mendukung pengguna pengembang Databricks.

Artikel ini menyediakan gambaran umum API dan alat yang tersedia untuk pengguna pengembang Databricks.

Mulai pemrograman di ruang kerja

Mengembangkan di ruang kerja adalah cara yang bagus untuk membiasakan diri dengan api Databricks dengan cepat. Databricks mendukung Python, SQL, Scala, R, dan fitur berfokus pada pengembang lainnya di ruang kerja, termasuk alat dan utilitas yang bermanfaat.

Berikut adalah beberapa cara untuk memulai:

  • Baca gambaran umum dan temukan tautan ke tutorial untuk berbagai skenario untuk Python, Scala, dan R. Untuk tabel alat yang didukung dalam berbagai bahasa, lihat gambaran umum bahasa .
  • Telusuri referensi bahasa SQL untuk melihat kedalaman dan luasnya kemampuan.
  • Bekerja melalui Tutorial : Memuat dan mengubah data menggunakan Apache Spark DataFrames di Python, Scala, atau R untuk mendapatkan pengenalan API Spark. Contoh sederhana tambahan untuk PySpark ada dalam dasar-dasar PySpark.
  • Telusuri dokumentasi referensi yang tersedia, termasuk referensi REST API yang memberikan gambaran yang baik tentang objek Databricks yang juga dapat dibuat dan dimodifikasi dengan alat lain.
  • Instal Python SDK di notebook dan tulis fungsi sederhana.
  • Pindahkan beberapa file menggunakan perintah Utilitas Databricks, untuk membiasakan diri menggunakan utilitas fs untuk memanipulasi lingkungan Databricks.

Membangun aplikasi dan solusi kustom

Azure Databricks menyediakan alat untuk ruang kerja dan pengembangan lokal. Di ruang kerja, Anda dapat membuat aplikasi menggunakan UI, data dapat diakses dengan mudah di volume dan file ruang kerja di Unity Catalog, fitur khusus ruang kerja seperti Asisten Databricks untuk penelusuran kesalahan tersedia, fungsionalitas lain seperti notebook yang berfitur lengkap, dan kontrol sumber tersedia dengan folder Git.

Atau, kembangkan solusi kustom menggunakan IDE di komputer lokal Anda untuk memanfaatkan fungsionalitas penuh dari lingkungan pengembangan yang kaya. Pengembangan lokal mendukung beragam bahasa, yang berarti fitur-fitur bergantung bahasa seperti debugging dan kerangka kerja pengujian tersedia untuk mendukung proyek yang lebih besar, bersama dengan akses langsung ke pengendalian sumber.

Untuk rekomendasi penggunaan alat, lihat Alat pengembang mana yang harus saya gunakan?.

Fitur Deskripsi
Mengautentikasi dan mengotorisasi Konfigurasikan autentikasi dan otorisasi untuk alat, skrip, dan aplikasi Anda agar berfungsi dengan Azure Databricks.
Aplikasi Databricks Buat data aman dan aplikasi kustom AI di platform Databricks, yang dapat Anda bagikan dengan pengguna lain.
ekstensi Databricks untuk Visual Studio Code Sambungkan ke ruang kerja Azure Databricks jarak jauh Anda dari Visual Studio Code untuk memudahkan konfigurasi koneksi Anda ke ruang kerja Databricks, dan UI untuk mengelola sumber daya Databricks.
plugin PyCharm Databricks Konfigurasikan koneksi ke ruang kerja Databricks jarak jauh dan jalankan file pada kluster Databricks dari PyCharm. Plugin ini dikembangkan dan disediakan oleh JetBrains dalam kemitraan dengan Databricks.
Databricks SDK Otomatiskan interaksi Anda dengan Databricks menggunakan SDK, alih-alih memanggil REST API secara langsung. SDK juga tersedia di ruang kerja.

Menghubungkan ke Databricks

Menyambungkan ke Databricks adalah komponen yang diperlukan dari banyak integrasi dan solusi, dan Databricks menyediakan banyak pilihan alat koneksi untuk dipilih. Tabel berikut ini menyediakan alat untuk menghubungkan lingkungan pengembangan dan proses Anda ke ruang kerja dan sumber daya Azure Databricks Anda.

Fitur Deskripsi
Databricks Connect Sambungkan ke Azure Databricks menggunakan lingkungan pengembangan terintegrasi (IDEs) populer seperti PyCharm, IntelliJ IDEA, Eclipse, RStudio, dan JupyterLab.
ekstensi Databricks untuk Visual Studio Code Konfigurasi koneksi Anda yang mudah ke ruang kerja Databricks, dan UI untuk mengelola sumber daya Databricks.
pengandar dan alat SQL Sambungkan ke Azure Databricks untuk menjalankan perintah dan skrip SQL, berinteraksi secara terprogram dengan Azure Databricks, dan mengintegrasikan fungsionalitas Azure Databricks SQL ke dalam aplikasi yang ditulis dalam bahasa populer seperti Python, Go, JavaScript, dan TypeScript.

Tips

Anda juga dapat menghubungkan banyak alat pihak ketiga populer tambahan ke kluster dan gudang SQL untuk mengakses data di Azure Databricks. Lihat mitra teknologi.

Mengelola infrastruktur dan sumber daya

Pengembang dan insinyur data dapat memilih dari alat berikut untuk mengotomatiskan penyediaan dan pengelolaan infrastruktur dan sumber daya. Alat-alat ini mendukung skenario alur CI/CD yang sederhana dan rumit.

Untuk rekomendasi penggunaan alat, lihat Alat pengembang mana yang harus saya gunakan?.

Fitur Deskripsi
Databricks CLI Akses fungsionalitas Azure Databricks menggunakan antarmuka baris perintah (CLI) Databricks. CLI membungkus Databricks REST API, jadi alih-alih mengirim panggilan REST API secara langsung menggunakan curl atau Postman, Anda dapat menggunakan Databricks CLI untuk berinteraksi dengan Databricks. Gunakan CLI dari terminal lokal atau dari terminal web ruang kerja .
Paket Aset Databricks Tentukan dan kelola sumber daya Databricks dan alur CI/CD Anda menggunakan praktik terbaik pengembangan, pengujian, dan penyebaran standar industri untuk data dan proyek AI Anda dengan Bundel Aset Databricks, yang merupakan fitur CLI Databricks.
penyedia Databricks Terraform dan Terraform CDKTF untuk Databricks Menyediakan infrastruktur dan sumber daya Azure Databricks menggunakan Terraform.
alat CI/CD Integrasikan sistem dan kerangka kerja CI/CD populer seperti GitHub Actions, Jenkins, dan Apache Airflow.

Berkolaborasi dan berbagi kode

Di antara banyak fitur kolaborasi lainnya di ruang kerja, Databricks secara khusus mendukung pengguna pengembang yang ingin berkolaborasi dan berbagi kode di ruang kerja dengan fitur-fitur ini:

Fitur Deskripsi
UDF Kembangkan UDF (fungsi yang ditentukan pengguna) untuk menggunakan kembali dan berbagi kode.
folder Git Konfigurasikan folder Git untuk mengontrol versi dan sumber kontribusi pada file proyek Databricks Anda.

Terlibat dengan komunitas pengembang Databricks

Databricks memiliki komunitas pengembang aktif, yang didukung oleh program dan sumber daya berikut:

  • MVP Databricks: Program ini mengakui anggota komunitas, ilmuwan data, insinyur data, pengembang, dan penggemar sumber terbuka yang melampaui batas dalam komunitas AI dan data. Untuk informasi selengkapnya, lihat Databricks MVP.
  • Pelatihan : Databricks menyediakan modul pembelajaran untuk pengembang Apache Spark, teknisi AI Generatif, teknisi data , dan banyak lagi.
  • Community: Banyak pengetahuan tersedia dari komunitas Databricks dan komunitas Apache Spark .
  • Last updated on