Databricks'te geliştirme

Databricks geliştirici kullanıcıları veri bilimcilerini, veri mühendislerini, veri analistlerini, makine öğrenmesi mühendislerinin yanı sıra DevOps ve MLOps mühendislerini kapsar. Databricks'i kendi ihtiyaçlarına göre genişletmek ve özelleştirmek için tüm derleme çözümleri ve tümleştirmeleri. Çalışma alanında bulunan birçok Databricks API'sine ve veri mühendisliği özelliğine ek olarak, Databricks'e bağlanmaya ve Databricks geliştirici kullanıcılarını destekleyen yerel olarak geliştirmeye yönelik birçok araç da vardır.

Bu makalede, Databricks geliştirici kullanıcıları için kullanılabilen API'lere ve araçlara genel bir bakış sağlanmaktadır.

Çalışma alanında kodlamaya başlama

Çalışma alanında geliştirme, Databricks API'lerini hızla tanımanın harika bir yoludur. Databricks Python, SQL, Scala, R ve yararlı araçlar ve yardımcı programlar dahil olmak üzere çalışma alanında geliştirici odaklı diğer özellikleri destekler.

Başlamanın bazı yolları şunlardır:

• Bir genel bakış okuyun ve Python, Scalave Riçin çeşitli senaryolara yönelik öğreticilerin bağlantılarını bulun. Çeşitli dillerde desteklenen araçlar tablosu için bkz. Dillere genel bakış.
• Özelliklerin derinliğine ve genişliğine bir göz atmak için SQL dil başvurusuna bakın.
• Öğreticisi: Spark API'lerine giriş yapmak için Python, Scala veya R'de Apache Spark DataFrames kullanarak verileri yükleme ve dönüştürme öğreticisi üzerinden çalışın. PySpark için ek basit örnekler, PySpark'in temel bilgileri'de bulunmaktadır.
• diğer araçlarla da oluşturulabilen ve değiştirilebilen Databricks nesnelerinin iyi bir resmini sağlayan REST API başvurusu de dahil olmak üzere kullanılabilirbaşvuru belgelerine göz atın.
• Not defterine Python SDK yükleyin ve basit bir işlev yazın.
• Databricks ortamını işlemek için yardımcı programlarını kullanmaya alışmak için fsdbutils komutlarını kullanarak bazı dosyaları taşıyın.

Özel uygulamalar ve çözümler oluşturma

Azure Databricks hem çalışma alanı hem de yerel geliştirme için araçlar sağlar. Çalışma alanında kullanıcı arabirimini kullanarak uygulama oluşturabilirsiniz; Unity Kataloğu birimlerinde ve çalışma alanı dosyalarında verilere kolayca erişilebilir, hata ayıklama için Databricks Yardımcısı gibi yalnızca çalışma alanı özellikleri kullanılabilir, not defterleri gibi diğer işlevler tam özelliklidir ve Git klasörleriyle kaynak denetimi sağlanır.

Alternatif olarak, zengin bir geliştirme ortamının tüm işlevselliğinden yararlanmak için yerel makinenizde bir IDE kullanarak özel çözümler geliştirin. Yerel geliştirme, daha geniş bir dil yelpazesini destekler. Bu, hata ayıklama ve test çerçeveleri gibi dile bağımlı özelliklerin kaynak denetimine doğrudan erişimin yanı sıra daha büyük projeleri desteklemek için kullanılabildiği anlamına gelir.

Araç kullanımı önerileri için bkz. Hangi geliştirici aracını kullanmalıyım?.

Özellik	Açıklama
Kimlik doğrulaması ve yetkilendirme	Azure Databricks ile çalışmak üzere araçlarınız, betikleriniz ve uygulamalarınız için kimlik doğrulaması ve yetkilendirmeyi yapılandırın.
Databricks Uygulamalar	Databricks platformunda diğer kullanıcılarla paylaşabileceğiniz güvenli veriler ve yapay zeka özel uygulamaları oluşturun.
Visual Studio Code için Databricks uzantısı	Visual Studio Code'dan uzak Azure Databricks çalışma alanlarınıza bağlanarak, çalışma alanı bağlantınızı kolayca yapılandırabilir ve Databricks kaynaklarını yönetmek için bir kullanıcı arabirimi kullanabilirsiniz.
PyCharm Databricks eklentisi	Uzak bir Databricks çalışma alanına bağlantı yapılandırın ve PyCharm'dan Databricks kümelerinde dosya çalıştırın. Bu eklenti, Databricks ile ortak olarak JetBrains tarafından geliştirilmiş ve sağlanmıştır.
Databricks SDK'ler	REST API'lerini doğrudan çağırmak yerine SDK kullanarak Databricks ile etkileşimlerinizi otomatikleştirin. SDK'lar çalışma alanında da kullanılabilir. Python için Databricks SDK'sı Go için Databricks SDK'sı Java için Databricks SDK'sı R için Databricks SDK'sı

Databricks'e bağlanma

Databricks'e bağlanmak birçok tümleştirme ve çözümün gerekli bir bileşenidir ve Databricks aralarından seçim yapabileceğiniz çok çeşitli bağlantı araçları sağlar. Aşağıdaki tabloda geliştirme ortamınızı ve işlemlerinizi Azure Databricks çalışma alanınıza ve kaynaklarınıza bağlamak için araçlar sağlanmaktadır.

Özellik	Açıklama
Databricks Connect	PyCharm, IntelliJ IDEA, Eclipse, RStudio ve JupyterLab gibi popüler tümleşik geliştirme ortamlarını (IDE) kullanarak Azure Databricks'e bağlanın.
Visual Studio Code için Databricks uzantısı	Databricks çalışma alanına bağlantınızın kolay yapılandırılması ve Databricks kaynaklarını yönetmeye yönelik bir kullanıcı arabirimi.
SQL sürücüleri ve araçları	SQL komutlarını ve betiklerini çalıştırmak, Azure Databricks ile program aracılığıyla etkileşim kurmak ve Azure Databricks SQL işlevselliğini Python, Go, JavaScript ve TypeScript gibi popüler dillerde yazılmış uygulamalarla tümleştirmek için Azure Databricks'e bağlanın.

Bahşiş

Ayrıca Azure Databricks'teki verilere erişmek için kümelere ve SQL ambarlarına birçok popüler üçüncü taraf aracı bağlayabilirsiniz. Teknoloji iş ortaklarınıgörün.

Altyapıyı ve kaynakları yönetme

Geliştiriciler ve veri mühendisleri, altyapı ve kaynakların sağlanmasını ve yönetilmesini otomatikleştirmek için aşağıdaki araçlar arasından seçim yapabilir. Bu araçlar hem basit hem de karmaşık CI/CD işlem hattı senaryolarını destekler.

Araç kullanımı önerileri için bkz. Hangi geliştirici aracını kullanmalıyım?.

Özellik	Açıklama
Databricks CLI	Databricks komut satırı arabirimini (CLI) kullanarak Azure Databricks işlevselliğine erişin. CLI, Databricks REST API'sini sarmalar, dolayısıyla REST API çağrılarını doğrudan curl veya Postman kullanarak göndermek yerine Databricks CLI'yi kullanarak Databricks ile etkileşim kurabilirsiniz. CLI'yi yerel terminalden veya web terminali çalışma alanından kullanın.
Databricks Varlık Paketleri	Databricks CLI'nın bir özelliği olan Databricks Varlık Paketleri ile verileriniz ve yapay zeka projeleriniz için endüstri standardı geliştirme, test ve dağıtım en iyi yöntemlerini kullanarak Databricks kaynaklarını ve CI/CD işlem hattınızı tanımlayın ve yönetin.
Databricks Terraform Sağlayıcısı ve Databricks için Terraform CDKTF	Terraformkullanarak Azure Databricks altyapısını ve kaynaklarını sağlayın.
CI/CD araçları	GitHub Actions, Jenkinsve Apache Airflowgibi popüler CI/CD sistemlerini ve çerçevelerini tümleştirin.

İşbirliği yapma ve kodu paylaşma

Databricks, çalışma alanındaki diğer birçok işbirliği özelliğine ek olarak, çalışma alanında işbirliği yapmak ve kod paylaşmak isteyen geliştirici kullanıcılarını şu özelliklerle özellikle destekler:

Özellik	Açıklama
UDF'leri	Kodu yeniden kullanmak ve paylaşmak için UDF'ler (kullanıcı tanımlı işlevler) geliştirin.
Git klasörleri	Databricks proje dosyalarınıza sürüm ve kaynak denetimi katkılarına Git klasörlerini yapılandırın.

Databricks geliştirici topluluğuyla etkileşim kurma

Databricks, aşağıdaki programlar ve kaynaklar tarafından desteklenen etkin bir geliştirici topluluğuna sahiptir:

• Databricks MVP'leri: Bu program, veri ve yapay zeka topluluğunda üstün başarı gösteren topluluk üyeleri, veri bilimciler, veri mühendisleri, geliştiriciler ve açık kaynak meraklılarını takdir eder. Daha fazla bilgi için bkz. Databricks MVP'leri.
• Eğitim: Databricks, Apache Spark geliştiricileri için, , Veri mühendislerive daha fazlası için öğrenme modülleri sağlar.
• Community: Databricks topluluğu ve Apache Spark topluluğundanönemli bir bilgi zenginliği mevcuttur.