Azure Databricks veri bilimi ve ML özellikleri

Azure Databricks, özellik mühendisliği, model eğitimi, dağıtım ve üretim izleme aracılığıyla ham veri alımından tam veri bilimi (DS) ve makine öğrenmesi (ML) yaşam döngüsü için birleşik bir platforma sahiptir. Azure Databricks, popüler açık kaynaklı ML çerçeveleriyle entegre olur ve topluca MLOps olarak adlandırılan kurumsal düzeyde yönetişim, gözlemlenebilirlik ve operasyonel araçlar ekler.

Bu sayfada, iş akışı aşamasına göre düzenlenmiş önemli DS ve ML özellikleri listelenir.

Keşif veri analizi

Azure Databricks, veri bilimcileri için etkileşimli, işbirliğine dayalı ve yapay zeka destekli araçlar sağlayarak keşif veri analizini (EDA) basitleştirir. Veri bilimcileri doğal dil sohbeti, URI'ler veya kod kullanarak verileri keşfedebilir ve hem gerçek zamanlı birlikte düzenleme hem de Git tabanlı kod paylaşımı kullanarak işbirliği yapabilir. Genie Code tam otomatik EDA yapabilir veya etkileşimli bir yardımcı olarak görev yapabilir.

Category	Features
Kullanıcı arabirimi	Not defterleri , EDA için keşif, görselleştirme ve belgeler için işbirliğine dayalı alanlar sağlar. Panolar SQL ve görselleştirme tabanlı EDA sağlar. Genie Chat,veri soruları sormak için doğal dil arabirimine sahiptir.
Collaboration	Not defterleri, panolar ve diğer çalışma alanı varlıklarının tümü paylaşılabilir ve çalışma alanı izinleri tarafından yönetilir. Bkz. Databricks not defterlerini kullanarak işbirliği yapma. Not defterleri ve Git klasörleri Git tabanlı sürüm oluşturma ve işbirliğine olanak tanır.
Yapay zeka yardımcıları	Genie Code tam otomatik EDA gerçekleştirebilir veya etkileşimli bir yardımcı olarak görev yapabilir. Yapay zekâ kodlama yardımcıları için ajan yetenekleri, Azure Databricks için kod yazan üçüncü taraf asistanların performansını artırır.

Özellikleri hazırlayın ve sunun

Azure Databricks, veri ve ML iş yüklerinin idaresini birleştirerek ML verilerini basitleştirir. Ayrıntılı erişim denetimleriyle Unity Kataloğu altında yönetilen tüm verilerle, veri mühendisliğini ve ML sınırlarını kuruluşunuza uyacak şekilde ayarlayabilirsiniz. Veriler, Lakeflow işlem hatları gibi veri mühendisliği araçları kullanılarak ML için hazırlanabilir. Özellikler hem toplu hem de gerçek zamanlı kullanıma yönelik bir Özellik Deposu'nda yönetilir ve özellikler için tek bir idare edilen gerçek kaynağı vardır.

Genie Code , Unity Kataloğu'na göz atarak ilgili tabloları keşfederek, özellik dönüştürmeleri önererek ve alım ve özellik işlem hatları için kod oluşturarak veri bulma ve hazırlama işlemlerini hızlandırır.

Özellik türü	Features
Toplu işlem özellikleri	Özellik tabloları, Unity Catalog’da otomatik veri soyağacı ve yönetişim ile önceden hesaplanmış toplu özellikleri depolar. Ekipler, işlem hatlarını sıfırdan yeniden derlemek yerine mevcut özellikleri keşfedip yeniden kullanabilir. Özellik Görünümleri , daha sonra toplu işlem veya gerçek zamanlı özellik hesaplaması için kullanılabilecek özellikleri tanımlamak için yeni bir API sağlar.
Gerçek zamanlı özellikler	Önceden derlenmiş özellikler için çevrimiçi özellik mağazaları , kullanım örnekleri sunan gerçek zamanlı model için özellik tabloları sunar. Özellik ekleme girişleri yalnızca sunum zamanında kullanılabilir olduğunda, özellik sunumunun özellik tablolarını tamamlamak için isteğe bağlı özellik hesaplaması vardır. Özellikler, önceden hesaplanmış olmak yerine fonksiyonlar olarak tanımlanır. Özellik Görünümleri , daha sonra toplu işlem veya gerçek zamanlı özellik hesaplaması için kullanılabilecek özellikleri tanımlamak için yeni bir API sağlar.
Yapılandırılmamış veriler	AI Search yapılandırılmamış verilerin sunulmasına ve anlamsal aramanın çalıştırılmasına olanak tanır.

ML modellerini eğitin

Azure Databricks, ML ve derin öğrenme modellerini eğiten esnek araçlara sahiptir. Önceden yapılandırılmış ve özelleştirilebilir ortamlar özel ML kitaplıkları kullanmanıza olanak tanır ve sunucusuz CPU ve GPU hızlandırmalı işlem kaynakları, isteğe bağlı olarak ölçeği artırmaya ve genişletmeye olanak tanır. Genie Code , doğal dil isteklerini alarak ve özellik geliştirme, eğitim, ayarlama, değerlendirme ve dağıtım için tam çoklu not defteri iş akışları oluşturarak akıllı AutoML sağlar.

Category	Features
ML türleri	Azure Databricks aşağıdakiler dahil olmak üzere tüm ML türlerini destekler: Klasik ML: scikit-learn, XGBoost, LightGBM, Apache Spark MLlib ve diğer ML çerçeveleriyle denetimli ve denetimsiz öğrenme Derin öğrenme: PyTorch, TensorFlow ve Hugging Face Transformers ile sinir ağı eğitimi, birden çok GPU arasında dağıtılmış eğitim de dahil olmak üzere Hiper parametre ayarlama: Optuna ve Ray gibi araçları kullanarak algoritma ve hiper parametre alanları arasında otomatik arama Yapay zeka için bkz. Azure Databricks yapay zeka özellikleri.
Hesaplama	Sunucusuz işlem , otomatik ölçeklendirme ve küme yönetimi olmadan etkileşimli not defterleri ve zamanlanmış iş akışları için anında başlar. Hem CPU hem de GPU hızlandırmalı kümeleri destekler. Klasik işlem , hem CPU hem de GPU iş yükleri için tek makineli ve küme yönetimine sahiptir.
Ortamlar ve kitaplıklar	Sunucusuz işlem ortamları , ML için tamamen özelleştirilebilen temel ortamlar sağlar. Sunucusuz GPU işlemleri için AI Çalışma Zamanı , GPU tabanlı eğitim ve çıkarım için önceden yapılandırılmış ortamlar sağlar. Klasik işlem için, Machine Learning için Databricks Runtime, hem CPU hem de GPU hızlandırmalı kümeler için önceden yüklenmiş ve test edilmiş ana ML kitaplıklarıyla önceden yapılandırılmış küme ortamları sağlar.
Yapay zeka kodlama yardımcıları	Genie Code Unity Kataloğu verilerini bulabilir, ML not defterleri oluşturabilir ve işlem hatlarıyla ilgili sorunları giderebilir. Yapay zekâ kodlama yardımcıları için ajan yetenekleri, Azure Databricks için kod yazan üçüncü taraf asistanların performansını artırır.

Denemeleri izleme ve yönetme

Azure Databricks yönetilen MLflow, yeniden üretilebilir, denetlenebilir ML geliştirme için temel sağlar. Unity Kataloğu ve Git ile tümleştirmeleri, veriler ve kod varlıkları için izleme ve köken sağlar. Kayıt defterindeki her model sürümü, onu üreten eğitim çalıştırmasına, veri kümesine, ortama ve git işlemesine bağlanır ve dağıtılan tüm modeller için tam denetim izi sağlar.

Category	Features
Deneme izleme	MLflow İzleme, her eğitim çalıştırması için parametreleri, ölçümleri ve artefaktları günlüğe kaydeder. En iyi performansı gösteren yapılandırmayı belirlemek için MLflow kullanıcı arabirimindeki çalıştırmaları karşılaştırın.
Model kayıt sistemi	Unity Kataloğu'ndaki modeller, Unity Kataloğu ile tümleştirilmiş bir MLflow model kayıt defteri sağlar. Sürümlenmiş model artefaktları, yaşam döngüsü takma adları (Staging, Production), erişim denetimi, soy geçmişi ve çalışma alanları arası paylaşım ile yönetilir.
Yeniden üretilebilirlik	Not defterleri ve kod , Databricks Git klasörleri kullanılarak sürüm oluşturulabilir ve herhangi bir Git sağlayıcısıyla tümleştirilebilir.

Modelleri dağıtma ve sunma

Azure Databricks hem toplu çıkarım hem de gerçek zamanlı sunum destekler. Toplu çıkarım, modelleri büyük veri kümeleri üzerinde verimli bir şekilde uygularken, buna karşılık gerçek zamanlı sunum, modelleri düşük gecikmeli API uç noktaları olarak sunar. Genie Code hem model dağıtımı için kod oluşturabilir hem de model sunma uç noktalarına yönelik sorunları ve performansı tanılayabilir.

Sunum düzeni	Features
Toplu çıkarım	ai_query Model Sunma uç noktaları olarak dağıtılan özel modeller için verimli toplu çıkarım sağlar. Özel kodu Apache Spark UDF'leriyle (örnek) veya mlflow.pyfunc toplu çıkarım için de kullanabilirsiniz.
Gerçek zamanlı sunma	Model Sunma , sunucusuz otomatik ölçeklendirme ile düşük gecikme süreli, yüksek çalışma süresiyle yönetilen REST uç noktaları sağlar. Bu, herhangi bir ML çerçevesi için CPU ve GPU hizmetini destekler ve hizmet sunma uç noktalarını değerlendirmek ve sorunlarını gidermek için Genie'yi kullanabilirsiniz.
SQL yerel çıkarımı	Yapay zeka işlevleri tahmin, anomali algılama ve sürücü analizi için SQL tarafından erişilebilir ML tahminleri sağlar ve Python veya model dağıtımı gerekmez. Özel modeller için yapay zeka işlevi ai_query , Model Sunma uç noktaları tarafından desteklenen verimli toplu çıkarım sağlar.

Değerlendirme ve izleme

Azure Databricks, üretim için eğitim ve sürekli izleme için esnek değerlendirme sağlar. Unity Kataloğu'nda yönetilen çıkarım tablolarına gerçek zamanlı sunum günlükleri sağlanır ve veri kalitesi izleme, özel ölçümler, panolar ve uyarılarla izleme olanağı sunar.

Category	Features
Evaluation	MLflow ML değerlendirmesi, MLflow'da günlüğe kaydedilecek ölçümleri tanımlamak için kullanılabilir veya MLflow izlemesi , özel çerçeveniz kullanılarak hesaplanan ölçümleri günlüğe kaydedebilir. Genie Code , değerlendirme ölçümlerini seçme ve değerlendirme kodu yazma konusunda yardımcı olabilir.
Tahmin kaydı	Çıkarım Tabloları, sunum isteklerini ve yanıtlarını kaydederek izleme, analiz ve eğitim kümesi oluşturmayı mümkün kılar.
İzleme ve uyarılar	Veri kalitesi izleme , yerleşik anomali algılama ve veri profili oluşturma ile veri kalitesini, kaymayı ve özel ölçümleri izler. Veri kalitesi izleme bir izleme kullanıcı arabirimi sağlar ve izleme tablolarından özel panolar oluşturabilirsiniz. Olayları hızla ilerletmek için anomali algılama için uyarılar ayarlayabilirsiniz .

MLOps ve yönetişim

Azure Databricks ML işlemleri (MLOps) ve idare için eksiksiz bir araç paketi sağlar. MLOps Stacks , kod olarak altyapıyı kullanarak geliştirme aşamasından üretime otomatik ve yinelenebilir yükseltmeyi etkinleştirmek için şablonlar sağlar. Veriler, özellikler, modeller ve uç noktalar Unity Kataloğu ve AI Gateway tarafından tamamen yönetilir.

Category	Features
ML için CI/CD	Bildirim temelli Otomasyon Paketleri üzerine oluşturulan MLOps Yığınları, ML altyapısı ve iş akışlarının kod tabanlı yönetimi ve dağıtımı sağlar. Bu, eğitim, değerlendirme ve dağıtımı otomatikleştirmeye yönelik CI/CD şablonlarını içerir.
İş akışı düzenleme	Lakeflow İşleri , çok adımlı ML iş akışlarını zamanlanmış veya tetiklenen işlem hatları olarak düzenler.
Veri ve model varlığı idaresi	Unity Kataloğu veriler, özellikler ve kayıtlı modeller için birleşik idare sağlar. Ayrıntılı erişim denetimleri, köken izleme ve denetim günlükleri tüm varlıklar için geçerlidir.
Model uç noktası idaresi	AI Gateway , hız sınırları, kullanım izleme ve yük günlüğü dahil olmak üzere model uç noktaları için merkezi idare ve izleme sağlar.

Açık kaynak desteği

Azure Databricks, açık kaynak ML ekosistemi için tam destek sağlar.

Azure Databricks üzerinde herhangi bir açık kaynak ML çerçevesini kullanabilirsiniz: scikit-learn, XGBoost, LightGBM, PyTorch, TensorFlow, Hugging Face Transformers, Ray ve daha fazlası. MLflow veya özel araçlarınız model yapıtlarını dışarı aktarılabilir ve Azure Databricks dışında çalıştırılabilir açık biçimlerde depolayabilir.

MLflow, Azure Databricks tarafından oluşturulan ve 10.000'den fazla kuruluş tarafından kullanılan açık kaynaktır. Deneme izleme verileriniz, model yapıtlarınız ve işlem hattı tanımlarınız açık biçimlerde depolanır.

Veriler ve yapay zeka idaresi açık kaynak Unity Kataloğu API'lerini temel alır ve veri depolama açık Delta Lake biçimini temel alır. Özellik verileriniz ve eğitim veri kümeleriniz açık, taşınabilir dosyalarda kalır.

Ek kaynaklar

• Azure Databricks üzerinde makine öğrenimi
• Azure Databricks'te açık kaynak ile yönetilen MLflow karşılaştırması