Azure Databricks nedir?

Azure Databricks, kurumsal düzeydeki verileri, analizleri ve yapay zeka çözümlerini büyük ölçekte oluşturmaya, dağıtmaya, paylaşmaya ve korumaya yönelik birleşik ve açık bir analiz platformudur. Databricks Veri Zekası Platformu, bulut hesabınızdaki bulut depolama ve güvenlik ile tümleştirilir ve sizin için bulut altyapısını yönetir ve dağıtır.

Azure Databricks, verilerinizin benzersiz semantiğini anlamak için data lakehouse ile üretken yapay zeka kullanır. Ardından performansı otomatik olarak iyileştirir ve altyapıyı iş gereksinimlerinize uyacak şekilde yönetir.

Doğal dil işleme, işletmenizin dilini öğrenir, böylece kendi sözcüklerinizle bir soru sorarak verileri arayabilir ve keşfedebilirsiniz. Doğal dil yardımı, kod yazmanıza, hataları gidermenize ve belgelerde yanıtlar bulmanıza yardımcı olur.

Yönetilen açık kaynak entegrasyonu

Databricks, açık kaynak topluluğuna bağlıdır ve Databricks Runtime sürümleriyle açık kaynak tümleştirme güncelleştirmelerini yönetir. Aşağıdaki teknolojiler başlangıçta Databricks çalışanları tarafından oluşturulan açık kaynak projelerdir:

• Delta Gölü ve Delta Paylaşımı
• MLflow
• Apache Spark ve Yapılandırılmış Akış
• Redash
• Unity Kataloğu

Yaygın kullanım örnekleri

Aşağıdaki kullanım örnekleri, müşterilerin kritik iş işlevlerini ve kararlarını yönlendiren verileri işlemek, depolamak ve çözümlemek için temel görevleri yerine getirmek için Azure Databricks'i kullanma yollarından bazılarını vurgular.

Kurumsal bir veri lakehouse'u oluşturma

Data Lakehouse, kurumsal veri çözümlerini hızlandırmak, basitleştirmek ve birleştirmek için kurumsal veri ambarlarını ve veri göllerini birleştirir. Veri mühendisleri, veri bilimcileri, analistler ve üretim sistemlerinin tümü data lakehouse'ı tek gerçeklik kaynağı olarak kullanabilir, tutarlı verilere erişim sağlayabilir ve birçok dağıtılmış veri sistemi oluşturma, sürdürme ve eşitleme karmaşıklığını azaltabilir. Bkz. Data Lakehouse nedir?.

ETL ve veri mühendisliği

Panolar oluştururken veya yapay zeka uygulamalarını desteklerken, veri mühendisliği veri odaklı şirketler için, verilerin kullanılabilir, temiz olmasını ve verimli bir şekilde keşfedilmesi ve kullanılması için veri modellerinde depolanmasını sağlayarak omurga oluşturur. Azure Databricks, rakipsiz bir ETL deneyimi sağlamak için Apache Spark'ın gücünü Delta ve özel araçlarla birleştirir. ETL mantığı oluşturmak ve zamanlanmış iş dağıtımlarını birkaç tıklamayla düzenlemek için SQL, Python ve Scala'yı kullanın.

Lakeflow Bildirimli İşlem Hatları , belirtimlerinize zamanında ve doğru veri teslimi sağlamak için veri kümeleri arasındaki bağımlılıkları akıllı bir şekilde yöneterek ve üretim altyapısını otomatik olarak dağıtarak ve ölçeklendirerek ETL'yi daha da basitleştirir.

Azure Databricks, bulut nesne depolamasından ve veri göllerinden data lakehouse'a artımlı ve eşzamanlı olarak veri yüklemeye yönelik verimli ve ölçeklenebilir bir araç olan Otomatik Yükleyici de dahil olmak üzere veri alımına yönelik araçlar sağlar.

Makine öğrenmesi, yapay zeka ve veri bilimi

Azure Databricks makine öğrenmesi, MLflow ve Machine Learning için Databricks Runtime dahil olmak üzere veri bilimciler ve ML mühendislerinin ihtiyaçlarına göre uyarlanmış bir araç paketiyle platformun temel işlevselliğini genişletir.

Büyük dil modelleri ve üretken yapay zeka

Machine Learning için Databricks Runtime, önceden eğitilmiş mevcut modelleri veya diğer açık kaynak kitaplıkları iş akışınızla tümleştirmenize olanak sağlayan Hugging Face Transformers gibi kitaplıklar içerir. Databricks MLflow tümleştirmesi, MLflow izleme hizmetini transformatör işlem hatları, modeller ve işleme bileşenleriyle kullanmayı kolaylaştırır. Databricks iş akışlarınızda John Snow Labs gibi iş ortaklarınınOpenAI modellerini veya çözümlerini tümleştirin.

Azure Databricks ile verilerinizdeki LLM'yi özel göreviniz için özelleştirin. Yüz Tanıma ve DeepSpeed gibi açık kaynak araçlarının desteğiyle, etki alanınız ve iş yükünüz için daha fazla doğruluk için verimli bir şekilde bir temel LLM alabilir ve kendi verilerinizle eğitime başlayabilirsiniz.

Ayrıca Azure Databricks, SQL veri analistlerinin doğrudan veri işlem hatları ve iş akışları içinde OpenAI dahil olmak üzere LLM modellerine erişmek için kullanabileceği yapay zeka işlevleri sağlar. Bkz. Azure Databricks AI İşlevleri'ni kullanarak veriye yapay zeka uygulama.

Veri ambarı, analiz ve BI

Azure Databricks, analiz sorguları çalıştırmaya yönelik güçlü bir platform sağlamak için kullanıcı dostu URI'leri uygun maliyetli işlem kaynakları ve sonsuz ölçeklenebilir, uygun fiyatlı depolama ile birleştirir. Yöneticiler ölçeklenebilir işlem kümelerini SQL ambarları olarak yapılandırarak son kullanıcıların bulutta çalışmanın karmaşıklıklarından endişe duymadan sorgu yürütmesine olanak sağlar. SQL kullanıcıları, SQL sorgu düzenleyicisini kullanarak veya not defterlerinde lakehouse'daki verilere karşı sorgu çalıştırabilir. Not defterleri SQL'e ek olarak Python, R ve Scala'yı destekler ve kullanıcıların eski panolarda bulunan görselleştirmelerin yanı sıra markdown'da yazılmış bağlantılar, resimler ve açıklama eklemelerine olanak tanır.

Veri idaresi ve güvenli veri paylaşımı

Unity Kataloğu, data lakehouse için birleşik bir veri idaresi modeli sağlar. Bulut yöneticileri Unity Kataloğu için kaba erişim denetimi izinlerini yapılandırır ve tümleştirir ve ardından Azure Databricks yöneticileri ekiplerin ve kişilerin izinlerini yönetebilir. Ayrıcalıklar, kullanıcı dostu URI'ler veya SQL söz dizimi aracılığıyla erişim denetim listeleri (ACL' ler) ile yönetilir ve bu da veritabanı yöneticilerinin buluta özel kimlik erişim yönetimi (IAM) ve ağ üzerinde ölçeklendirmeye gerek kalmadan verilere erişimin güvenliğini sağlamasını kolaylaştırır.

Unity Kataloğu, bulutta güvenli analiz çalıştırmayı basitleştirir ve hem yöneticiler hem de platformun son kullanıcıları için gereken yeniden geçiş veya yükseltmeyi sınırlamaya yardımcı olan bir sorumluluk bölümü sağlar. Unity Kataloğu nedir? bölümüne bakın.

Lakehouse, kuruluşunuzda veri paylaşımını tabloya veya görünüme sorgu erişimi vermek kadar basit hale getirir. Unity Kataloğu, güvenli ortamınızın dışında paylaşım için Delta Sharing'in yönetilen bir sürümünü içerir.

DevOps, CI/CD ve görev düzenleme

ETL işlem hatları, ML modelleri ve analiz panoları için geliştirme yaşam döngülerinin her biri kendi benzersiz zorluklarını ortaya koymaktadır. Azure Databricks, tüm kullanıcılarınızın tek bir veri kaynağından yararlanmasına olanak sağlayarak yinelenen çalışmaları ve eşitlenmemiş raporlamayı azaltır. Ayrıca kod ve üretim kaynaklarını sürüm oluşturma, otomatikleştirme, zamanlama, dağıtma için ortak araçlardan oluşan bir paket sağlayarak izleme, düzenleme ve işlemler için ek yükünüzü basitleştirebilirsiniz.

Görevler Azure Databricks not defterlerini, SQL sorgularını ve diğer çeşitli kodları zamanlar. Databricks Varlık Paketleri , işler ve işlem hatları gibi Databricks kaynaklarını program aracılığıyla tanımlamanıza, dağıtmanıza ve çalıştırmanıza olanak tanır. Git klasörleri , Azure Databricks projelerini bir dizi popüler git sağlayıcısıyla eşitlemenize olanak tanır.

CI/CD en iyi yöntemleri ve önerileri için bkz. Databricks'te en iyi yöntemler ve önerilen CI/CD iş akışları. Geliştiricilere yönelik araçlara tam bir genel bakış için bkz. Databricks'te geliştirme.

Gerçek zamanlı ve akış analizi

Azure Databricks, akış verileri ve artımlı veri değişiklikleriyle çalışmak için Apache Spark Yapılandırılmış Akış'ı kullanır. Yapılandırılmış Akış, Delta Lake ile sıkı bir şekilde tümleşir ve bu teknolojiler hem Lakeflow Bildirimli İşlem Hatları hem de Otomatik Yükleyici için temel oluşturur. Bkz . Yapılandırılmış Akış kavramları.