Giriş
Azure Databricks, veri mühendisliği, veri bilimi ve makine öğrenmesinin en iyilerini tek bir birleşik çalışma alanında bir araya getiren bulut tabanlı bir veri platformudur. Apache Spark'ın üzerine kurulu olan bu özellik, kuruluşların büyük miktarlardaki verileri gerçek zamanlı olarak kolayca işlemesine, analiz etmesine ve görselleştirmesine olanak tanır.
Azure SQL Veritabanı, Amazon S3 ve Google Cloud Storage gibi bulut sağlayıcılarından SAP ve Oracle gibi kurumsal sistemlere kadar çok çeşitli veri kaynaklarına bağlanarak Azure Databricks, verileri her yerden tümleştirmeyi ve dönüştürmeyi kolaylaştırır.
Veriler alındıktan sonra satış, pazarlama, operasyon, finans, İk ve sürdürülebilirlik alanlarındaki ekipler gelişmiş analiz, makine öğrenmesi, iş zekası ve yapay zeka odaklı içgörüler için Databricks'i kullanabilir.
Azure Databricks, temel olarak kuruluşlara yardımcı olur:
- Birden çok kaynaktan verileri tümleştirme
- Ham verileri mühendislik ve kullanılabilir biçimlere dönüştürme
- İdare ve güvenlik ile verileri verimli bir şekilde depolama ve yönetme
- Gerçek zamanlı analiz, makine öğrenmesi ve yapay zeka modelleri uygulama
- Daha iyi iş kararları ve sonuçlarına yol açın
Data Lakehouse
Data Lakehouse, hem veri göllerinin hem de veri ambarlarının güçlü yanlarını birleyen bir veri yönetimi yaklaşımıdır. Kuruluşların ayrı ve bağlantısız sistemlere bağlı kalmadan makine öğrenmesi ve iş zekası gibi çeşitli iş yüklerini işlemesine olanak sağlayan ölçeklenebilir depolama ve işleme olanağı sunar. Bir göl evi, verileri merkezileştirerek tek bir gerçeklik kaynağını destekler, yinelenen maliyetleri azaltır ve bilgilerin güncel kalmasını sağlar.
Birçok göl evi, verilerin farklı işleme aşamalarında ilerledikçe kademeli olarak geliştirildiği, zenginleştirildiği ve geliştirildiği katmanlı bir tasarım desenini izler. Genellikle madalyon mimarisi olarak adlandırılan bu katmanlı yaklaşım, verileri birbirleri üzerinde derlenen aşamalar halinde düzenleyerek etkili bir şekilde yönetilmesini ve kullanılmasını kolaylaştırır.
Databricks lakehouse iki temel teknoloji kullanır:
- Delta Lake: ACID işlemlerini ve şema zorlamayı destekleyen iyileştirilmiş bir depolama katmanı.
- Unity Kataloğu: Veriler ve yapay zeka için birleşik, ayrıntılı bir idare çözümü.