Göl evi platformunun kapsamı

Modern bir veri ve yapay zeka platformu çerçevesi

Databricks Veri Zekası Platformu'nun kapsamını tartışmak için öncelikle modern veriler ve yapay zeka platformu için temel bir çerçeve tanımlamak yararlı olacaktır:

Göl evi kapsamına genel bakış

Databricks Veri Zekası Platformu, eksiksiz bir modern veri platformu çerçevesini kapsar. Göl evi mimarisi üzerine kurulmuştur ve verilerinizin benzersiz niteliklerini anlayan bir veri zekası altyapısı tarafından desteklenir. ETL, ML/AI ve DWH/BI iş yükleri için açık ve birleşik bir temeldir ve merkezi veri ve yapay zeka idare çözümü olarak Unity Kataloğu'na sahiptir.

Platform çerçevesinin kişilikleri

Çerçeve, çerçevedeki uygulamalarla çalışan birincil veri ekibi üyelerini (kişilikler) kapsar:

• Veri mühendisleri , veri bilimcilerine ve iş analistlerine zamanında karar alma ve gerçek zamanlı içgörüler için doğru ve yeniden üretilebilir veriler sağlar. Kullanıcıların verilere olan güvenini ve güvenini artırmak için son derece tutarlı ve güvenilir ETL işlemleri uygular. Verilerin işletmenin çeşitli yapılarıyla iyi bir şekilde tümleştirildiğinden emin olur ve genellikle yazılım mühendisliği en iyi uygulamalarını izler.
• Veri bilimcileri analitik uzmanlığı ve iş anlayışını birleştirerek verileri stratejik içgörülere ve tahmine dayalı modellere dönüştürür. Bunlar, geçmişe dönük analitik içgörüler veya ileriye dönük tahmine dayalı modelleme yoluyla iş zorluklarını veri odaklı çözümlere çevirme konusunda ustadır. Veri modelleme ve makine öğrenmesi tekniklerinden yararlanarak verilerden desenleri, eğilimleri ve tahminleri ortaya çıkartan modelleri tasarlar, geliştirir ve dağıtır. Bir köprü görevi görür ve karmaşık veri anlatılarını anlaşılır hikayelere dönüştürür, iş paydaşlarının veri odaklı önerileri anlamasını sağlamakla kalmaz, aynı zamanda bir kuruluş içinde sorun çözme konusunda veri odaklı bir yaklaşım benimseyebilir.
• ML mühendisleri (makine öğrenmesi mühendisleri), makine öğrenmesi modelleri oluşturarak, dağıtarak ve bakımını yaparak ürün ve çözümlerde veri biliminin pratik bir şekilde uygulanmasına öncülük eder. Birincil odak noktası, model geliştirme ve dağıtımının mühendislik yönüne odaklanır. ML Mühendisleri canlı ortamlarda makine öğrenmesi sistemlerinin sağlamlığını, güvenilirliğini ve ölçeklenebilirliğini sağlayarak veri kalitesi, altyapı ve performansla ilgili zorlukları ele alır. Yapay zeka ve ML modellerini operasyonel iş süreçleriyle ve kullanıcıya yönelik ürünlerle tümleştirerek, veri biliminin iş zorluklarının çözümünde kullanımını kolaylaştırarak modellerin yalnızca araştırmada kalmamasını ve somut iş değeri sağlamasını sağlar.
• İş analistleri proje katılımcılarını ve iş ekiplerini eyleme dönüştürülebilir verilerle güçlendirmektedir. Genellikle standart BI araçlarını kullanarak verileri yorumlar ve liderlik için raporlar veya başka belgeler oluştururlar. Bunlar genellikle teknik olmayan iş ve operasyon iş arkadaşlarının hızlı analiz soruları için iletişim noktasıdır.
• İş ortakları , ağ iletişimi giderek artan bir iş dünyasında önemli paydaşlardır. Bir işletmenin ortak bir hedefe ulaşmak için resmi bir ilişkisi olan bir şirket veya bireyler olarak tanımlanırlar ve satıcılar, tedarikçiler, dağıtımcılar ve diğer üçüncü taraf iş ortaklarını içerebilirler. veri paylaşımı, işbirliğini ve veri odaklı karar alma sürecini geliştirmek için veri aktarımına ve değişimine olanak sağladığından, iş ortaklıklarının önemli bir yönüdür.

Platform çerçevesinin etki alanları

Platform birden çok etki alanlarından oluşur:

• Depolama: Bulutta veriler genellikle bulut sağlayıcılarında ölçeklenebilir, verimli ve dayanıklı nesne depolama alanında depolanır.

• İdare: Erişim denetimi, denetim, meta veri yönetimi, köken izleme ve tüm veriler ve yapay zeka varlıkları için izleme gibi veri idaresi özellikleri.

• Yapay zeka altyapısı: Yapay zeka altyapısı, platformun tamamı için üretken yapay zeka özellikleri sağlar.

• Alma ve dönüştürme: ETL iş yüklerinin özellikleri.

• Gelişmiş analiz, ML ve AI: Makine öğrenmesi, yapay zeka, Üretken yapay zeka ve ayrıca akış analizi ile ilgili tüm özellikler.

• Veri ambarı: DWH ve BI kullanım örneklerini destekleyen etki alanı.

• Düzenleme: Veri işleme, makine öğrenmesi ve analiz işlem hatlarının merkezi iş akışı yönetimi.

• ETL ve DS araçları: Veri mühendislerinin, veri bilimciler ve ML mühendislerinin öncelikli olarak iş için kullandığı ön uç araçları.

• BI araçları: İŞ zekası analistlerinin öncelikli olarak iş için kullandığı ön uç araçları.

• İşbirliği: İki veya daha fazla taraf arasında veri paylaşımı özellikleri.

Databricks Platformunun kapsamı

Databricks Veri Zekası Platformu ve bileşenleri aşağıdaki şekilde çerçeveye eşlenebilir:

İndirme: Lakehouse kapsamı - Databricks bileşenleri

Azure Databricks'te veri iş yükleri

En önemlisi, Databricks Veri Zekası Platformu tek bir platformdaki veri etki alanı için tüm ilgili iş yüklerini kapsar ve altyapı olarak Apache Spark/Photon kullanılır:

• Alma ve dönüştürme

  Veri alımı için Otomatik Yükleyici, durum bilgilerini yönetmeye gerek kalmadan zamanlanmış veya sürekli işlerde bulut depolama alanına inen dosyaları artımlı olarak ve otomatik olarak işler. Veri alındıktan sonra iş zekası ve ML/AI için hazır olması için ham verilerin dönüştürülmesi gerekir. Databricks, veri mühendisleri, veri bilimcileri ve analistler için güçlü ETL özellikleri sağlar.

  Delta Live Tables (DLT), ETL işlerinin bildirim temelli bir şekilde yazılmasını sağlayarak tüm uygulama sürecini basitleştirir. Veri beklentileri tanımlanarak veri kalitesi geliştirilebilir.

• Gelişmiş analiz, ML ve yapay zeka

  Platform, klasik makine ve derin öğrenme için bir dizi tam tümleşik makine öğrenmesi ve yapay zeka araçlarının yanı sıra üretken yapay zeka ve büyük dil modellerini (LLM' ler) içeren Databricks Mozaik AI'yi içerir. Veri hazırlamadan makine öğrenmesi ve derin öğrenme modelleri oluşturmaya, Mozaik Yapay Zeka Modeli Sunma'ya kadar tüm iş akışını kapsar.

  Spark Yapılandırılmış Akış ve DLT , gerçek zamanlı analizi etkinleştirir.

• Veri ambarı

  Databricks Veri Zekası Platformu ayrıca ayrıntılı erişim denetimine sahip Unity Kataloğu tarafından merkezi olarak yönetilen Databricks SQL ile eksiksiz bir veri ambarı çözümüne sahiptir.

Azure Databricks özellik alanlarının ana hattı

Bu, Databricks Veri Zekası Platformu özelliklerinin alttan üste doğru çerçevenin diğer katmanlarına eşlenir:

• Bulut depolaması

  Göl evi için tüm veriler bulut sağlayıcısının nesne depolama alanında depolanır. Databricks üç bulut sağlayıcısını destekler: AWS, Azure ve GCP. Çeşitli yapılandırılmış ve yarı yapılandırılmış biçimlerde (örneğin Parquet, CSV, JSON ve Avro) ve yapılandırılmamış biçimlerdeki (görüntüler ve belgeler gibi) dosyalar toplu işlem veya akış işlemleri kullanılarak alınır ve dönüştürülür.

  Delta Lake, lakehouse için önerilen veri biçimidir (dosya işlemleri, güvenilirlik, tutarlılık, güncelleştirmeler vb.) ve kilitlenmeyi önlemek için tamamen açık kaynak. Delta Universal Format (UniForm), Iceberg okuyucu istemcileriyle Delta tablolarını okumanızı sağlar.

  Databricks Veri Zekası Platformu'nda hiçbir özel veri biçimi kullanılmaz.

• Veri idaresi

  Unity Kataloğu, depolama katmanının yanı sıra meta veri deposunda meta veri yönetimi, erişim denetimi, denetim, veri bulma, veri kökeni gibi çok çeşitli veri idaresi özellikleri sunar.

  Lakehouse izleme , veriler ve yapay zeka varlıkları için kullanıma hazır kalite ölçümleri ve bu ölçümleri görselleştirmek için otomatik olarak oluşturulan panolar sağlar.

  Dış SQL kaynakları lakehouse federasyonu aracılığıyla lakehouse ve Unity Kataloğu ile tümleştirilebilir.

• Yapay zeka altyapısı

  Veri Zekası Platformu, lakehouse mimarisi üzerine kurulmuştur ve DatabricksIQ veri zekası altyapısı tarafından geliştirilmiştir. DatabricksIQ, verilerinizin benzersiz semantiğini anlamak için üretken yapay zekayı lakehouse mimarisinin birleştirme avantajlarıyla birleştirir. Akıllı Arama ve Databricks Yardımcısı , her kullanıcı için platformla çalışmayı basitleştiren yapay zeka destekli hizmetlere örnektir.

• Düzenleme

  Databricks İşleri , tüm bulutlarda tam veri ve yapay zeka yaşam döngüsü için farklı iş yükleri çalıştırmanızı sağlar. Sql, Spark, not defterleri, DBT, ML modelleri ve daha fazlası için Delta Live Tablolarının yanı sıra işleri düzenlemenizi sağlar.

• ETL & DS araçları

  Tüketim katmanında veri mühendisleri ve ML mühendisleri genellikle IDE'leri kullanarak platformla birlikte çalışır. Veri bilimciler genellikle not defterlerini tercih eder ve denemeleri izlemek ve model yaşam döngüsünü yönetmek için ML ve AI çalışma zamanlarını ve makine öğrenmesi iş akışı sistemi MLflow'u kullanır.

• BI araçları

  İş analistleri genellikle Databricks veri ambarlarına erişmek için tercih ettikleri BI aracını kullanır. Databricks SQL farklı Analiz ve BI araçları tarafından sorgulanabilir, bkz. BI ve görselleştirme

  Buna ek olarak, platform kullanıma sunulan sorgu ve analiz araçlarını sunar:

  • Veri görselleştirmelerini sürükleyip bırakmak ve içgörüleri paylaşmak için panolar.
  • SQL analistlerinin verileri çözümlemesi için SQL düzenleyicisi .

• İş birliği

  Delta Sharing , Databricks tarafından kullandıkları bilgi işlem platformlarından bağımsız olarak diğer kuruluşlarla güvenli veri paylaşımı için geliştirilen açık bir protokoldür .

  Databricks Market , veri ürünleri alışverişi için açık bir forumdur. Veri sağlayıcılarına veri ürünlerini güvenli bir şekilde paylaşma araçları ve veri tüketicilerine ihtiyaç duydukları veri ve veri hizmetlerine erişimlerini keşfetme ve genişletme gücü vermek için Delta Sharing'in avantajlarından yararlanır.