Data lakehouse mimarisi: Databricks iyi tasarlanmış çerçeve
Bu data lakehouse mimarisi makaleleri kümesi, Azure Databricks kullanarak bir göl evi uygulama ve çalıştırmaya yönelik ilkeler ve en iyi yöntemler sağlar.
Databricks göl evi için iyi tasarlanmış çerçeve
İyi tasarlanmış göl evi , bulutta bir veri gölü binasının uygulanmasıyla ilgili farklı endişe alanlarını açıklayan 7 sütundan oluşur:
Veri idaresi
Verilerin değer getirdiğinden ve iş stratejinizi desteklediğinden emin olmak için gözetim.
Birlikte çalışabilirlik ve kullanılabilirlik
Lakehouse'un kullanıcılar ve diğer sistemlerle etkileşim kurma yeteneği.
Operasyonel mükemmellik
Lakehouse'un üretimde çalışmasını sağlayan tüm operasyon işlemleri.
Güvenlik, gizlilik, uyumluluk
Azure Databricks uygulamasını, müşteri iş yüklerini ve müşteri verilerini tehditlere karşı koruyun.
Güvenilirlik
Sistemin hatalardan kurtularak çalışmaya devam edebilme özelliği.
Performans verimliliği
Sistemin yükteki değişikliklere uyum sağlama becerisi.
Maliyet iyileştirme
Sağlanan değeri en üst düzeye çıkarmak için maliyetleri yönetme.
İyi tasarlanmış lakehouse, Microsoft Azure İyi Tasarlanmış Çerçeve'yi Databricks platformuna genişletir ve "Operasyonel Mükemmellik", "Güvenlik" ("Güvenlik, gizlilik, uyumluluk" olarak), "Güvenilirlik", "Performans Verimliliği" ve "Maliyet İyileştirme" sütunlarını paylaşır.
Bu beş yapı için bulut çerçevesinin ilkeleri ve en iyi uygulamaları göl evi için geçerli olmaya devam eder. İyi tasarlanmış göl evi, bunları göl evi için özel olan ve etkili ve verimli bir göl evi oluşturmak için önemli olan ilkeler ve en iyi yöntemlerle genişletir.
Lakehouse mimarilerinde Veri İdaresi ve Birlikte Çalışabilirlik Kullanılabilirliği &
"Veri İdaresi" ve "Birlikte Çalışabilirlik ve Kullanılabilirlik" sütunları göle özgü endişeleri kapsar.
Veri idaresi, kuruluş içindeki veri varlıklarını güvenli bir şekilde yönetmek için uygulanan ilkeleri ve uygulamaları kapsüller. Bir lakehouse'un temel yönlerinden biri merkezi veri idaresidir: Lakehouse, veri ambarını bir arada sunar ve yapay zeka örnekleri tek bir platformda kullanır. Bu, geleneksel olarak veri mühendisliği, analiz, BI, veri bilimi ve makine öğrenmesini ayıran ve karmaşık hale getiren veri silolarını ortadan kaldırarak modern veri yığınını basitleştirir. Lakehouse, veri idaresini basitleştirmek için veriler, analizler ve yapay zeka için birleşik bir idare çözümü sunar. Verilerinizin kopyalarını en aza indirerek ve tüm veri idare denetimlerinizin birlikte çalışabileceği tek bir veri işleme katmanına geçerek, uyumlulukta kalma ve veri ihlali algılama şansınızı artırırsınız.
Lakehouse'un bir diğer önemli ağı, onunla çalışan tüm kişilikler için harika bir kullanıcı deneyimi sağlamak ve geniş bir dış sistem ekosistemiyle etkileşim kurabilmektir. Azure'da, veri temelli bir kuruluşun ihtiyaç duyabileceği görevlerin çoğunu gerçekleştiren çeşitli veri araçları zaten vardır. Ancak, her hizmetin farklı bir kullanıcı deneyimi sunduğu tüm işlevleri sağlamak için bu araçların düzgün bir şekilde derlenmiş olması gerekir. Bu yaklaşım yüksek uygulama maliyetlerine yol açabilir ve genellikle yerel lakehouse platformuyla aynı kullanıcı deneyimini sağlamaz: Kullanıcılar araçlar arasındaki tutarsızlıklarla ve işbirliği özelliklerinin eksikliğiyle sınırlıdır ve genellikle sisteme ve dolayısıyla verilere erişmek için karmaşık süreçlerden geçmek zorunda kalırlar.
Diğer taraftaki tümleşik lakehouse tüm iş yüklerinde tutarlı bir kullanıcı deneyimi sağlar ve bu nedenle kullanılabilirliği artırır. Bu, eğitim ve ekleme maliyetlerini azaltır ve işlevler arasındaki işbirliğini geliştirir. Ayrıca, şirket içi kaynaklara ve bütçelere yatırım yapmaya gerek kalmadan kullanıcı deneyimini daha da geliştirmek için zaman içinde yeni özellikler otomatik olarak eklenir.
Çoklu bulut yaklaşımı, bir şirketin kasıtlı bir stratejisi veya birleşmeler ve satın almalar ya da farklı bulut sağlayıcıları seçen bağımsız iş birimlerinin sonucu olabilir. Bu durumda, çok bulutlu bir göl evi kullanmak tüm bulutlarda birleşik bir kullanıcı deneyimine neden olur. Bu, kuruluş genelinde sistemlerin yaygınlaşmasını azaltır ve bu da veri temelli görevlerde yer alan çalışanların beceri ve eğitim gereksinimlerini azaltır.
Son olarak, şirketler arası iş süreçlerine sahip ağa bağlı bir dünyada sistemlerin mümkün olduğunca sorunsuz bir şekilde birlikte çalışması gerekir. Birlikte çalışabilirlik derecesi burada çok önemli bir kriterdir ve herhangi bir işletmenin temel varlığı olarak en son verilerin iç ve dış iş ortağı sistemleri arasında güvenli bir şekilde akması gerekir.