Self servis veri platformları için tasarım konuları

Veri ağı, veri mimarisi tasarımı ve geliştirmesi için heyecan verici yeni bir yaklaşımdır. Geleneksel veri mimarisinin aksine veri ağı, veri ürünleri oluşturmaya odaklanan işlevsel veri etki alanları ile teknik özelliklere odaklanan bir platform ekibi arasında sorumluluk ayırır. Bu sorumluluk ayrımı platformunuza yansıtılmalıdır. Etki alanı belirsiz özellikleri sağlamak ve etki alanı ekiplerinizin verilerini kuruluşunuz genelinde modellemesine, işlemesine ve dağıtmasına olanak sağlamak arasında bir denge oluşturmanız gerekir.

Platformları kullanarak ayırma için doğru etki alanı ayrıntı düzeyini ve kuralları seçmek kolay değildir. Bu makale, size ayrıntılı rehberlik sağlayan çeşitli senaryolar içerir.

Bulut ölçeğinde analiz

Azure ile bir veri ağı oluşturmak istediğinizde bulut ölçeğinde analizi benimsemenizi öneririz. Bu çerçeve dağıtılabilir bir başvuru mimarisidir ve açık kaynak şablonları ve en iyi yöntemlerle birlikte gelir. Bulut ölçeğinde analiz mimarisi, tüm dağıtım seçenekleri için temel olan iki ana yapı bloğuna sahiptir:

• Veri yönetimi giriş bölgesi: Veri mimarinizin temeli. Veri kataloğu, veri kökeni, API kataloğu, ana veri yönetimi gibi veri yönetimi için tüm kritik özellikleri içerir.
• Veri giriş bölgeleri: Analiz ve yapay zeka çözümlerinizi barındıran abonelikler. Bunlar bir analiz platformu barındırmaya yönelik temel özellikleri içerir.

Aşağıdaki diyagramda, veri yönetimi giriş bölgesi ve tek bir veri giriş bölgesi içeren bulut ölçeğinde analiz platformuna genel bir bakış sağlanmaktadır. Diyagramda tüm Azure hizmetleri gösterilmez. Bu mimarideki temel kavramlar kaynak düzenlemesini vurgulamak basitleştirilmiştir.

Bulut tabanlı analiz çerçevesi, tam olarak ne tür bir veri mimarisi sağlamanız gerektiği konusunda açık değildir. Bunu (kurumsal) veri ambarları, veri gölleri, veri gölü evleri ve veri kafesleri gibi birçok yaygın bulut ölçeğinde analiz çözümü için kullanabilirsiniz. Bu makaledeki tüm örnek çözümler veri ağı mimarisini kullanır.

Tüm mimarilerin veri ağı ilkelerine uyduğunu anlayın: etki alanı sahipliği, ürün olarak veriler, self servis veri platformu ve federasyon hesaplama idaresi. Farklı yolların tümü bir veri ağı oluşturabilir. Tek bir doğru veya yanlış cevap yoktur. Kuruluşunuzun ihtiyaçları için doğru dengeleri sağlamalısınız.

Tek veri giriş bölgesi

Veri ağı mimarisi oluşturmaya yönelik en basit dağıtım düzeni, bir veri yönetimi giriş bölgesi ve bir veri giriş bölgesi içerir. Böyle bir senaryoda veri mimarisi aşağıdaki gibi görünür:

Bu modelde, tüm işlevsel veri etki alanlarınız aynı veri giriş bölgesinde yer alır. Tek bir abonelik, standart bir hizmet kümesi içerir. Kaynak grupları farklı veri etki alanlarını ve veri ürünlerini ayrıştırmaktadır. Azure Data Lake Store, Azure Logic Apps ve Azure Synapse Analytics gibi standart veri hizmetleri tüm etki alanlarına uygulanır.

Tüm veri etki alanları veri ağı ilkelerini izler: veriler etki alanı sahipliğini izler ve veriler ürünler gibi ele alınır. Platform tamamen self servistir, ancak hizmetlerin sınırlı varyasyonları vardır. Tüm etki alanlarının aynı veri yönetimi ilkelerine sıkı sıkıya uyması ve uyması gerekir.

Bu dağıtım seçeneği, veri ağı benimsemek isteyen ancak işleri fazla karmaşık hale getirmek istemeyen küçük şirketler veya yeşil alan projeleri için yararlı olabilir. Bu dağıtım, daha karmaşık bir şey oluşturmayı planlayan bir kuruluş için de başlangıç noktası olabilir. Bu durumda, daha sonra birden çok giriş bölgesine genişletmeyi planlayın.

Kaynak sistem hizalı ve tüketiciyle hizalanmış giriş bölgeleri

Önceki modelde diğer abonelikleri veya şirket içi uygulamaları hesaba katmadık. Tüm gelen verileri yönetmek için sistemle hizalanmış bir kaynak giriş bölgesi ekleyerek önceki modeli biraz değiştirebilirsiniz. Veri ekleme zor bir işlemdir, bu nedenle iki veri giriş bölgesine sahip olmak yararlıdır. Ekleme, büyük veri kullanmanın en zor bölümlerinden biri olmaya devam eder. Ayrıca ekleme işlemi genellikle tümleştirmeyi ele almak için ek araçlar gerektirir, çünkü zorlukları tümleştirmeden farklıdır. Veri sağlama ve veri kullanma arasında ayrım yapmaya yardımcı olur.

Bu diyagramın sol tarafındaki mimaride hizmetler CDC, API'leri çekme hizmetleri veya veri kümelerini dinamik olarak oluşturmak için data lake hizmetleri gibi tüm veri ekleme işlemlerini kolaylaştırır. Bu platformdaki hizmetler şirket içi, bulut ortamları veya SaaS satıcılarından veri alabilir. Bu platform türü genellikle daha fazla ek yüke sahiptir çünkü temel operasyonel uygulamalarla daha fazla bağlantı vardır. Bunu herhangi bir veri kullanımından farklı bir şekilde ele almak isteyebilirsiniz.

Diyagramın sağ tarafındaki mimaride kuruluş tüketim için iyileştirmeler yapıp verileri değere dönüştürmeye odaklanmış hizmetlere sahiptir. Bu hizmetler makine öğrenmesi, raporlama vb. içerebilir.

Bu mimari etki alanları, veri örgüsünün tüm ilkelerini izler. Etki alanları verilerin sahipliğini alır ve verileri doğrudan diğer etki alanlarına dağıtmalarına izin verilir.

Merkez, genel ve özel veri giriş bölgeleri

Sonraki dağıtım seçeneği, önceki tasarımın başka bir yinelemesidir. Bu dağıtım, yönetilen bir mesh topolojisini izler: veriler, verilerin etki alanı başına bölümlendiği, mantıksal olarak yalıtıldığı ve tümleştirilmediği merkezi bir merkez üzerinden dağıtılır. Bu modelin hub'ı kendi (etki alanı-bağımsız) veri giriş bölgesini kullanır ve hangi verilerin diğer etki alanlarına dağıtıldığını denetleyen merkezi bir veri idaresi ekibine ait olabilir. Hub ayrıca veri eklemeyi kolaylaştıran hizmetler de taşır.

Yeni verileri kullanmak, kullanmak, çözümlemek ve oluşturmak için standart hizmetler gerektiren etki alanları için genel veri giriş bölgesini kullanın. Bu tek abonelik standart bir hizmet kümesine sahiptir. Ayrıca, veri ürünlerinizin çoğu hub'da zaten kalıcı olduğundan ve daha fazla yinelenen veriye ihtiyacınız olmadığından veri sanallaştırma uygulayın.

Bu dağıtım 'özel'lere izin verir: etki alanlarını mantıksal olarak gruplandırmak mümkün olmadığında sağlayabileceğiniz fazladan giriş bölgeleri. Bölgesel veya yasal sınırlar uygulandığında veya etki alanlarınızın benzersiz ve karşıt gereksinimleri olduğunda bunlar gerekli olabilir. Ayrıca, denizaşırı etkinlikler için özel durumlar dışında güçlü bir küresel yan idarenin uygulandığı durumlarda da bunlara ihtiyacınız olabilir.

Kuruluşunuzun hangi verilerin hangi etki alanları tarafından dağıtıldığını ve kullanılacağını denetlemesi gerekiyorsa, hub dağıtımı iyi bir seçenektir. Ayrıca, büyük veri tüketicileri için zaman değişkeni ve geçici olmayan endişeleri ele almak için de bir seçenektir. Etki alanlarınızın zaman yolculuğu yapmasını ve yeniden teslimat gerçekleştirmesini sağlayan veri ürün tasarımını güçlü bir şekilde standartlaştırabilirsiniz. Bu model özellikle finans sektöründe yaygındır.

İşlevsel ve bölgesel olarak hizalanmış veri giriş bölgeleri

Birden çok veri giriş bölgesi sağlamak, işlevsel etki alanlarını çalışma ve veri paylaşımı için uyum ve verimlilik temelinde gruplandırmanıza yardımcı olabilir. Tüm veri giriş bölgeleriniz aynı denetim ve denetimlere bağlı kalır, ancak farklı veri giriş bölgeleri arasında esneklik ve tasarım değişiklikleri yapmaya devam edebilirsiniz.

Paylaşılan veri giriş bölgesi için mantıksal olarak gruplandırmak istediğiniz işlevsel veri etki alanlarını belirleyin. Örneğin, bölgesel sınırlarınız varsa aynı şablonları uygulayabilirsiniz. Sahiplik, güvenlik veya yasal sınırlar sizi etki alanlarını ayırmaya zorlayabilir. Esneklik, değişim hızı ve yeteneklerinizin ayrılması veya satılması da dikkate alınması gereken önemli faktörlerdir.

Veri etki alanlarında daha fazla rehberlik ve en iyi yöntemler bulunabilir.

Farklı giriş bölgeleri tek başına durmaz. Diğer bölgelerde barındırılan veri göllerine bağlanabilirler. Bu, etki alanlarının kuruluşunuz genelinde işbirliği yapmasına olanak tanır. Farklı veri deposu teknolojilerini karıştırmak için çok teknolojili kalıcılık da uygulayabilirsiniz. Çok teknolojili kalıcılık, etki alanlarınızın verileri çoğaltmadan diğer etki alanlarındaki verileri doğrudan okumasına olanak tanır.

Birden çok veri giriş bölgesi dağıtırken, her veri giriş bölgesine yönetim yükü eklendiğini unutmayın. Tüm veri giriş bölgeleri arasında sanal ağ eşlemesi uygulamanız, ek özel uç noktaları yönetmeniz vb. gerekir.

Veri mimariniz büyükse birden çok veri giriş bölgesi dağıtmak iyi bir seçenektir. Çeşitli etki alanlarının ortak gereksinimlerini karşılamak için mimarinize daha fazla giriş bölgesi ekleyebilirsiniz. Bu ek giriş bölgeleri, hem veri yönetimi giriş bölgesine hem de diğer tüm giriş bölgelerine bağlanmak için sanal ağ eşlemesini kullanır. Eşleme, giriş bölgelerinizde veri kümelerini ve kaynakları paylaşmanızı sağlar. Verileri ayrı bölgelere bölmek, iş yüklerini Azure aboneliklerinize ve kaynaklarınıza yaymanızı sağlar. Bu yaklaşım, veri ağlarının organik olarak uygulanmasına yardımcı olur.

Farklı veri yönetimi bölgeleri gerektiren büyük ölçekli kuruluş

Küresel ölçekte çalışan büyük kuruluşlar, kuruluşlarının farklı bölümleri arasında karşıt veri yönetimi gereksinimlerine sahip olabilir. Bu sorunu çözmek için birden çok veri yönetimi ve veri giriş bölgesi dağıtabilirsiniz. Aşağıdaki diyagramda bu tür bir mimari örneği gösterilmektedir:

Birden çok veri yönetimi giriş bölgesi ek yükünüzü ve tümleştirme karmaşıklığınızı haklı çıkarmalıdır. Örneğin, kuruluşunuzun (meta) verilerinin kuruluşunuz dışındaki hiç kimse tarafından görülmemesi gereken durumlar için başka bir veri yönetimi giriş bölgesi mantıklı olabilir.

Sonuç

Veri ağlarına geçiş, nüanslar, ticari ödünler ve dikkat edilmesi gerekenler içeren kültürel bir değişimdir. En iyi yöntemleri ve yürütülebilir kaynakları elde etmek için bulut ölçeğinde analiz kullanabilirsiniz. Bu makalenin başvuru mimarileri, uygulamanızı başlatmanız için başlangıç noktaları sunar.

Sonraki adım

• Veri marketi