Veri ağı nedir?
Veri ağı, büyük ve karmaşık kuruluşlarda kurumsal veri platformları uygulamaya yönelik bir mimari desendir. Veri ağı, tek bir platformun ve tek bir uygulama ekibinin ötesinde analiz benimsemesini ölçeklendirmeye yardımcı olur.
Background
Analiz gereksinimi yeni değildir. Kuruluşlar her zaman iş performansını analiz etmek zorunda olmuşlardır ve girişlerinden bu yana bilgisayarları kullanarak bunu gerçekleştirmişlerdir. 1980'lerde kuruluşlar özellikle karar desteği için veritabanlarını kullanarak veri ambarı çözümleri oluşturmaya başladı. Bu veri ambarı çözümleri, kuruluşlara uzun süre iyi hizmet verdi.
Ancak, iş değiştikçe ve daha çeşitli veriler oluşturduktan sonra ilişkisel veritabanlarını kullanan veri ambarı çözümleri her zaman en iyi çözüm olmayabilir. 2000'lerde büyük veri yaygın bir terim haline geldi. İşletmeler, büyük bir hızla oluşturulabilecek çok büyük hacimli çeşitli verilerin analiz edilmesine olanak sağlayan yeni çözümler benimsemiştir. Buna veri gölleri gibi teknoloji ve büyük miktarlardaki verileri analiz eden ölçeği genişletme çözümleri dahildir.
Son yıllarda birçok kuruluş, veri ambarı teknolojilerini ve daha yeni büyük veri teknolojilerini birleştiren modern mimari ve analitik desenleri başarıyla kullanmaktadır.
Ancak bazı kuruluşlar analiz desenleri kullanan analitik çözümler dağıtırken sorunlarla karşılaşır. Bu çözümler genellikle tek bir ekibin platform sağlayıcısı olduğu ve ekibin veri tümleştirmesi yaptığı monolitik çözümler olarak uygulanır. Ekip kurulumu açısından yüksek düzeyde merkezileştirmeye sahip küçük kuruluşlar ve kuruluşlar tek bir ekip kullanabilir. Ancak, yalnızca tek bir ekip kullanan daha büyük bir kuruluş genellikle bir performans sorunu oluşturur. Bu performans sorunu, kuruluşun bazı bölümlerinin veri tümleştirme hizmetlerini ve analitik çözümleri beklemesine neden olan büyük bir kapsam oluşturur.
Kuruluşlar modern veri bilimi çözümlerini benimsedikçe bu düzen daha yaygın hale gelir. Birçok modern veri bilimi çözümü, geçmişte geleneksel iş zekası çözümlerinden daha fazla veri gerektirir.
Mikro hizmetleri uygulama geliştirme deseni olarak kullanmaya son geçiş, veri kaynaklarının sayısını artırdığı için veri tümleştirmesi ile ilgili uzun kapsamların bir diğer sürücüsüdür.
Büyük bir kuruluştaki tek bir platformda tüm veri alımını işleyen tek bir ekip de sorunlu olabilir. Bir ekibin her veri kaynağı için uzmanları nadiren vardır. Çoğu kuruluş merkezi değildir ve iş açısından dağıtılmıştır. Farklı iş birimleri ve departmanlar, iş operasyonunun farklı bölümlerini ele alır, bu nedenle veri uzmanları genellikle çeşitli sektörlere yayılır.
Bu sorunları çözmek için yakın zamanda veri ağı adı verilen yeni bir mimari desen kullanıma sunulmuştur. Data Mesh'in amacı, dağıtılmış ekiplerin merkezi olmayan ve çevik bir şekilde bilgiyle çalışmasına ve bu bilgileri paylaşmasına izin vermektir.
Veri ağı, aynı zamanda kurumsal değişiklik gerektiren teknik bir desendir. Veri ağı yaklaşımının avantajları, veri ürünlerini yayımlayan ve kullanan çok disiplinli ekipler uygulanarak elde edilir.
Aşağıdaki kavramlar, veri ağı mimarisini anlamanın temelini oluşturur:
- Veri etki alanları
- Veri ürünleri
- Self servis platformlar
- Federasyon idaresi
Veri etki alanları
Veri etki alanları, veri örgüsünün temelini oluşturur. Veri etki alanları kavramı, genellikle yazılım geliştirmede karmaşık yazılım çözümlerini modellemek için kullanılan bir paradigma olan Domain Driven Development'dan (DDD) gelir. Veri ağı içinde veri etki alanı, kurumsal verilerinizin etrafındaki sınırları tanımlamanın bir yoludur. Etki alanları kuruluşunuza bağlı olarak farklılık gösterebilir ve bazı durumlarda kuruluşunuzun etrafındaki etki alanlarını tanımlayabilirsiniz. Diğer durumlarda, veri etki alanlarını iş süreçlerinize veya kaynak sistemlerinize göre modellemeyi seçebilirsiniz.
Veri etki alanlarının üç yönü vardır:
Seçtiğiniz sınırlar kendilerini uzun vadeli sahiplik olarak işler. Uzun bir süre boyunca var olurlar ve sahiplerini belirlemişlerdir.
Etki alanlarınız yalnızca teorik kavramlarla değil gerçeklikle eşleşmelidir.
Etki alanlarınızın atomik bütünlüğü olması gerekir. Alanların birbiriyle ilişkisi yoksa, bunları bir etki alanında birlikte birleştirmeyin.
Veri etki alanları ve bunları nasıl tanımlamanız gerektiği hakkında daha fazla bilgi için bkz . Veri etki alanları.
Veri ürünleri
Veri ürünleri, veri örgüsünün bir diğer önemli bileşenidir. Veri ürünleri, ürün düşüncesini veri dünyasına taşımayı hedefler. Veri ürününüzün başarılı olabilmesi için hedeflenen kullanıcılara uzun vadeli bir iş değeri sağlaması gerekir. Veri ağı içinde bir veri ürünü veri, kod varlıkları, meta veriler ve ilgili ilkeleri içerir. Veri ürünleri bir veri gölünde API, rapor, tablo veya veri kümesi olarak teslim edilebilir.
Başarılı bir veri ürünü şu şekilde olmalıdır:
- Kullanılabilir: Ürününüzün hemen veri etki alanı dışında kullanıcıları olmalıdır.
- Değerli: Ürününüz zaman içinde değeri korumalıdır. Uzun vadeli bir değere sahip değilse, başarılı olamaz.
- Uygulanabilir: Ürününüz uygun olmalıdır. Gerçekten oluşturamıyorsanız ürün başarılı olamaz. Ürününüzün hem veri kullanılabilirliği hem de teknik açıdan uygun olması gerekir.
Bir veri ürününün kod varlıkları, ürünü oluşturan kodu ve ürünü teslim eden kodu içerir. Kod varlıkları, ürünü ve ürünün son raporunu oluşturmak için kullanılan işlem hatlarını da içerir.
Veri ürünleri hakkında daha fazla bilgi için bkz . Azure'da bulut ölçeğinde analiz veri ürünleri.
Veri ağı kullanma hakkında belirli yönergeler için bkz . Veri ürünü nedir?.
Self servis platformlar
Veri ağlarının temellerinden biri, veri etki alanlarının kendi veri ürünlerini oluşturmasına olanak tanıyan bir platforma sahip olmaktır. Veri etki alanlarının, merkezi bir platforma veya merkezi platform ekibine güçlü bir bağımlılığı olmadan kullanıcılar için uygun olan araçları ve işlemleri kullanarak veri ürünleri tanımlaması gerekir. Veri ağı içinde, otonom ürünler geliştiren ve yöneten otonom ekipleriniz vardır.
Verilerinizi anlayan iş kullanıcılarıyla merkeziyetsizleştirmeyi ve hizalamayı kullanırken, platformunuzda da çalışan generalleri unutmayın. Generalistleriniz olduğundan, ağ tabanlı platformunuzun temel temeli olarak çalışmak için uzman bilgisi gerektiren özel araçlara sahip olamazsınız.
Self servis veri platformları için tasarım konuları bölümünde açıklanan uygulamaları benimseyerek self servis platformunuzu başarıyla uygulayabilirsiniz.
Federasyon idaresi
Self servis dağıtılmış bir veri platformu benimsediğinizde, idareye daha fazla vurgulamanız gerekir. İdare eksikliği, veri etki alanlarınızda silolara ve veri çoğaltmaya yol açar. İdare gereksinimini anlayan kişiler etki alanınıza uygun ekiplerde ve veri sahipleri arasında bulunduğundan, idarenizi bir araya getirme.
Federasyon idarenizi oluşturmak için hem platform hem de veri gereksinimleri için otomatik ilkeler uygulayın. Test ve izleme için yüksek düzeyde otomasyon kullanın. Standartları, ilkeleri, veri ürünlerini ve platform dağıtımını kod olarak işlemek için kod öncelikli bir uygulama stratejisi benimseyin.
Federasyon idaresi özelliklerini uygulama hakkında daha fazla bilgi için bkz . Veri idareye genel bakış.
Özet
Veri ağı, kurumsal veri platformlarını uygulamak için etkili bir yol olabilir, ancak tüm kuruluşlar için en iyi çözüm değildir. Veri ağı, bağımsız olarak çalışabilen otonom ekipleri gerektirir. Veri ağı, bağımsız iş birimlerine sahip olan ve analiz benimsemesini tek bir platform ve uygulama ekibinin ötesine ölçeklendirmesi gereken büyük ve karmaşık kuruluşlarda en iyi şekilde çalışır.
Veri ağı kullanırken, silo oluşturmayabilmeniz için idarenizi uygularken özellikle dikkatli olun. Başarılı olmasını sağlamak için her zaman uygulamanızın merkezinde veriler için ürün düşünmeye devam edin.