Mükemmellik Merkezi'nde BI çözüm mimarisi

Bu makale BT uzmanlarını ve BT yöneticilerini hedefler. COE'deki BI çözüm mimarisi ve kullanılan farklı teknolojiler hakkında bilgi edineceksiniz. Teknolojiler Azure, Power BI ve Excel'i içerir. Bunlar birlikte ölçeklenebilir ve veri odaklı bir bulut BI platformu sunmak için kullanılabilir.

Sağlam bir BI platformu tasarlamak bir köprü oluşturmaya benzer; dönüştürülen ve zenginleştirilmiş kaynak verileri veri tüketicilerine bağlayan bir köprü. Böyle karmaşık bir yapının tasarımı mühendislik zihniyetini gerektirir, ancak tasarlayabileceğiniz en yaratıcı ve ödüllendirici BT mimarilerinden biri olabilir. Büyük bir kuruluşta bi çözüm mimarisi şunlardan oluşabilir:

• Veri kaynakları
• Veri alımı
• Büyük veri / veri hazırlama
• Veri ambarı
• BI anlam modelleri
• Raporlar

Platform belirli talepleri desteklemelidir. Özellikle, iş hizmetlerinin ve veri tüketicilerinin beklentilerini karşılamak için ölçeklendirilmeli ve performans göstermelidir. Aynı zamanda, sıfırdan güvenli olmalıdır. Ayrıca, değişime uyum sağlamak için yeterince dayanıklı olmalıdır; çünkü zaman içinde yeni verilerin ve konu alanlarının çevrimiçi duruma getirilmesi gerektiğinden emindir.

Çerçeveler

Microsoft olarak, en baştan çerçeve geliştirmeye yatırım yaparak sistemlere benzer bir yaklaşım benimsedik. Teknik ve iş süreci çerçeveleri, tasarım ve mantığın yeniden kullanılmasını artırır ve tutarlı bir sonuç sağlar. Ayrıca birçok teknolojiden yararlanan mimari esnekliği sunar ve yinelenebilir süreçler aracılığıyla mühendislik yükünü kolaylaştırır ve azaltır.

İyi tasarlanmış çerçevelerin veri kökeni, etki analizi, iş mantığı bakımı, taksonomiyi yönetme ve idare akışının görünürlüğünü artırdığını öğrendik. Ayrıca geliştirme daha hızlı hale geldi ve büyük ekipler arasında işbirliği daha hızlı ve etkili hale geldi.

Bu makalede çerçevelerimizden birkaçını açıklayacağız.

Veri modelleri

Veri modelleri, verilerin nasıl yapılandırıldığı ve erişildiğinde size denetim sağlar. İş hizmetleri ve veri tüketicileri için veri modelleri, iş zekası platformuyla olan arabirimleridir.

Bi platformu üç farklı model türü sunabilir:

• Kurumsal modeller
• BI anlam modelleri
• Machine Learning (ML) modelleri

Kurumsal modeller

Kurumsal modeller BT mimarları tarafından oluşturulur ve korunur. Bunlar bazen boyutsal modeller veya veri reyonları olarak adlandırılır. Veriler genellikle boyut ve olgu tabloları olarak ilişkisel biçimde depolanır. Bu tablolar, birçok sistemden birleştirilmiş temizlenmiş ve zenginleştirilmiş verileri depolar ve raporlama ve analiz için yetkili bir kaynağı temsil eder.

Kurumsal modeller, raporlama ve BI için tutarlı ve tek bir veri kaynağı sunar. Bunlar bir kez derlenir ve şirket standardı olarak paylaştırıldı. İdare ilkeleri verilerin güvenli olmasını sağlar, bu nedenle müşteri bilgileri veya finansallar gibi hassas veri kümelerine erişim ihtiyaç temelinde kısıtlanır. Tutarlılık sağlamak ve böylece verilerin ve kalitenin güvenilirliğini daha da geliştirmek için adlandırma kurallarını benimserler.

Bulut BI platformunda kurumsal modeller Azure Synapse'teki bir Synapse SQL havuzuna dağıtılabilir. Synapse SQL havuzu daha sonra kuruluşun hızlı ve sağlam içgörüler için güvenebileceği tek gerçek sürümü haline gelir.

BI anlam modelleri

BI anlam modelleri, kurumsal modellere göre anlam katmanını temsil eden bir katmandır. Bunlar, IŞ zekası geliştiricileri ve iş kullanıcıları tarafından derlenir ve korunur. BI geliştiricileri, kurumsal modellerden veri kaynağı oluşturan temel BI anlam modelleri oluşturur. İş kullanıcıları daha küçük ölçekli, bağımsız modeller oluşturabilir veya çekirdek BI anlam modellerini departmansal veya dış kaynaklarla genişletebilir. BI anlam modelleri genellikle tek bir konu alanına odaklanır ve genellikle yaygın olarak paylaşılır.

İş özellikleri yalnızca verilerle değil, kavramları, ilişkileri, kuralları ve standartları açıklayan BI anlam modelleri tarafından etkinleştirilir. Bu şekilde, veri ilişkilerini tanımlayan ve iş kurallarını hesaplama olarak kapsülleyen sezgisel ve anlaşılması kolay yapıları temsil eder. Ayrıca ayrıntılı veri izinleri uygulayarak doğru kişilerin doğru verilere erişmesini sağlayabilirler. Önemli olan sorgu performansını hızlandırmak ve terabaytlarca verinin üzerinde bile son derece hızlı yanıt veren etkileşimli analizler sağlamaktır. Kurumsal modellerde olduğu gibi BI anlam modelleri de tutarlılık sağlayan adlandırma kurallarını benimser.

Bulut BI platformunda, BI geliştiricileri Microsoft Fabric kapasitelerinin Power BI Premium kapasiteleri olan Azure Analysis Services'e BI anlam modelleri dağıtabilir.

Önemli

Bazen bu makale Power BI Premium'a veya kapasite aboneliklerine (P SKU'ları) başvurur. Microsoft'un şu anda satın alma seçeneklerini birleştirdiğini ve kapasite başına Power BI Premium SKU'larını kullanımdan kaldırdığını unutmayın. Yeni ve mevcut müşteriler bunun yerine Doku kapasitesi abonelikleri (F SKU'ları) satın almayı düşünmelidir.

Daha fazla bilgi için bkz . Power BI Premium lisansına gelen önemli güncelleştirmeler ve Power BI Premium hakkında SSS.

Raporlama ve analiz katmanınız olarak kullanıldığında Power BI'a dağıtmanızı öneririz. Bu ürünler farklı depolama modlarını destekler ve veri modeli tablolarının verilerini önbelleğe almalarına veya sorguları temel alınan veri kaynağına geçiren bir teknoloji olan DirectQuery'yi kullanmalarına olanak tanır. DirectQuery, model tabloları büyük veri hacimlerini temsil ettiğinde veya gerçek zamanlıya yakın sonuçlar sunmaya ihtiyaç duyulduğunda ideal bir depolama modudur. İki depolama modu birleştirilebilir: Bileşik modeller , farklı depolama modlarını kullanan tabloları tek bir modelde birleştirir.

Yoğun sorgulanan modeller için Azure Load Balancer, sorgu yükünü model çoğaltmaları arasında eşit bir şekilde dağıtmak için kullanılabilir. Ayrıca uygulamalarınızı ölçeklendirmenize ve yüksek oranda kullanılabilir BI anlam modelleri oluşturmanıza olanak tanır.

Machine Learning modelleri

Machine Learning (ML) modelleri veri bilimciler tarafından oluşturulur ve korunur. Bunlar çoğunlukla veri gölündeki ham kaynaklardan geliştirilmiştir.

Eğitilmiş ML modelleri, verilerinizin içindeki desenleri ortaya çıkarabilir. Çoğu durumda bu desenler, verileri zenginleştirmek için kullanılabilecek tahminler yapmak için kullanılabilir. Örneğin, satın alma davranışı müşteri değişim sıklığı veya segment müşterileri tahmin etmek için kullanılabilir. Tahmin sonuçları, müşteri segmentine göre analize izin vermek için kurumsal modellere eklenebilir.

Bulut BI platformunda, ML modellerini eğitmek, dağıtmak, otomatikleştirmek, yönetmek ve izlemek için Azure Machine Learning'i kullanabilirsiniz.

Veri ambarı

Kurumsal modellerinizi barındıran veri ambarı, bi platformunun merkezinde yer alır. Raporlama, BI ve veri bilimi için kurumsal modellere hizmet veren bir kayıt sistemi ve merkez olarak tasdikli veri kaynağıdır.

İş kolu (LOB) uygulamaları da dahil olmak üzere birçok iş hizmeti, kurumsal bilgilerin yetkili ve idare edilen bir kaynağı olarak veri ambarını kullanabilir.

Microsoft'ta veri ambarımız Azure Data Lake Storage 2. Nesil (ADLS 2. Nesil) ve Azure Synapse Analytics'te barındırılır.

• ADLS 2. Nesil, Azure'Depolama Azure'da kurumsal veri gölleri oluşturmanın temelini oluşturur. Yüzlerce gigabit aktarım hızı sağlarken birden çok petabayt bilgiye hizmet vermek için tasarlanmıştır. Ayrıca düşük maliyetli depolama kapasitesi ve işlemler sunar. Dahası, Hadoop uyumlu erişimi destekler ve bu sayede verileri aynı Hadoop Dağıtılmış Dosya Sistemi (HDFS) ile yaptığınız gibi yönetebilir ve bu verilere erişebilirsiniz. Aslında Azure HDInsight, Azure Databricks ve Azure Synapse Analytics, ADLS 2. Nesil'de depolanan verilere erişebilir. Bu nedenle iş zekası platformunda ham kaynak verileri, yarı işlenmiş veya hazırlanmış verileri ve üretime hazır verileri depolamak iyi bir seçimdir. Bunu tüm iş verilerimizi depolamak için kullanırız.
• Azure Synapse Analytics , kurumsal veri ambarı ve Büyük Veri analizini bir araya getiren bir analiz hizmetidir. Her ölçekte sunucusuz isteğe bağlı veya sağlanmış kaynakları kullanarak, kendi koşullarınızla verileri sorgulama özgürlüğü getirir. Azure Synapse Analytics'in bir bileşeni olan Synapse SQL, tam T-SQL tabanlı analizleri desteklediğinden boyut ve olgu tablolarınızdan oluşan kurumsal modelleri barındırmak idealdir. Tablolar, basit Polybase T-SQL sorguları kullanılarak ADLS 2. Nesil'den verimli bir şekilde yüklenebilir. Daha sonra yüksek performanslı analiz çalıştırmak için MPP'nin gücüne sahip olursunuz.

İş Kuralları Altyapısı çerçevesi

Veri ambarı katmanında uygulanabilecek tüm iş mantığını kataloglayan bir İş Kuralları Altyapısı (BRE) çerçevesi geliştirdik. BRE birçok anlama gelebilir, ancak veri ambarı bağlamında ilişkisel tablolarda hesaplanmış sütunlar oluşturmak için yararlıdır. Bu hesaplanmış sütunlar genellikle koşullu deyimler kullanılarak matematiksel hesaplamalar veya ifadeler olarak temsil edilir.

Amaç, iş mantığını çekirdek BI kodundan bölmektir. Geleneksel olarak, iş kuralları SQL saklı yordamlarına sabit kodlanmıştır, bu nedenle genellikle iş gereksinimleri değiştiğinde bunları korumak için çok çaba gerektirir. BRE'de iş kuralları bir kez tanımlanır ve farklı veri ambarı varlıklarına uygulandığında birden çok kez kullanılır. Hesaplama mantığının değişmesi gerekiyorsa, çok sayıda saklı yordamda değil yalnızca tek bir yerde güncelleştirilmesi gerekir. Bunun da bir yan avantajı vardır: BRE çerçevesi, otomatik olarak güncelleştirilen belgeler oluşturan bir dizi rapor aracılığıyla kullanıma sunulan, uygulanan iş mantığına saydamlık ve görünürlük sağlar.

Veri kaynakları

Veri ambarı, neredeyse tüm veri kaynaklarından verileri birleştirebilir. Çoğunlukla satış, pazarlama, finans vb. için konuya özgü verileri depolayan ilişkisel veritabanları olan LOB veri kaynakları üzerine oluşturulur. Bu veritabanları bulutta barındırılabilir veya şirket içinde bulunabilir. Diğer veri kaynakları, özellikle web günlükleri veya cihazlardan alınan IOT verileri olmak üzere dosya tabanlı olabilir. Dahası, veriler Hizmet Olarak Yazılım (SaaS) satıcılarından kaynaklanabilir.

Microsoft'ta, bazı iç sistemlerimiz ham dosya biçimlerini kullanarak işletimsel verileri doğrudan ADLS 2. Nesil'e aktarır. Veri gölümüze ek olarak, diğer kaynak sistemler ilişkisel LOB uygulamalarından, Excel çalışma kitaplarından, diğer dosya tabanlı kaynaklardan ve Ana Veri Yönetimi (MDM) ve özel veri depolarından oluşur. MDM depoları, verilerin yetkili, standartlaştırılmış ve doğrulanmış sürümlerini sağlamak için ana verilerimizi yönetmemize olanak sağlar.

Veri alımı

Düzenli aralıklarla ve işletmenin ritmine göre veriler kaynak sistemlerden alınır ve veri ambarına yüklenir. Günde bir kez veya daha sık aralıklarla olabilir. Veri alımı, verilerin ayıklanması, dönüştürülmesi ve yüklenmesiyle ilgilidir. Ya da belki de tam tersi: verileri ayıklama, yükleme ve sonra dönüştürme. Fark, dönüşümün gerçekleştiği yere kadar uzanır. Dönüştürmeler verileri temizlemek, uyumlu hale getirmek, tümleştirmek ve standartlaştırmak için uygulanır. Daha fazla bilgi için bkz . Ayıklama, dönüştürme ve yükleme (ETL).

Nihai olarak amaç, kurumsal modelinize doğru verileri mümkün olduğunca hızlı ve verimli bir şekilde yüklemektir.

Microsoft'ta Azure Data Factory 'yi (ADF) kullanırız. Hizmetler, dış kaynak sistemlerden veri gölüne veri doğrulamaları, dönüştürmeler ve toplu yüklemeler zamanlamak ve yönetmek için kullanılır. Verileri paralel ve uygun ölçekte işlemek için özel çerçeveler tarafından yönetilir. Ayrıca, sorun gidermeyi, performans izlemeyi desteklemek ve belirli koşullar karşılandığında uyarı bildirimlerini tetikleme amacıyla kapsamlı günlük kaydı yapılır.

Bu arada , Azure bulut hizmetleri platformu için iyileştirilmiş Apache Spark tabanlı analiz platformları olan Azure Databricks, veri bilimi için özel olarak dönüşümler gerçekleştirir. Ayrıca Python not defterlerini kullanarak ML modelleri derleyip yürütür. Bu ML modellerindeki puanlar, tahminleri kurumsal uygulamalar ve raporlarla tümleştirmek için veri ambarı'na yüklenir. Azure Databricks data lake dosyalarına doğrudan eriştiğinden, veri kopyalama veya alma gereksinimini ortadan kaldırır veya en aza indirir.

Alım çerçevesi

Yapılandırma tabloları ve yordamları kümesi olarak bir alım çerçevesi geliştirdik. Yüksek hızda ve minimum kodla büyük hacimlerde veri almak için veri odaklı bir yaklaşımı destekler. Kısacası, bu çerçeve veri ambarını yüklemek için veri alma işlemini basitleştirir.

Çerçeve, veri kaynağını depolayan yapılandırma tablolarına ve kaynak türü, sunucu, veritabanı, şema ve tabloyla ilgili ayrıntılar gibi veri hedefiyle ilgili bilgilere bağlıdır. Bu tasarım yaklaşımı, belirli ADF işlem hatları veya SQL Server Integration Services (SSIS) paketleri geliştirmemiz gerekmeyecek anlamına gelir. Bunun yerine yordamlar, çalışma zamanında dinamik olarak oluşturulan ve yürütülen ADF işlem hatları oluşturmak için tercih edilen dilde yazılır. Bu nedenle, veri alımı kolayca kullanıma hazır hale getirilen bir yapılandırma alıştırması haline gelir. Geleneksel olarak, sabit kodlanmış ADF veya SSIS paketleri oluşturmak için kapsamlı geliştirme kaynakları gerektirir.

Alma çerçevesi, yukarı akış kaynak şeması değişikliklerini işleme sürecini de basitleştirmek için tasarlanmıştır. Kaynak sistemde yeni eklenen öznitelikleri almak için şema değişiklikleri algılandığında yapılandırma verilerini el ile veya otomatik olarak güncelleştirmek kolaydır.

Düzenleme çerçevesi

Veri işlem hatlarımızı kullanıma hazır hale getirmek ve düzenlemek için bir düzenleme çerçevesi geliştirdik. Bir dizi yapılandırma tablosuna bağlı olan veri temelli bir tasarım kullanır. Bu tablolar, işlem hattı bağımlılıklarını açıklayan meta verileri ve kaynak verilerin hedef veri yapılarına nasıl eşlenebli olduğunu depolar. Bu uyarlamalı çerçevenin geliştirilmesine yapılan yatırım, o zamandan beri kendi başına ödenmiştir; artık her veri hareketini sabit olarak kodlaya gerek yoktur.

Veri depolama

Bir veri gölü, hazırlama veri dönüştürmeleriyle birlikte daha sonra kullanmak üzere büyük hacimli ham verileri depolayabilir.

Microsoft'ta ADLS 2. Nesil'i tek gerçeklik kaynağımız olarak kullanırız. Ham verileri hazır veriler ve üretime hazır veriler ile birlikte depolar. Büyük veri analizi için yüksek oranda ölçeklenebilir ve uygun maliyetli bir veri gölü çözümü sağlar. Yüksek performanslı bir dosya sisteminin gücünü büyük ölçekli bir şekilde birleştiren bu sistem, veri analizi iş yükleri için iyileştirilerek içgörü elde etme süresini hızlandırmaktadır.

ADLS 2. Nesil, iki dünyanın en iyilerini sunar: BLOB depolama ve ayrıntılı erişim izinleri ile yapılandırdığımız yüksek performanslı bir dosya sistemi ad alanıdır.

Daha sonra iyileştirilmiş veriler, güvenlik, idare ve yönetilebilirlik özelliklerine sahip kurumsal modeller için yüksek performanslı, yüksek oranda ölçeklenebilir bir veri deposu sunmak üzere ilişkisel bir veritabanında depolanır. Konuya özgü veri reyonları, Azure Databricks veya Polybase T-SQL sorguları tarafından yüklenen Azure Synapse Analytics'te depolanır.

Veri tüketimi

Raporlama katmanında, iş hizmetleri veri ambarından alınan kurumsal verileri kullanır. Ayrıca geçici analiz veya veri bilimi görevleri için verilere doğrudan veri gölünde erişiyorlar.

Ayrıntılı izinler veri gölünde, kurumsal modellerde ve BI anlam modellerinde tüm katmanlarda uygulanır. İzinler, veri tüketicilerinin yalnızca erişim haklarına sahip oldukları verileri görebilmesini sağlar.

Microsoft'ta Power BI raporlarını ve panolarını ve Power BI sayfalandırılmış raporlarını kullanırız. Bazı raporlama ve geçici analizler, özellikle finansal raporlama için Excel'de yapılır.

Veri modellerimiz hakkında başvuru bilgileri sağlayan veri sözlükleri yayımlıyoruz. Kullanıcılar, iş zekası platformumuz hakkındaki bilgileri keşfedebilmeleri için kullanıcılarımızın kullanımına sunulur. Sözlükler, varlıklar, biçimler, yapı, veri kökeni, ilişkiler ve hesaplamalar hakkında açıklamalar sağlayan model tasarımlarını belgeler. Veri kaynaklarımızı kolayca bulunabilir ve anlaşılır hale getirmek için Azure Veri Kataloğu kullanırız.

Genellikle, veri tüketimi desenleri role göre farklılık gösterir:

• Veri analistleri doğrudan çekirdek BI anlam modellerine bağlanır. Çekirdek BI anlam modelleri ihtiyaç duydukları tüm verileri ve mantığı içerdiğinde, Power BI raporları ve panoları oluşturmak için canlı bağlantıları kullanır. Modelleri departman verileriyle genişletmeleri gerektiğinde Power BI bileşik modelleri oluştururlar. Elektronik tablo stili raporlara ihtiyaç duyulacaksa, temel BI anlam modellerini veya departman BI anlam modellerini temel alan raporlar oluşturmak için Excel'i kullanırlar.
• BI geliştiricileri ve operasyonel rapor yazarları doğrudan kurumsal modellere bağlanır. Canlı bağlantı analizi raporları oluşturmak için Power BI Desktop'ı kullanır. Ayrıca, T-SQL kullanarak Azure Synapse Analytics kurumsal modellerindeki verilere erişmek için yerel SQL sorguları veya DAX veya MDX kullanarak Power BI anlam modelleri yazarak, işletimsel türDEKI BI raporlarını Power BI sayfalandırılmış raporları olarak yazabilir.
• Veri bilimciler veri gölündeki verilere doğrudan bağlanır. Genellikle deneysel olan ve üretim kullanımı için özel beceriler gerektiren ML modelleri geliştirmek için Azure Databricks ve Python not defterlerini kullanır.

İlgili içerik

Bu makale hakkında daha fazla bilgi için aşağıdaki kaynaklara göz atın:

• Doku benimseme yol haritası: Mükemmellik Merkezi
• Azure Synapse Analytics ile Azure'da Enterprise BI
• Sorularınız var mı? Power BI Topluluğu sormayı deneyin
• Öneri? Power BI'ı geliştirmek için fikirlere katkıda bulunma

Profesyonel hizmetler

Sertifikalı Power BI iş ortakları, kuruluşunuzun COE kurulumu sırasında başarılı olmasına yardımcı olmak için kullanılabilir. Bunlar size uygun maliyetli eğitim veya verilerinizin denetimini sağlayabilir. Bir Power BI iş ortağıyla etkileşim kurmak için Power BI iş ortağı portalını ziyaret edin.

Ayrıca deneyimli danışmanlık iş ortaklarıyla da etkileşim kurabilirsiniz. Power BI'ı değerlendirmenize, değerlendirmenize veya uygulamanıza yardımcı olabilir.