Teradata geçişleri için görselleştirme ve raporlama

Bu makale, Teradata'dan Azure Synapse Analytics'e geçiş konusunda rehberlik sağlayan yedi bölümden oluşan serinin dördüncü bölümüdür. Bu makalenin odak noktası görselleştirme ve raporlama için en iyi yöntemlerdir.

Microsoft ve üçüncü taraf BI araçlarını kullanarak Azure Synapse Analytics'e erişme

Kuruluşlar, çeşitli iş zekası (BI) araçları ve uygulamaları kullanarak veri ambarlarına ve veri reyonlarına erişmektedir. BI ürünlerine bazı örnekler şunlardır:

  • Power BI gibi Microsoft BI araçları.

  • Microsoft Excel elektronik tabloları gibi Office uygulamaları.

  • Farklı satıcıların üçüncü taraf BI araçları.

  • Tümleşik BI aracı işlevselliğine sahip özel analiz uygulamaları.

  • Veri ambarında veya veri reyonunda verileri sorgulayan bir BI platformunda sorgular ve raporlar çalıştırarak isteğe bağlı BI'ı destekleyen operasyonel uygulamalar.

  • Azure Synapse Spark Notebooks, Azure Machine Learning, RStudio ve Jupyter Notebooks gibi etkileşimli veri bilimi geliştirme araçları.

Görselleştirme ve raporlamayı veri ambarı geçişinizin bir parçası olarak geçirirseniz, BI ürünleri tarafından oluşturulan tüm mevcut sorguların, raporların ve panoların yeni ortamda çalıştırılması gerekir. BI ürünlerinizin Azure Synapse'te eski veri ambarı ortamınızda elde ettikleri sonuçların aynısını vermesi gerekir.

Geçiş sonrasında tutarlı sonuçlar elde etmek için, veri ambarı şemanızı ve verilerinizi Azure Synapse'e geçirdikten sonra tüm BI araçlarının ve uygulama bağımlılıklarının çalışması gerekir. Bağımlılıklar, erişim ve güvenlik gibi daha az görünür yönleri içerir. Erişim ve güvenlikle ilgili meseleleri ele alırken, taşıma işlemini gerçekleştirdiğinizden emin olun:

  • Kullanıcıların Azure Synapse'te veri ambarı ve veri reyonu veritabanlarında oturum açabilmesi için kimlik doğrulaması.

  • Tüm kullanıcıların Azure Synapse'e yönlendirilmesi.

  • Azure Synapse'e tüm kullanıcı grupları.

  • Azure Synapse'e tüm roller.

  • Azure Synapse'e erişim denetimini yöneten tüm yetkilendirme ayrıcalıkları.

  • Geçiş öncesinde mevcut veri ambarınızdaki değerleri yansıtmak için kullanıcı, rol ve ayrıcalık atamaları. Örneğin:

    • Rollere atanan veritabanı nesnesi ayrıcalıkları
    • Kullanıcı gruplarına atanan roller
    • Kullanıcı gruplarına ve/veya rollere atanan kullanıcılar

Erişim ve güvenlik, geçirilen sistemde veri erişimi için önemli noktalardır ve Teradata geçişleri için Güvenlik, erişim ve işlemler konusunda daha ayrıntılı olarak ele alınmalıdır.

Tavsiye

Raporların ve görselleştirmelerin geçişinin başarılı olması için önce mevcut kullanıcılar, kullanıcı grupları, roller ve erişim güvenlik ayrıcalıklarının atamaları taşınmalıdır.

Eski ortamdaki verileri sorgulayan raporların ve panoların Azure Synapse'te aynı sonuçları üretmesini sağlamak için tüm gerekli verileri geçirin.

İş kullanıcıları sorunsuz bir geçiş bekler ve Azure Synapse'te geçirilen sisteme olan güvenlerini yok eden sürprizler olmaz. İyi iletişim yoluyla kullanıcılarınızın olabilecek korkularını gidermeye özen gösterin. Kullanıcılarınız bunu bekler:

  • Sorgularda doğrudan başvurulduğunda tablo yapısı aynı kalır.

  • Sorgularda doğrudan başvurulduğunda tablo ve sütun adları aynı kalır. Örneğin, BI araçlarındaki sütunlarda tanımlanan hesaplanan alanlar, özet raporlar üretildiğinde başarısız olmamalıdır.

  • Geçmiş analizi aynı kalır.

  • Mümkünse veri türleri aynı kalır.

  • Sorgu davranışı aynı kalır.

  • ODBC/JDBC sürücüleri, sorgu davranışının aynı kaldığından emin olmak için test edilir.

Tavsiye

İletişim ve iş kullanıcı katılımı başarı açısından kritik öneme sahiptir.

BI araçları temel alınan veri ambarı veya veri reyonu veritabanındaki görünümleri sorgularsa, geçiş sonrasında bu görünümler çalışmaya devam edecek mi? Azure Synapse'te eşdeğeri olmayan eski veri ambarı DBMS'nize özgü özel SQL uzantıları varsa bazı görünümler çalışmayabilir. Öyleyse, bu uyumsuzluklar hakkında bilgi sahibi olmanız ve bunları çözmenin bir yolunu bulmanız gerekir.

Tavsiye

Özel SQL sorgu uzantılarını kullanan görünümler ve SQL sorguları, BI raporlarını ve panolarını etkileyen uyumsuzluklara neden olabilir.

DBMS platformlarındaki değerlerin veya veri türü çeşitlemelerinin NULL davranışı gibi diğer sorunların, hesaplama sonuçlarında küçük farkların bile olmadığından emin olmak için test edilmesi gerekir. Bu sorunları en aza indirin ve işletme kullanıcılarının bunlardan etkilenmesini korumak için gerekli tüm adımları uygulayın. Eski veri ambarı ortamınıza bağlı olarak, BI araçlarının ve uygulamalarının değişmeden çalışması için eski ve yeni ortamlar arasındaki farkları gizlemeye yardımcı olabilecek üçüncü taraf araçlar.

Test, görselleştirme ve rapor geçişi için kritik öneme sahiptir. Her iki ortamda da testleri çalıştırmak ve yeniden çalıştırmak için bir test paketine ve üzerinde anlaşmaya varılan test verilerine ihtiyacınız vardır. Test araçları da yararlıdır ve bu kılavuzda bazıları belirtilmiştir. Ayrıca, güvenlerini yüksek tutmak ve projeyle etkileşimde ve projenin bir parçası olarak tutmak için geçişin test yönüne iş kullanıcılarının dahil edilmesi önemlidir.

Tavsiye

Raporların, panoların ve diğer görselleştirmelerin başarıyla tamamlanmasını sağlamak için tekrarlanabilir testler kullanın.

Örneğin Power BI'a geçiş yapmak için BI araçları arasında geçiş yapmayı düşünüyor olabilirsiniz. Şemanızı, verilerinizi, ETL işlemenizi ve daha fazlasını geçirirken aynı anda bu tür değişiklikleri yapma cazibesi vardır. Ancak riski en aza indirmek için, daha fazla modernleştirme gerçekleştirmeden önce Azure Synapse'e geçiş yapmak ve her şeyin çalışmasını sağlamak daha iyidir.

Mevcut BI araçlarınız şirket içinde çalıştırılırsa, her iki ortamla da karşılaştırmalar çalıştırabilmek için güvenlik duvarınız aracılığıyla Azure Synapse'e bağlanabildiklerinden emin olun. Alternatif olarak, mevcut IŞ zekası araçlarınızın satıcısı ürününü Azure'da sunuyorsa burada deneyebilirsiniz. Aynı durum, iş zekası ekleyen veya isteğe bağlı olarak BI sunucunuzu çağıran, örneğin XML veya JSON verileriyle "başsız rapor" isteyen şirket içi uygulamalar için de geçerlidir.

Burada düşünecek çok şey var, o yüzden daha yakından bakalım.

Geçişin BI araçları ve raporları üzerindeki etkisini en aza indirmek için veri sanallaştırmayı kullanma

Geçiş sırasında, iş isteklerini açma, eksik veri ekleme veya yeni özellikler uygulama gibi uzun vadeli gereksinimleri yerine getirmek isteyebilirsiniz. Ancak bu tür değişiklikler, özellikle de değişiklik veri modelinizde yapısal değişiklikler içeriyorsa iş zekası aracının veri ambarınıza erişimini etkileyebilir. Çevik veri modelleme tekniğini benimsemek veya yapısal değişiklikler uygulamak istiyorsanız, geçişten sonra bunu yapın.

Şema değişikliklerinin veya diğer yapısal değişikliklerin IŞ zekası araçlarınıza etkisini en aza indirmenin bir yolu, IŞ zekası araçlarıyla veri ambarınız ve veri reyonlarınız arasında veri sanallaştırması sağlamaktır. Aşağıdaki diyagramda veri sanallaştırmanın kullanıcılardan geçişi nasıl gizleyebileceği gösterilmektedir.

Veri sanallaştırma aracılığıyla kullanıcılardan geçişi gizlemeyi gösteren diyagram.

Veri sanallaştırma, self servis BI araçlarını kullanan iş kullanıcıları ile taşınmakta olan temel veri ambarının ve veri martlarının fiziksel şeması arasındaki bağımlılığı keser.

Tavsiye

Veri sanallaştırma, iş kullanıcılarını geçiş sırasında yapısal değişikliklerden korumanıza olanak tanır, böylece bu değişikliklerin farkında olmazlar. Yapısal değişiklikler, Azure Synapse için veri modelinizi ayarlayan şema değişikliklerini içerir.

Veri sanallaştırma ile, Azure Synapse'e geçiş sırasında yapılan, örneğin performansı iyileştirmek için yapılan tüm şema değişiklikleri, yalnızca veri sanallaştırma katmanındaki sanal tablolara erişimi olduğundan iş kullanıcılarından gizlenebilir. Yapısal değişiklikler yaparsanız yalnızca veri ambarı veya veri reyonları ile sanal tablolar arasındaki eşlemeleri güncelleştirmeniz gerekir. Veri sanallaştırma ile kullanıcılar yapısal değişikliklerden haberdar olmamaya devam ediyor. Microsoft iş ortakları veri sanallaştırma yazılımı sağlar.

İlk olarak taşınacak yüksek öncelikli raporları belirleyin

Mevcut raporlarınızı ve panolarınızı Azure Synapse'e geçirirken en önemli sorulardan biri, önce hangi raporların geçirildiğidir. Bu kararı aşağıdakiler gibi çeşitli faktörler yönlendirebilir:

  • Kullanım

  • İş değeri

  • Geçiş kolaylığı

  • Veri geçiş stratejisi

Aşağıdaki bölümlerde bu faktörler açıklanmaktadır.

Kararınız ne olursa olsun, raporları, panoları ve diğer görselleştirmeleri ürettikleri ve bu öğelerden elde ettikleri içgörüleri temel alarak iş kararları aldıkları için iş kullanıcılarınızı da içermelidir. Şu durumlarda herkes avantajlı olabilir:

  • Raporları ve gösterge tablolarını sorunsuz bir şekilde taşıyın.
  • Raporları ve panoları en az çabayla taşıma ve
  • BI araçlarınızı eski veri ambarı sisteminiz yerine Azure Synapse'e getirin ve benzer raporlar, panolar ve diğer görselleştirmeler edinin.

Kullanıma dayalı olarak raporları taşıma

Kullanım genellikle iş değerinin bir göstergesidir. Kullanılmayan raporlar ve panolar, iş kararlarına açıkça katkıda bulunmaz veya geçerli değer sunmaz. Hangi raporların ve panoların kullanılmadığını bulmanın bir yolu yoksa, kullanım istatistikleri sağlayan çeşitli BI araçlarından birini kullanabilirsiniz.

Eski veri ambarınız yıllardır çalışır durumdaysa, binlerce olmasa da yüzlerce raporun mevcut olma olasılığı yüksektir. Rapor ve panoların bir envanterini derleyip iş amacını ve kullanım istatistiklerini belirlemeye değer.

Kullanılmayan raporlar için, geçiş çabanızı azaltmak amacıyla bunları kaldırıp kaldırmayacağınızı belirleyin. Kullanılmayan bir raporun kullanımdan kaldırılıp kaldırılmayacağına karar verirken önemli bir soru, raporun mevcut olduğunu bilmediğinden mi, iş değeri sunmadığı için mi yoksa başka bir rapor tarafından değiştirildiğinden mi kullanılmadığıdır.

Raporları iş değerine göre taşımak

Yalnızca kullanım, iş değerinin her zaman iyi bir göstergesi değildir. Raporun içgörülerinin iş değerine ne ölçüde katkıda bulunabileceğini göz önünde bulundurmak isteyebilirsiniz. Bunu gerçekleştirmenin bir yolu, rapora bağlı olan her iş kararının kârlılığını ve dayanıklılığın kapsamını değerlendirmektir. Ancak bu bilgilerin çoğu kuruluşta kullanılabilir olma olasılığı düşüktür.

İş değerini değerlendirmenin bir diğer yolu da raporun iş stratejisiyle uyumlu olmasına bakmaktır. Yöneticiniz tarafından belirlenen iş stratejisi genellikle stratejik iş hedeflerini (SPO'lar), önemli performans göstergelerini (KPI'ler), elde edilmesi gereken KPI hedeflerini ve bunlara ulaşmaktan sorumlu kişileri belirler. Sahtekarlık azaltma, iyileştirilmiş müşteri etkileşimi ve optimize edilmiş iş operasyonları gibi, bir raporu katkıda bulunduğu Stratejik İş Hedeflerine (SİH'ler) göre sınıflandırabilirsiniz. Daha sonra, yüksek öncelikli hedeflerle ilişkili raporlar ve gösterge tablolarını geçiş için öncelik verebilirsiniz. Bu şekilde, ilk geçiş stratejik bir alanda iş değeri sağlayabilir.

İş değerini değerlendirmenin bir diğer yolu da raporları ve panoları operasyonel, taktiksel veya stratejik olarak sınıflandırarak hangi iş düzeyinde kullanıldıklarını belirlemektir. SBO'lar tüm bu düzeylerde katkı gerektirir. Hangi raporların ve gösterge tablolarının kullanıldığını, hangi düzeyde ve hangi hedeflerle ilişkilendirildiklerini bilerek, ilk geçişi yüksek öncelikli iş değerine odaklayabilirsiniz. Raporları ve panoları değerlendirmek için aşağıdaki iş stratejisi hedef tablosunu kullanabilirsiniz.

Seviye Rapor / pano adı İş amacı Kullanılan bölüm Kullanım sıklığı İş önceliği
Stratejik
Taktik
Operasyonel

Azure Veri Kataloğu gibi meta veri bulma araçları, işletme kullanıcılarının bulma ve sınıflandırma konusunda yardımcı olmak üzere bu veri kaynaklarının meta verilerini zenginleştirmek için veri kaynaklarını etiketlemesine ve derecelendirmesine olanak tanır. İş değerini anlamanıza yardımcı olması için bir rapor veya panonun meta verilerini kullanabilirsiniz. Bu tür araçlar olmadan, geçiş yapıp yapmasanız da raporların ve panoların iş değerine katkısını anlamak büyük olasılıkla zaman alan bir görev olacaktır.

Veri geçiş stratejisine dayanan raporları taşıma

Geçiş stratejiniz veri martlarını önce geçirmeye dayanıyorsa, veri martı geçiş sırası hangi raporların ve panoların ilk olarak geçirileceğini etkiler. Stratejiniz iş değerine dayalıysa, veri reyonlarını Azure Synapse'e geçirme sırası iş önceliklerini yansıtır. Meta veri bulma araçları, hangi veri reyonu tablolarının hangi raporlar için veri sağladığını göstererek stratejinizi uygulamanıza yardımcı olabilir.

Tavsiye

Veri geçiş stratejiniz, hangi rapor ve görselleştirmelerin önce aktarılacağını etkiler.

Raporları ve görselleştirmeleri etkileyebilecek geçiş uyumsuzluğu sorunları

BI araçları, veri ambarı veya veri reyonunuzda fiziksel tablolara ve/veya görünümlere erişen SQL sorguları vererek raporlar, panolar ve diğer görselleştirmeler oluşturur. Eski veri ambarınızı Azure Synapse'e geçirdiğinizde, raporların, panoların ve diğer görselleştirmelerin geçiş kolaylığını çeşitli faktörler etkileyebilir. Bu faktörler şunlardır:

  • Ortamlar arasındaki şema uyumsuzlukları.

  • Ortamlar arasındaki SQL uyumsuzlukları.

Şema uyumsuzlukları

Geçiş sırasında, raporlar, panolar ve diğer görselleştirmeler için veri sağlayan veri ambarı veya veri reyonu tablolarındaki şema uyumsuzlukları şunlar olabilir:

  • Azure Synapse'te eşdeğeri olmayan eski veri ambarı DBMS'nizdeki standart olmayan tablo türleri.

  • Azure Synapse'te eşdeğeri olmayan eski veri ambarı DBMS'nizdeki veri türleri.

Çoğu durumda uyumsuzluklar için bir geçici çözüm vardır. Örneğin, desteklenmeyen bir tablo türündeki verileri uygun veri türlerine sahip ve tarih/saat sütununda dizine alınan veya bölümlenmiş standart bir tabloya geçirebilirsiniz. Benzer şekilde, desteklenmeyen veri türlerini başka bir sütun türünde göstermek ve aynı sonuçları elde etmek için Azure Synapse'te hesaplamalar yapmak mümkün olabilir.

Tavsiye

Şema uyumsuzlukları, Azure Synapse'te desteklenmeyen eski ambar DBMS tablo türlerini ve veri türlerini içerir.

Şema uyumsuzluklarından etkilenen raporları tanımlamak için, desteklenmeyen veri türlerine sahip tabloları tanımlamak için eski veri ambarınızın sistem kataloğunda sorgular çalıştırın. Ardından, bu tablolardaki verilere erişen raporları tanımlamak için BI aracınızdan meta verileri kullanabilirsiniz. Nesne türü uyumsuzluklarını tanımlama hakkında daha fazla bilgi için bkz. Desteklenmeyen Teradata veritabanı nesne türleri.

Tavsiye

Azure Synapse ile şema uyumsuzluklarını belirlemek için eski ambar DBMS'nizin sistem kataloğunu sorgula.

Birçok BI aracı daha az genel veri türlerini desteklemediğinden şema uyumsuzluklarının raporlar, panolar ve diğer görselleştirmeler üzerindeki etkisi düşündüğünüzden daha az olabilir. Sonuç olarak, eski veri ambarınızda desteklenmeyen veri türlerini daha genel türlere CAST dönüştüren görünümler zaten mevcut olabilir.

SQL uyumsuzlukları

Geçiş sırasında SQL uyumsuzlukları, bir uygulama veya araçtaki aşağıdaki tüm raporları, panoları veya diğer görselleştirmeleri etkileyebilir:

  • Azure Synapse'te eşdeğeri olmayan özel SQL işlevleri içeren eski veri ambarı DBMS görünümlerine erişir.

  • Azure Synapse'te eşdeğeri olmayan, eski ortamınızın SQL diyalektine özgü özel SQL işlevlerini içeren SQL sorguları sorunları.

SQL uyumsuzluklarının raporlama portföyünüz üzerindeki etkisini ölçme

Raporlama portföyünüz ekli sorgu hizmetlerini, raporları, panoları ve diğer görselleştirmeleri içerebilir. SQL uyumsuzluklarının raporlama portföyünüzün Azure Synapse'e geçişi üzerindeki etkisini ölçmek için bu öğelerle ilişkili belgelere güvenmeyin. SQL uyumsuzluklarının etkisini değerlendirmek için daha hassas bir yol kullanmanız gerekir.

SQL uyumsuzluklarını bulmak için EXPLAIN deyimlerini kullanma

Eski Teradata veri ambarınızdaki son SQL etkinliğinin günlüklerini gözden geçirerek SQL uyumsuzluklarını bulabilirsiniz. SQL deyimlerinden oluşan temsili bir kümeyi bir dosyaya ayıklamak için bir betik kullanın. Ardından, her SQL deyimine bir EXPLAIN deyimi ön ekleyip bu EXPLAIN deyimleri Azure Synapse'te çalıştırın. Azure Synapse, özel olarak desteklenmeyen SQL uzantıları içeren herhangi bir SQL ifadesini EXPLAIN ifadeleri yürütüldüğünde reddedecektir. Bu yaklaşım, SQL uyumsuzluklarının kapsamını değerlendirmenize olanak tanır.

Eski veri ambarı DBMS'nizden alınan meta veriler, uyumsuz görünümleri belirlemenize de yardımcı olabilir. Daha önce olduğu gibi, uygun günlüklerden temsili bir SQL deyimleri kümesi yakalayın, her SQL deyimine bir EXPLAIN deyim ön ekini ekleyin ve uyumsuz SQL ile görünümleri tanımlamak için bu EXPLAIN deyimleri Azure Synapse'te çalıştırın.

Tavsiye

DBMS günlük dosyalarınızı derleyerek ve EXPLAIN ifadelerini çalıştırarak SQL uyumsuzluklarının etkisini ölçün.

Azure Synapse Analytics'e rapor ve pano geçişlerini test etme

Veri ambarı geçişinin önemli bir öğesi, geçişin çalıştığını doğrulamak için Azure Synapse'te raporların ve panoların test edilmesidir. Başarıyı doğrulamak için çalıştıracağınız her test için bir dizi test ve gerekli sonuçlar kümesi tanımlayın. Mevcut ve taşınmış veri ambarı sistemlerinizdeki raporları ve gösterge tablolarını karşılaştırın ve test edin.

  • Geçiş sırasında yapılan şema değişikliklerinin raporların çalışma, rapor sonuçları veya ilgili rapor görselleştirmelerini çalıştırma becerisini etkileyip etkilemediğini belirleyin. Uyumlu olmayan bir veri türünü Azure Synapse'te desteklenen eşdeğer bir veri türüne eşlediyseniz şema değişikliğine örnek olarak verilmiştir.

  • Tüm kullanıcıların taşındığını doğrulayın.

  • Bütün rollerin taşındığını ve kullanıcıların bu rollere atandığını doğrulayın.

  • Erişim denetim listesi (ACL) geçişini sağlamak için tüm veri erişim güvenlik ayrıcalıklarının geçirildiğini doğrulayın.

  • Tüm bilinen sorgular, raporlar ve panolar için tutarlı sonuçlar elde edin.

  • Veri ve ETL geçişinin tamamlandığından ve hatasız olduğundan emin olun.

  • Veri mahremiyetinin korunmasından emin olun.

  • Performansı ve ölçeklenebilirliği test edin.

  • Analitik işlevselliği test edin.

Tavsiye

İşlem maliyetlerini en aza indirmek için performansı test edin ve ayarlayın.

Kullanıcıları, kullanıcı gruplarını, rolleri ve ayrıcalıkları geçirme hakkında bilgi için bkz Teradata geçişleri için güvenlik, erişim ve işlemler.

Her testi tekrarlanabilir hale getirmek ve test sonuçlarını değerlendirmeye yönelik tutarlı bir yaklaşımı desteklemek için testi mümkün olduğunca otomatikleştirin. Otomasyon bilinen düzenli raporlar için iyi çalışır ve Azure Synapse işlem hatları veya Azure Data Factory düzenlemesi aracılığıyla yönetilebilir. Regresyon testi için zaten bir test sorguları paketiniz varsa, geçiş sonrası testi otomatikleştirmek için mevcut test araçlarını kullanabilirsiniz.

Tavsiye

En iyi yöntem, testleri tekrarlanabilir hale getirmek için otomatik bir test paketi oluşturmaktır.

Geçici analiz ve raporlama daha zordur ve geçişten önce ve sonra aynı raporların ve panoların tutarlı olduğunu doğrulamak için bir dizi testin derlenmesini gerektirir. Tutarsızlıklar bulursanız, geçiş testi sırasında özgün ve geçirilen sistemlerde meta veri kökenini karşılaştırma olanağınız çok önemli hale gelir. Bu karşılaştırma farkları vurgulayabilir ve tutarsızlıkların nereden kaynaklandığını, başka yöntemlerle algılamanın zor olduğu noktaları vurgulayabilir.

Tavsiye

Sonuçları doğrulamak için meta veri kökenini karşılaştıran araçlardan yararlanın.

Raporlar, panolar ve veriler arasındaki bağımlılıkları anlamak için köken analizi

Köken anlayışınız, raporların ve gösterge tablolarının başarılı bir şekilde taşınmasında kritik bir faktördür. Hiyerarşi, veri kaynağına kadar bir rapordan veya gösterge panosundan yolunu izleyebilmeniz için taşınan verilerin yolculuğunu gösteren meta verilerdir. Veri kökeni, verilerin bir noktadan diğerine nasıl ilerlediğini, veri ambarı ve/veya veri reyonundaki konumunu ve hangi raporların ve gösterge panellerinin verileri kullandığını gösterir. Süreç takibi, verilerin dosyalar, veritabanları gibi farklı veri depolarında, farklı ETL işlem hatlarından geçişlerini ve raporlara nasıl aktarıldığını anlamanıza yardımcı olabilir. İş kullanıcıları veri kökenine eriştiğinde güveni artırır, güveni aşılar ve bilinçli iş kararlarını destekler.

Tavsiye

Veri kaynağına kadar raporlardan meta verilere ve veri kökenine erişebilmeniz, geçirilen raporların düzgün çalıştığını doğrulamak için kritik öneme sahiptir.

Çok satıcılı veri ambarı ortamlarında, IŞ zekası ekiplerindeki iş analistleri veri kökenini eşler. Örneğin, ETL, veri ambarı ve raporlama için farklı satıcılar kullanıyorsanız ve her satıcının kendi meta veri deposu varsa, rapordaki belirli bir veri öğesinin nereden geldiğini bulmak zor ve zaman alabilir.

Tavsiye

Meta veri koleksiyonunu otomatik hale getiren ve çok satıcılı bir ortamda uçtan uca kökeni gösteren araçlar, geçiş sırasında değerlidir.

Eski bir veri ambarından Azure Synapse'e sorunsuz bir şekilde geçiş yapmak için, her ortam tarafından oluşturulan raporları ve panoları karşılaştırırken benzer geçişi kanıtlamak için uçtan uca veri kökenini kullanın. Uçtan uca veri yolculuğunu göstermek için çeşitli araçlardaki meta verileri yakalamanız ve tümleştirmeniz gerekir. Otomatik meta veri bulma ve veri kökenini destekleyen araçlara erişim sahibi olmak, yinelenen raporları veya ETL işlemlerini tanımlamanıza ve eski, sorgulanabilir veya mevcut olmayan veri kaynaklarına dayanan raporları bulmanıza yardımcı olur. Bu bilgileri, taşıdığınız rapor ve ETL işlemlerinin sayısını azaltmak için kullanabilirsiniz.

Ayrıca, geçiş sırasında yanlışlıkla oluşmuş olabilecek farkları denetlemek için Azure Synapse'teki bir raporun uçtan uca kökenini eski ortamınızdaki aynı raporun uçtan uca kökeniyle karşılaştırabilirsiniz. Geçiş başarısını test etmeniz ve doğrulamanız gerektiğinde bu karşılaştırma türü son derece kullanışlıdır.

Veri kökeni görselleştirmesi yalnızca geçiş işlemindeki süreyi, çabayı ve hatayı azaltmakla kalmaz, aynı zamanda geçişin daha hızlı gerçekleşmesini de sağlar.

Kökenleri karşılaştıran otomatik meta veri bulma ve veri kökeni araçlarını kullanarak, Geçirilen verilerden oluşturulan Azure Synapse'teki bir raporun eski ortamınızda da aynı şekilde üretildiğini doğrulayabilirsiniz. Bu özellik şunları belirlemenize de yardımcı olur:

  • Azure Synapse'te rapor ve pano yürütmenin başarılı olmasını sağlamak için hangi verilerin geçirilmesi gerekir?

  • Azure Synapse'te başarılı bir yürütme sağlamak için hangi dönüşümlerin gerçekleştirildiği ve gerçekleştirilmesi gerekir.

  • Rapor yinelemesini nasıl azaltırsınız?

Otomatik meta veri bulma ve veri kökeni araçları, işletmelerin veri varlıklarını daha iyi tanımalarına ve sağlam bir raporlama ortamı elde etmek için Azure Synapse'e nelerin geçirilmesi gerektiğini bilmeleri için geçiş sürecini önemli ölçüde basitleştirir.

Çeşitli ETL araçları uçtan uca köken özelliği sağlar, bu nedenle Azure Synapse ile kullanmayı planlıyorsanız mevcut ETL aracınızın bu özelliğe sahip olup olmadığını denetleyin. Azure Synapse işlem hatlarının veya Data Factory'nin her ikisi de eşleme akışlarında kökeni görüntüleme özelliğini destekler. Microsoft iş ortakları otomatik meta veri bulma, veri kökeni ve köken karşılaştırma araçları da sağlar.

BI aracı anlam katmanlarını Azure Synapse Analytics'e geçirme

Bazı BI araçları, semantik meta veri katmanı olarak bilinen bir özelliğe sahiptir. Bu katman, bir veri ambarı veya veri reyonu veritabanında temel alınan fiziksel veri yapılarına iş kullanıcısı erişimini basitleştirir. Anlam meta veri katmanı, boyutlar, ölçüler, hiyerarşiler, hesaplanan ölçümler ve birleşimler gibi üst düzey nesneler sağlayarak erişimi basitleştirir. Üst düzey nesneler, iş analistlerine tanıdık gelen iş terimlerini kullanır ve veri ambarı veya veri reyonunuzdaki fiziksel veri yapılarıyla eşlenir.

Tavsiye

Bazı BI araçları, iş kullanıcılarının veri ambarı veya veri reyonunuzdaki fiziksel veri yapılarına erişimini basitleştiren anlamsal katmanlara sahiptir.

Veri ambarı geçişinde, sütun adlarında veya tablo adlarında yapılan değişiklikler size zorlanabilir. Örneğin, Teradata'da tablo adları "#" olabilir. Azure Synapse'te "#" öğesine yalnızca geçici bir tablo belirtmek için bir tablo adına ön ek olarak izin verilir. Teradata'da GEÇİCİ TABLOLARin adinda "#" olması gerekmez, ancak Synapse'de olması gerekir. Bu gibi durumlarda tablo eşlemelerini değiştirmek için bazı yeniden çalışmalar yapmanız gerekebilir.

Birden çok BI aracında tutarlılık elde etmek için, BI araçları ve uygulamaları ile Azure Synapse arasında yer alan bir veri sanallaştırma sunucusu kullanarak evrensel bir anlam katmanı oluşturun. Veri sanallaştırma sunucusunda boyutlar, ölçüler, hiyerarşiler ve birleşimler gibi üst düzey nesneler için ortak veri adlarını kullanın. Bu şekilde, hesaplanan alanlar, birleşimler ve eşlemeler dahil olmak üzere her şeyi her araç yerine yalnızca bir kez yapılandırabilirsiniz. Ardından tüm BI araçlarını veri sanallaştırma sunucusuna işaret edin.

Tavsiye

Azure Synapse ortamındaki tüm BI araçları arasında tutarlılık sağlamak üzere ortak bir anlam katmanı oluşturmak için veri sanallaştırmayı kullanın.

Veri sanallaştırma ile tüm IŞ zekası araçları arasında tutarlılık elde edersiniz ve Azure Synapse'teki BI araçları ve uygulamaları ile temel alınan fiziksel veri yapıları arasındaki bağımlılığı bozarsınız. Microsoft iş ortakları Azure'da tutarlılık elde etmede size yardımcı olabilir. Aşağıdaki diyagramda, veri sanallaştırma sunucusundaki yaygın bir sözlüğün birden çok BI aracının ortak bir anlam katmanını görmesine nasıl olanak tanıyan bilgiler gösterilmektedir.

Veri sanallaştırma sunucusuyla ilgili yaygın veri adlarını ve tanımlarını içeren diyagram.

Sonuç

Lift and shift veri ambarı geçişinde çoğu rapor, gösterge panoları ve diğer görselleştirmeler kolayca taşınabilmelidir.

Eski bir ortamdan geçiş sırasında, eski veri ambarı veya veri reyonu tablolarındaki verilerin desteklenmeyen veri türlerinde depolandığını fark edebilirsiniz. Alternatif olarak, Azure Synapse'te eşdeğeri olmayan özel SQL içeren eski veri ambarı görünümlerini de bulabilirsiniz. Öyleyse, Azure Synapse'e geçişin başarılı olmasını sağlamak için bu sorunları çözmeniz gerekir.

Sorunların nerede bulunduğunu belirlemek için kullanıcı tarafından korunan belgelere güvenmeyin. Bunun yerine, SQL uyumsuzluklarını tanımlamanın hızlı ve pratik bir yolu olduğundan, EXPLAIN deyimlerini kullanın. Azure Synapse'te eşdeğer işlevler elde etmek için uyumsuz SQL deyimlerini yeniden çalıştırın. Ayrıca bağımlılıkları anlamak, yinelenen raporları bulmak ve eski, sorgulanabilir veya mevcut olmayan veri kaynaklarını kullanan geçersiz raporları belirlemek için otomatik meta veri bulma ve köken araçlarını kullanın. Eski veri ambarı ortamınızda çalışan raporların Azure Synapse'te aynı şekilde üretildiğini doğrulamak için köken araçlarını kullanarak kökeni karşılaştırın.

Artık kullanmadığınız raporları geçirmeyin. BI aracı kullanım verileri, hangi raporların kullanılmadığını belirlemenize yardımcı olabilir. Aktarmak istediğiniz raporlar, panolar ve diğer görselleştirmeler için tüm kullanıcıları, kullanıcı gruplarını, rolleri ve ayrıcalıkları aktarın. Rapor geçiş stratejinizi yönlendirmek için iş değeri kullanıyorsanız rapor içgörülerinin belirli hedeflere katkısını belirlemeye yardımcı olmak için raporları stratejik iş hedefleri ve öncelikleriyle ilişkilendirin. Veri marketlerini tek tek taşıyorsanız, hangi raporların hangi tablolara ve görünümlere bağımlı olduğunu belirlemek için meta verileri kullanın; böylece hangi veri marketlerini önce taşımanız gerektiği konusunda bilinçli bir karar alabilirsiniz.

Tavsiye

Geçiş eforunun kapsamını ölçmek için uyumsuzlukları erken belirleyin. Kullanıcılarınızı, kullanıcı grubu rollerini ve ayrıcalık atamalarınızı taşıyın. Yalnızca iş değerine katkıda bulunan ve kullanılan raporları ve görselleştirmeleri taşıyın.

Veri ambarınızın veya veri reyonunuzun veri modelinde yapısal değişiklikler geçiş sırasında gerçekleşebilir. BI araçlarını ve uygulamalarını yapısal değişikliklerden korumak için veri sanallaştırmayı kullanmayı göz önünde bulundurun. Veri sanallaştırma ile ortak bir anlam katmanı tanımlamak için ortak bir sözlük kullanabilirsiniz. Ortak anlam katmanı, yeni Azure Synapse ortamındaki tüm BI araçları ve uygulamalarında tutarlı ortak veri adlarını, tanımları, ölçümleri, hiyerarşileri ve birleştirmeleri garanti eder.

Sonraki adımlar

SQL sorunlarını en aza indirme hakkında daha fazla bilgi edinmek için bu serinin sonraki makalesine bakın: Teradata geçişlerinde SQL sorunlarını en aza indirme.