Aracılığıyla paylaş

Ana bilgisayar ve orta ölçekli verileri Azure'a çoğaltmak için Qlik kullanın

Azure Event Hubs
Azure Data Lake
Azure Databricks

Bu çözüm, şirket içi veri kaynaklarını gerçek zamanlı olarak Azure'a çoğaltmak için şirket içi bir Qlik örneği kullanır.

Uyarı

"Qlik" kelimesini "click" gibi telaffuz edin.

Apache® ve Apache Kafka®, Apache Software Foundation'ın Birleşik Devletler ve/veya diğer ülkelerdeki kayıtlı ticari markaları veya ticari markalarıdır. Bu işaretlerin kullanılması Apache Software Foundation tarafından onaylanmamaktadır.

Mimarlık

Verileri Azure'a geçirmek için Qlik kullanan bir mimarinin diyagramı.

Bu mimarinin Visio dosyasını indirin.

İş Akışı

  1. Konak aracısı: Şirket içi sistemdeki konak aracısı, Db2, Information Management System (IMS) ve Virtual Storage Access Method (VSAM) veri depolarından değişiklik günlüğü bilgilerini yakalar ve Qlik çoğaltma sunucusuna iletir.

  2. Çoğaltma sunucusu: Qlik çoğaltma sunucusu yazılımı, değişiklik günlüğü bilgilerini Kafka ve Azure Event Hubs'a geçirir. Bu örnekte, Qlik şirket içidir, ancak bunu Azure'daki bir sanal makineye dağıtabilirsiniz.

  3. Akış alımı: Kafka ve Event Hubs, değişiklik günlüğü bilgilerini almak ve depolamak için ileti aracıları sağlar.

  4. Kafka Bağlantısı: Kafka Connect API, Azure Data Lake Storage, Azure Databricks ve Azure Synapse Analytics gibi Azure veri depolarını güncelleştirmek için Kafka'dan veri alır.

  5. Veri Gölü Depolama: Data Lake Storage, değişiklik günlüğü verileri için bir hazırlama alanıdır.

  6. Azure Databricks: Azure Databricks, değişiklik günlüğü verilerini işler ve Azure'da ilgili dosyaları güncelleştirir.

  7. Azure veri hizmetleri: Azure, aşağıdaki verimli veri depolama hizmetlerini sağlar.

    • İlişkisel veritabanı hizmetleri:

      • Azure Sanal Makineler'de SQL Server
      • Azure SQL Veritabanı
      • Azure SQL Yönetilen Varlık
      • PostgreSQL için Azure Veritabanı
      • MySQL için Azure Veritabanı
      • Azure Cosmos DB veritabanı

      Bir veri depolama hizmeti seçerken göz önünde bulundurmanız gereken birçok faktör vardır. İş yükünün türünü, veritabanları arası sorguları, iki aşamalı işleme gereksinimlerini, dosya sistemine erişme özelliğini, veri miktarını, gerekli aktarım hızını ve gecikme süresini göz önünde bulundurun.

    • Azure Cosmos DB: Azure Cosmos DB, her ölçekte hızlı yanıt, otomatik ölçeklenebilirlik ve garantili hız sağlayan bir NoSQL veritabanıdır.

    • Azure Synapse Analytics: Azure Synapse Analytics, veri tümleştirmesi, kurumsal veri ambarı ve büyük veri analizini birleştiren bir analiz hizmetidir. Sunucusuz veya ayrılmış kaynakları büyük ölçekte kullanarak verileri sorgulamak için kullanın.

    • Microsoft Kumaş: Microsoft Fabric, kuruluşlar için hepsi bir arada bir analiz çözümüdür. Veri hareketinden veri bilimine, gerçek zamanlı analitiğe ve iş zekasına kadar her şeyi kapsar. Veri gölü, veri mühendisliği ve veri entegrasyonu dahil olmak üzere kapsamlı bir hizmet paketi sağlar.

Bileşenler

Bu mimari çeşitli Azure bulut hizmetlerinden oluşur ve dört kaynak kategorisine ayrılır: ağ ve kimlik, uygulama, depolama ve izleme. Aşağıdaki bölümlerde her kaynak için hizmetler ve rolleri açıklanmaktadır.

Ağ ve kimlik

Uygulama mimarisi tasarlarken, genel İnternet veya özel bağlantılar üzerinden etkileşimler sırasında güvenlik, performans ve yönetilebilirlik sağlamaya yardımcı olmak için ağ ve kimlik bileşenlerine öncelik vermek çok önemlidir.

  • Azure ExpressRoute , şirket içi ağlarınızı bir bağlantı sağlayıcısından gelen özel bir bağlantı üzerinden Microsoft tarafından sağlanan bulut hizmetlerine genişletir. Azure ve Microsoft 365 gibi bulut hizmetleriyle bağlantı kurmak için ExpressRoute'u kullanın.

  • Azure VPN Gateway , bir Azure sanal ağı ile şirket içi konum arasında genel İnternet üzerinden şifrelenmiş trafik gönderen belirli bir sanal ağ geçidi türüdür.

  • Microsoft Entra ID , şirket içi Active Directory ile eşitlenebilen bir kimlik ve erişim yönetimi hizmetidir.

Uygulama

Azure, daha güvenli, ölçeklenebilir ve verimli uygulama dağıtımını destekleyen yönetilen hizmetler sağlar. Bu mimari, uygulama mimarinizi iyileştirmenize yardımcı olabilecek uygulama katmanı hizmetlerini kullanır.

  • Event Hubs , Db2, IMS ve VSAM değişiklik veri iletilerini depolayabilen büyük bir veri akışı platformu ve olay alma hizmetidir. Saniyede milyonlarca mesaj alabilir ve işleyebilir. Gerçek zamanlı bir analiz sağlayıcısı veya özel bir bağdaştırıcı kullanarak olay hub'ı verilerini dönüştürebilir ve depolayabilirsiniz.

  • Apache Kafka , yüksek performanslı veri işlem hatları, akış analizi, veri tümleştirmesi ve görev açısından kritik uygulamalar için kullanılan açık kaynaklı bir dağıtılmış olay akışı platformudur. Db2 değişiklik verilerini depolamak için Qlik veri entegrasyonu ile kolayca entegre edilebilir.

  • Data Lake Storage , işlenen şirket içi değişiklik günlüğü verilerini depolamak için bir veri gölü sağlar.

  • Azure Databricks , Apache Spark üzerinde oluşturulmuş bulut tabanlı bir veri mühendisliği aracıdır. Çok büyük miktarda veriyi işleyebilir ve dönüştürebilir. Makine öğrenmesi modellerini kullanarak verileri keşfedebilirsiniz. İşler R, Python, Java, Scala ve Spark SQL'de yazılabilir.

Depolama ve veritabanları

Bu mimari, ölçeklenebilir ve daha güvenli bulut depolamanın yanı sıra esnek ve akıllı veri yönetimi için yönetilen veritabanlarını ele alır.

İzleme

İzleme araçları, kapsamlı veri analizi ve uygulama performansına ilişkin değerli bilgiler sağlar.

  • Azure İzleyici , bulut ve şirket içi ortamlardan telemetri verilerini toplamaya, analiz etmeye ve üzerinde işlem yapmaya yönelik kapsamlı bir çözümdür. İçerik:

    • Application Insights, telemetriyi analiz etmek ve sunmak için.

    • İzlenen kaynaklardan günlük ve performans verilerini toplayan ve düzenleyen Azure İzleyici Günlükleri. Azure platform günlükleri, sanal makine aracıları ve uygulama performansı gibi kaynaklardan gelen verileri analiz için tek bir çalışma alanında birleştirebilirsiniz. Sorgu dili, kayıtlarınızın analiz edilmesini sağlar.

    • Azure İzleyici Günlüklerini sorgulayabilen Log Analytics. Güçlü bir sorgu dili, birden çok tablodaki verileri birleştirmenize, büyük veri kümelerini toplamanıza ve en az kodla karmaşık işlemler gerçekleştirmenize olanak tanır.

Alternatifler

  • Yukarıdaki diyagramda, şirket içinde yüklü Qlik gösterilmektedir. Bu yaklaşım, Qlik'i şirket içi veri kaynaklarına yakın tutmak için önerilen en iyi uygulamadır. Alternatif olarak, Qlik in the cloud'u bir Azure sanal makinesine yüklemektir.

  • Qlik Data Integration, Kafka'dan veya bir olay hub'ından geçmeden verileri doğrudan Azure Databricks'e teslim edebilir.

  • Qlik Data Integration, verileri doğrudan Azure Cosmos DB'ye çoğaltamaz, ancak olay kaynağını belirleme mimarisini kullanarak Azure Cosmos DB'yi bir olay hub'ı ile tümleştirebilirsiniz.

Senaryo ayrıntıları

Birçok kuruluş, zorlu ve kritik iş yüklerini çalıştırmak için ana bilgisayar ve orta ölçekli sistemleri kullanır. Çoğu uygulama, genellikle birden çok sistemde paylaşılan veritabanlarını kullanır. Bu ortamda, buluta modernleştirme, şirket içi verilerin bulut tabanlı uygulamalara sağlanması gerektiği anlamına gelir. Bu nedenle, veri çoğaltma önemli bir modernizasyon taktiği haline gelir.

Qlik Veri Entegrasyonu platformu, veri replikasyonu yapan Qlik Replicate uygulamasını içerir. Şirket içi veri depolarını gerçek zamanlı olarak Azure'a çoğaltmak için değişiklik verilerini yakalamayı kullanır. Değişiklik verileri Db2, IMS ve VSAM değişiklik günlüklerinden gelebilir. Bu çoğaltma tekniği, uygunsuz toplu toplu yükleri ortadan kaldırır. Bu çözüm, şirket içi veri kaynaklarını gerçek zamanlı olarak Azure'a çoğaltmak için şirket içi bir Qlik örneği kullanır.

Olası kullanım örnekleri

Bu çözüm aşağıdakiler için uygun olabilir:

  • Veri değişikliklerinin ana bilgisayardan veya orta ölçekli sistemden Azure veritabanlarına çoğaltılmasını gerektiren karma ortamlar.

  • Db2'den Azure SQL veritabanına çok az kapalı kalma süresiyle çevrimiçi veritabanı geçişi.

  • Birleştirme ve analiz için çeşitli şirket içi veri depolarından Azure'a veri çoğaltma.

Değerlendirmeler

Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanabileceğiniz bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz. Well-Architected Framework.

Güvenilirlik

Güvenilirlik, uygulamanızın müşterilerinize sağladığınız taahhütleri karşılayabilmesine yardımcı olur. Daha fazla bilgi için bkz . Güvenilirlik için tasarım gözden geçirme denetim listesi.

  • Qlik Veri Entegrasyonu, yüksek kullanılabilirliğe sahip bir kümede yapılandırılabilir.

  • Azure veritabanı hizmetleri bölge yedekliliğini destekler ve bir bakım penceresi sırasında veya bir kesinti oluşursa ikincil bir düğüme yük devredecek şekilde tasarlanabilir.

Güvenlik

Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanımına karşı güvence sağlar. Daha fazla bilgi için bkz . Güvenlik için tasarım gözden geçirme denetim listesi.

  • ExpressRoute, şirket içinden Azure'a özel ve verimli bir bağlantı sağlar, ancak bunun yerine siteden siteye VPN kullanabilirsiniz.

  • Azure kaynaklarının kimliği Microsoft Entra ID kullanılarak doğrulanabilir ve izinler rol tabanlı erişim denetimi aracılığıyla yönetilir.

  • Azure veritabanı hizmetleri, aşağıdakiler gibi çeşitli güvenlik seçeneklerini destekler:

    • Bekleyen veri şifrelemesi.

    • Dinamik veri maskeleme.

    • Her zaman şifrelenmiş veritabanları.

  • Daha fazla bilgi için Azure güvenlik belgelerine bakın.

Maliyet İyileştirme

Maliyet İyileştirme, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarına odaklanır. Daha fazla bilgi için bkz . Maliyet İyileştirme için tasarım gözden geçirme denetim listesi.

Uygulamanızın maliyetlerini tahmin etmek için Azure fiyatlandırma hesaplayıcısını kullanın.

Operasyonel Mükemmellik

Operasyonel Mükemmellik, bir uygulamayı dağıtan ve üretimde çalışır durumda tutan operasyon süreçlerini kapsar. Daha fazla bilgi için bkz . Operasyonel Mükemmellik için tasarım gözden geçirme denetim listesi.

Azure kaynaklarının durumunu izlemek için Application Insights ve Log Analytics özelliklerini birleştirebilirsiniz. Sorunları proaktif olarak yönetebilmek için uyarılar ayarlayabilirsiniz.

Performans Verimliliği

Performans Verimliliği, iş yükünüzün kullanıcı taleplerini verimli bir şekilde karşılayacak şekilde ölçeklendirebilmesini ifade eder. Daha fazla bilgi için bkz . Performans Verimliliği için tasarım gözden geçirme denetim listesi.

Azure Databricks, Data Lake Storage ve diğer Azure veritabanı hizmetleri otomatik ölçeklendirme özelliklerine sahiptir. Daha fazla bilgi için bkz. Otomatik ölçeklendirme.

Katkıda Bulunanlar

Microsoft bu makaleyi korur. Bu makaleyi aşağıdaki katkıda bulunanlar yazdı.

Asıl yazarlar:

Nonpublic LinkedIn profillerini görmek için LinkedIn'de oturum açın.

Sonraki Adımlar