Yüksek hacimli toplu işlem işleme

Azure Kubernetes Service (AKS)
Azure Service Bus
Azure Sanal Makineler

Mimari, yüksek hacimli işlem toplu işlemlerini işleyen uygulamaların işlem kümelerini uygulamak için AKS kullanır. Uygulamalar, Service Bus konu başlıklarından veya kuyruklarından gelen iletilerdeki işlemleri alır. Konular ve kuyruklar farklı coğrafi bölgelerdeki Azure veri merkezlerinde olabilir ve birden çok AKS kümesi bunlardan gelen girişleri okuyabilir.

Not

Bu mimari, IBM ana bilgisayarlarında genellikle IBM MQ ileti odaklı ara yazılım ailesi kullanılarak uygulanan bir toplu işlem işleme türüne uygundur.

Mimarlık

AKS ve Service Bus kullanılarak uygulanan bir mimarinin Diyagramı.

Bu mimarinin Visio dosyasını indirin.

İş Akışı

Diyagramdaki numaralandırılmış daireler, aşağıdaki listedeki numaralandırılmış adımlara karşılık gelir.

  1. Mimari, toplu işlem girişini düzenlemek ve işleme için aşağı akışı geçirmek için Service Bus konularını ve kuyruklarını kullanır.
  2. Katman 4 (TCP, UDP) yük dengeleyici olan Azure Load Balancer, gelen trafiği yük dengeli bir kümede tanımlanan hizmetlerin iyi durumdaki örnekleri arasında dağıtır. Yük dengeleme ve bağlantıların yönetimi işlemeyi iyileştirir.
  3. AKS kümesi çalışan düğümleri giriş için Service Bus kuyruk uç noktalarını dinler.
  4. Java düğümleri Service Bus'a bağlanmak için Java İleti Hizmeti'ni ve diğer veri kaynaklarına bağlanmak için Java Veritabanı Bağlantısı gibi Java arabirimlerini kullanır. Gerektiğinde diğer Java API'lerini kullanırlar.
  5. Kurtarılabilir işlemler, her toplu işlem adımı için iş koduyla birlikte çalışır.
  6. Toplu iş altyapısı, hız için Azure hızlandırılmış ağ kullanır.
  7. Azure Yönetilen Redis, Azure Cosmos DB ve Azure Stream Analytics gerektiğinde çalışma depolama alanı sağlar.
  8. Kalıcı veri katmanında veri tümleştirmesi için Azure Data Factory ve yüksek kullanılabilirlik için iş açısından kritik performans katmanı olan Azure SQL Yönetilen Örneği kullanılır. Kalıcı depolama alanı, diğer veritabanı teknolojilerine kolayca geçiş yapmak ve depolama düzenlemesini en iyi duruma getirmek için (örneğin parçalar veya bölümler kullanılarak) gevşek bir şekilde birleştirilir.
  9. Veri çözümleri (geçişli ve kalıcı), olağanüstü hatalara karşı koruma sağlamak için Azure Depolama coğrafi olarak yedekli depolama (GRS) seçeneğini kullanır.

Bileşen

  • Azure Bastion , sanal makinelere (VM) özel ve tam olarak yönetilen Uzak Masaüstü Protokolü (RDP) ve Secure Shell (SSH) erişimi sağlayan bir hizmet olarak platformdur (PaaS). Bu mimaride Azure Bastion, vm'leri genel İnternet'e göstermeden güvenli yönetim erişimi sağlar.

  • Azure Blob Depolama , bulutta yerel iş yükleri, arşivler, veri gölleri, yüksek performanslı bilgi işlem ve makine öğrenmesi için ölçeklenebilir ve güvenli REST tabanlı nesne depolaması sağlayan bir bulut nesne depolama hizmetidir. Bu mimaride Blob Depolama, toplu işleme girişi, çıkışı ve ara veri dosyaları için ölçeklenebilir depolama sağlar.

  • Azure Yönetilen Redis, Redis Enterprise yazılımını temel alan bir bellek içi veri deposu sağlar. Bu mimaride Azure Yönetilen Redis, toplu işlem durumu ve ara sonuçlar için yüksek hızlı geçici depolama alanı sağlar.

  • Azure Cosmos DB , herhangi bir ölçek için açık API'lere sahip genel olarak dağıtılmış çok modelli bir NoSQL veritabanıdır. Bu mimaride Azure Cosmos DB, toplu işleme meta verileri ve çalışan veriler için ölçeklenebilir NoSQL depolama alanı sağlar.

  • Azure Databricks , büyük veri analizi hizmetleri sağlayan Apache Spark tabanlı bir analiz platformudur. Bu mimaride Azure Databricks, toplu işlem sonuçlarında gelişmiş analiz ve makine öğrenmesi için kullanılabilir.

  • Azure ExpressRoute, Azure veri merkezleriyle şirket içi altyapı arasında özel bağlantılar sağlayan bir bağlantı hizmetidir. Bu mimaride ExpressRoute, şirket içi veri kaynaklarına erişmesi gereken toplu işleme uygulamaları için yüksek bant genişliğine ve düşük gecikme süresine sahip bağlantı sağlar.

  • Azure Dosyalar , bulutta basit, güvenli ve sunucusuz kurumsal düzeyde dosya paylaşımları sağlayan bir bulut dosya depolama hizmetidir. Paylaşımlara erişmek için endüstri standardı Sunucu İleti Bloğu (SMB) ve Ağ Dosya Sistemi (NFS) protokollerini kullanırsınız. Bu mimaride Azure Dosyalar, dosya tabanlı veri erişimi gerektiren toplu işlem uygulamaları için paylaşılan dosya depolama alanı sağlar.

  • Azure Kubernetes Service (AKS), kapsayıcılı uygulamaları dağıtmaya ve yönetmeye yönelik yönetilen bir Kubernetes hizmetidir. Bu mimaride AKS, toplu işlem uygulamalarını büyük ölçekte çalıştırmak için kapsayıcı düzenleme platformu sağlar.

  • Load Balancer , VM'ler arasında ve çok katmanlı karma uygulamalarda trafiği dengelemek için düşük gecikme süreli katman 4 (TCP, UDP) yük dengeleme özellikleri sağlayan bir yük dengeleme hizmetidir. Bu mimaride Load Balancer, performansı iyileştirmek için gelen trafiği iyi durumdaki toplu işleme örnekleri arasında dağıtır.

  • Azure yönetilen diskleri, VM'ler için yüksek performanslı ve oldukça dayanıklı blok depolama hacimleridir. Bulut için üç disk depolama seçeneği vardır: Azure Ultra Disk Depolama, Azure Premium SSD ve Azure Standart SSD. Bu mimaride, Azure yönetilen diskleri toplu işleme uygulamaları ve geçici veriler için kalıcı depolama sağlar.

  • Azure ağ arabirimi , vm'yi İnternet'e, Azure'a ve şirket içi kaynaklara bağlayan bir bileşendir. Her alt VM'ye kendi ağ arabirimini ve IP adresini verebilirsiniz. Bu mimaride, ağ arabirimleri toplu işlem VM'leri ile Service Bus mesajlaşma sistemi arasında bağlantı sağlar. Ağ arabirimleri hakkında daha fazla bilgi için bkz. Ağ arabirimi oluşturma, değiştirme veya silme.

  • Azure SQL , SQL portföyünüzün tamamı için birleşik bir deneyim ve uçtan buluta çok çeşitli dağıtım seçenekleri sunan bir SQL bulut veritabanı ailesidir. Bu mimaride Azure SQL, toplu işlem uygulamaları için ilişkisel veritabanı hizmetleri sağlar.

  • Azure Depolama blob, dosya, kuyruk ve tablo depolama dahil olmak üzere birden çok depolama çözümü sağlayan bir bulut depolama hizmetidir. Azure Depolama'nın GRS seçeneği, verilerinizi birincil bölgedeki tek bir fiziksel konumda zaman uyumlu olarak üç kez kopyalar ve ardından zaman uyumsuz olarak ikincil bölgedeki tek bir fiziksel konuma kopyalar. Daha fazla bilgi için bkz. Azure Depolama yedekliliği. Bu mimaride GRS ile Azure Depolama, verileri toplu işleme için yüksek oranda dayanıklı depolama sağlar ve yıkıcı hatalara karşı koruma sağlar.

  • Azure Sanal Makineler , onu barındıran donanımı sağlamak ve korumak zorunda kalmadan sanallaştırma esnekliği sağlayan bir bulut bilişim hizmetidir. İşletim sistemi seçenekleri Windows ve Linux'ı içerir. Bu mimaride, Sanal Makineler toplu işleme uygulamaları ve destekleyici hizmetler için işlem altyapısı sağlar.

    Hızlandırılmış ağ ile oluşturulan bir VM, ağ performansını geliştiren tek kök giriş/çıkış sanallaştırma (SR-IOV) kullanır. Daha fazla bilgi için bkz. Azure PowerShell kullanarak hızlandırılmış ağ ile Windows VM oluşturma ve SR-IOV'ye Genel Bakış. Bu mimaride hızlandırılmış ağ, yüksek hacimli toplu işlemleri işleyen VM'lerin ağ performansını artırır.

  • Azure Sanal Ağ , bulutta güvenli bir özel ağ sağlayan bir bulut ağ hizmetidir. VM'leri birbirine, İnternet'e ve şirket içi ağlara bağlayabilir. Bu mimaride Sanal Ağ, toplu işlem altyapısı için güvenli ağ yalıtımı sağlar ve AKS kümeleri ile diğer Azure hizmetleri arasında iletişim sağlar.

  • Data Factory , tüm verilerinizi büyük ölçekte hazırlamak ve dönüştürmek için tam olarak yönetilen ve sunucusuz bir bulut tabanlı veri tümleştirme hizmetidir. Data Factory Parquet biçimini destekler. Bu destek toplu işlemler için verimli sütunlu veri işleme olanağı sağlar. Bu mimaride Data Factory, toplu işleme girişi ve çıkışı için veri tümleştirme iş akışlarını düzenler.

  • Log Analytics , Azure portalında Azure İzleyici günlüklerinde günlük sorgularını düzenlemek ve çalıştırmak için kullanabileceğiniz bir araçtır. Bu mimaride Log Analytics, toplu işlemler için merkezi kayıt ve gözlemleme özelliği sunar.

  • Service Bus , güvenilir bir hizmet olarak bulut mesajlaşması (MaaS) ve basit karma tümleştirme sağlayan bir bulut mesajlaşma hizmetidir. Bu mimaride Service Bus, AKS kümelerine işlem iletileri sunar ve toplu iş yükleri için güvenilir ileti işleme sağlar.

  • SQL Yönetilen Örneği, her zaman güncel ve güvenli bir SQL örneğini bulutta sağlayan bir yönetilen veritabanı hizmetidir. Bu mimaride SQL Yönetilen Örneği, kalıcı veri depolama için iş açısından kritik bir performans katmanına sahip yüksek kullanılabilirliğe sahip veritabanı hizmetleri sağlar.

  • Stream Analytics , uygulama ve cihazlardan hızlı hareket eden veri akışları için gerçek zamanlı analiz sağlayan bir hizmettir. Bu mimaride Stream Analytics, gerçek zamanlı izleme ve analiz için toplu işlemlerden akış verilerini işler.

Senaryo ayrıntıları

Azure'da, Microsoft Azure Kubernetes Service (AKS) ve Azure Service Bus'ı temel alan bir mimari kullanarak hesaplara ödeme gönderme gibi toplu işlem işlemlerini uygulayabilirsiniz. Bu mimari türü, yüksek hacimli toplu işleme için gereken işlem hızı, ölçeklendirme ve güvenilirlik sağlar.

Genellikle, bir ileti işlemi tamamlanana kadar kuyrukta kalmaya devam eder ve hata durumunda kurtarma sağlar. Ayrıca, iş yüklerini paylaşmak ve bir bölge başarısız olsa bile işlemeye devam etmek için konuları ve kuyrukları diğer bölgelere çoğaltabilirsiniz.

Olası kullanım örnekleri

Çözüm finans, eğitim ve bilim endüstrileri için idealdir. Bu mimari, özellikle paralel olarak işlenebilen bağımsız işlemler olmak üzere işlem toplu işlemlerinin yüksek hacimli işlenmesine yöneliktir. Bu nedenle, büyük olasılıkla ana bilgisayar toplu işlem geçişi için bir adaydır. Olası uygulamalar şunlardır:

  • Bordro, siparişler ve ödemeler gibi finansal işlemlerin işlenmesi.
  • Bilimsel araçlar tarafından toplanan deneysel verilerin işlenmesi.
  • Diğer ana bilgisayar toplu işleme.

Hususlar

Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanılabilecek bir dizi yol gösteren ilke olan Azure Well-Architected Framework'ün yapı taşlarını uygular. Daha fazla bilgi için bkz. Microsoft Azure Well-Architected Framework.

Güvenilirlik

Güvenilirlik, uygulamanızın müşterilerinize sağladığınız taahhütleri karşılayabilmesini sağlar. Daha fazla bilgi için bkz. Güvenilirlikiçin tasarım gözden geçirme denetim listesi .

  • Azure Site Recovery olağanüstü durum kurtarma hizmeti, büyük kesintilere karşı koruma sağlar. Güvenilir, uygun maliyetli ve dağıtımı kolaydır.
  • VM'ler için kullanılabilirlik kümeleri, görev açısından kritik toplu işlem gereksinimlerini karşılamak için yeterli VM'nin kullanılabilir olmasını sağlar.
  • Service Bus, AKS ve Azure SQL Yönetilen Örneği coğrafi bölgelerde yüksek kullanılabilirlik ve kurtarılabilirlik sağlar.

Güvenlik

Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz. Güvenlik için tasarım gözden geçirme denetim listesi.

  • Service Bus toplu iş mimarisindeki tüm bileşenler Microsoft Entra Id, Sanal Ağ ve şifreleme gibi Azure güvenlik bileşenleriyle çalışır.

Maliyet İyileştirme

Maliyet İyileştirme, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarını gözden geçmektir. Daha fazla bilgi için bkz. Maliyet İyileştirmeiçin tasarım gözden geçirme denetim listesi.

Bu çözümü uygulamanızla ilgili maliyetleri tahmin etmek için Fiyatlandırma hesaplayıcısıkullanın.

AKS kümelerinin otomatik ölçeklendirme özellikleri ve isteğe bağlı ölçeklendirme sağlayan diğer Hizmet Olarak Azure Platform (PaaS) özellikleri maliyetleri en düşük düzeyde tutar.

Belirli bileşenler için fiyatlandırmayla ilgili dikkat edilmesi gerekenler şunlardır:

  • Çoğu kuruluş zaten bir Microsoft Active Directory uygulamasına sahiptir. Aksi takdirde Microsoft Entra ID P1 veya P2 düşük maliyetlidir.
  • Windows VM fiyatlandırma ve Linux VM fiyatlandırması işlem kapasitenize bağlıdır.
  • Premium SSD veya Ultra yönetilen depolama diskleri fiyatlandırması için bkz. yönetilen disklerin fiyatlandırması.
  • Azure SQL Veritabanıiçin ön maliyet yoktur; kullanılan kaynaklar için ödeme yapın.
  • ExpressRouteiçin aylık bağlantı noktası ücreti ve giden veri aktarımı ücretleri ödersiniz.
  • Azure Depolama maliyetleri veri yedekliliği seçeneklerine ve hacmine bağlıdır.
  • Azure Dosyalar fiyatlandırması birçok faktöre bağlıdır: veri hacmi, veri yedekliliği, işlem hacmi ve kullandığınız dosya eşitleme sunucularının sayısı.
  • SSD yönetilen disk fiyatlandırması için bkz. yönetilen disklerin fiyatlandırması.
  • Site Recoveryiçin her korumalı örnek için ödemeniz gerekir.
  • Bu hizmetler Azure aboneliğinizle ücretsizdir, ancak kullanım ve trafik için ödemeniz gerekir:
    • Yük Dengeleyici.
    • Etkinlik çalıştırma hacminiz, Data Factorymaliyetini belirler.
    • Azure Sanal Ağiçin IP adresleri nominal bir ücret taşır.
    • Giden veri aktarım hacmi, Azure Bastion maliyetlerini belirler.

Operasyonel Mükemmellik

Operasyonel Mükemmellik, bir uygulamayı dağıtan ve üretimde çalışır durumda tutan operasyon süreçlerini kapsar. Daha fazla bilgi için bkz. Operasyonel Mükemmellik için Tasarım Gözden Geçirme Denetim Listesi.

  • Azure Resource Manager şablonları (ARM şablonları), betikli dağıtım için kullanabileceğiniz şablonlarınızda kaynaklarınızı tanımlamak amacıyla bir yapılandırma dili sağlar. Şablonlar ayrıca izleme ve uyarı özellikleri sağlar.

Performans Verimliliği

Performans Verimliliği, iş yükünüzün kullanıcılar tarafından talep edilen talepleri verimli bir şekilde karşılayacak şekilde ölçeklendirilebilmesidir. Daha fazla bilgi için bkz. Performans Verimliliğiiçin Tasarım gözden geçirme denetim listesi.

  • Mimari, bağımsız işlemlerin paralel işlenmesini karşılayacak şekilde tasarlanmıştır.
  • Service Bus, AKS ve diğer Azure PaaS özellikleri işlem işleme, bilgi işlem ve veri depolama için yüksek performans sağlar.
  • Service Bus, AKS ve diğer Azure PaaS özellikleri gerektiğinde dinamik olarak ölçeklendirilir.

Sonraki adımlar