Bu makale, Azure Synapse Analytics'in ölçeklenebilir, gelişmiş güvenlik dağıtımı için Azure giriş bölgesi aboneliklerini hazırlamaya yönelik mimari bir yaklaşım sağlar. Kurumsal bir analiz hizmeti olan Azure Synapse, veri ambarı, büyük veri işleme, veri tümleştirme ve yönetimi birleştirir.
Makalede, giriş bölgesini etkili bir şekilde oluşturmak ve kullanıma hazır hale getirmek için gereken platform temelini zaten uyguladığınız varsayılır.
Apache®, Spark ve alev logosu, Apache Software Foundation'ın Birleşik Devletler ve/veya diğer ülkelerdeki tescilli ticari markaları veya ticari markalarıdır. Bu işaretlerin kullanılması Apache Software Foundation tarafından onaylanmamaktadır.
Mimari
Bu mimarinin bir Visio dosyasını indirin.
Veri akışı
- Bu mimarinin temel bileşeni, veri alımı ve veri işlemeden hizmet ve analize kadar çeşitli işlevler sağlayan birleşik bir hizmet olan Azure Synapse'dir. Yönetilen Sanal Ağ Azure Synapse, çalışma alanı için ağ yalıtımı sağlar. Veri sızdırma korumasını etkinleştirerek giden bağlantıyı yalnızca onaylanan hedeflerle sınırlayabilirsiniz.
- Yönetilen Sanal Ağ bulunan Azure Synapse kaynakları, Azure tümleştirme çalışma zamanı ve Spark havuzları Yönetilen özel uç noktaları kullanarak Azure Data Lake Storage' a, Azure Key Vault' a ve daha yüksek güvenlikli diğer Azure veri depolarına bağlanabilir. Yönetilen Sanal Ağ dışında barındırılan Azure Synapse SQL havuzları, kurumsal sanal ağdaki özel uç nokta üzerinden Azure hizmetlerine bağlanabilir.
- Yöneticiler, yönetim grubu düzeyinde veri giriş bölgelerine uygulanan Azure ilkeleri aracılığıyla Azure Synapse çalışma alanı, Data Lake Storage, Key Vault, Log Analytics ve diğer veri depolarına özel bağlantı uygulayabilir. Çıkış trafiği için gelişmiş güvenlik sağlamak üzere veri sızdırma korumasını da etkinleştirebilirler.
- Kullanıcılar Synapse Özel Bağlantı Hubs aracılığıyla kısıtlı bir şirket içi ağdan web tarayıcısı kullanarak Synapse Studio'ya erişmektedir. Özel Bağlantı Hubs, synapse Studio'yu gelişmiş güvenlik özelliklerine sahip özel bağlantılar üzerinden yüklemek için kullanılır. Tek bir Azure Synapse Özel Bağlantı Hubs kaynağı, hub sanal ağında özel uç noktaya sahip bir Bağlantı aboneliğine dağıtılır. Merkez sanal ağı, Azure ExpressRoute aracılığıyla şirket içi ağa bağlanır. Özel Bağlantı Hubs kaynağı Synapse Studio aracılığıyla tüm Azure Synapse çalışma alanlarına özel olarak bağlanmak için kullanılabilir.
- Veri mühendisleri şirket içi ortamda barındırılan bir veri deposu ile Data Lake Storage ve SQL havuzları gibi bulut veri depoları arasında veri almak için şirket içinde barındırılan tümleştirme çalışma zamanında yürütülen azure synapse işlem hatlarını Kopyalama etkinliği kullanır. Şirket içi ortam ExpressRoute aracılığıyla Azure'da merkez sanal ağına bağlanır.
- Veri mühendisleri, Yönetilen özel uç noktalar aracılığıyla Azure Synapse Yönetilen Sanal Ağ bağlı bulut veri depolarında barındırılan verileri dönüştürmek için Azure Synapse Veri Akışı etkinliğini ve Spark havuzlarını kullanır. Şirket içi ortamda bulunan veriler için Spark havuzlarıyla dönüştürme için özel Özel Bağlantı hizmeti aracılığıyla bağlantı gerekir. Özel Özel Bağlantı hizmeti, şirket içi veri deposuna bağlanmak için Ağ Adresi Çevirisi (NAT) VM'lerini kullanır. Yönetilen Sanal Ağ şirket içi veri depolarına erişmek için Özel Bağlantı hizmetini ayarlama hakkında bilgi için bkz. Özel Uç Nokta kullanarak Data Factory Yönetilen Sanal Ağından şirket içi SQL Server'a erişme.
- Azure Synapse'te veri sızdırma koruması etkinleştirilirse Log Analytics çalışma alanına Spark uygulama günlüğü, Yönetilen özel uç nokta aracılığıyla Azure Synapse Yönetilen Sanal Ağ bağlı bir Azure İzleyici Özel Bağlantı Kapsamı kaynağı aracılığıyla yönlendirilir. Diyagramda gösterildiği gibi tek bir Azure İzleyici Özel Bağlantı Kapsamı kaynağı, merkez sanal ağında özel uç nokta içeren bir Bağlantı aboneliğinde barındırılır. Tüm Log Analytics çalışma alanlarına ve Application Insights kaynaklarına Azure İzleyici Özel Bağlantı Kapsamı üzerinden özel olarak erişilebilir.
Bileşenler
- Azure Synapse Analytics , veri ambarları ve büyük veri sistemleri arasında içgörü elde etme süresini hızlandıran bir kurumsal analiz hizmetidir.
- Azure Synapse Managed Sanal Ağ, Azure Synapse çalışma alanlarına diğer çalışma alanlarından ağ yalıtımı sağlar.
- Azure Synapse Yönetilen özel uç noktaları, Azure Synapse çalışma alanıyla ilişkili yönetilen Sanal Ağ oluşturulan özel uç noktalardır. Yönetilen özel uç noktalar, Yönetilen Sanal Ağ dışındaki Azure kaynaklarına özel bağlantı kurar.
- Veri sızdırma korumasına sahip Azure Synapse çalışma alanı, hassas verilerin kuruluşun kapsamı dışındaki konumlara sızmasını önler.
- Azure Özel Bağlantı Hubs, güvenli ağınızla Synapse Studio web deneyimi arasında bağlayıcı görevi görür.
- Tümleştirme çalışma zamanı , Azure Synapse işlem hatlarının farklı ağ ortamlarında veri tümleştirme özellikleri sağlamak için kullandığı işlem altyapısıdır. Şirket içinde barındırılan işlem tümleştirme çalışma zamanını kullanarak yönetilen Azure işlem tümleştirme çalışma zamanında veya ağlar arasında Kopyalama etkinliği Veri Akışı etkinliğini çalıştırın.
- Azure Özel Bağlantı, Azure'da barındırılan hizmetlere özel erişim sağlar. Azure Özel Bağlantı hizmeti, Özel Bağlantı tarafından desteklenen kendi hizmetinize başvurudur. Özel Bağlantı erişim için Azure standart yük dengeleyicinin arkasında çalışan hizmetinizi etkinleştirebilirsiniz. Daha sonra yönetilen özel uç nokta aracılığıyla Özel Bağlantı hizmetini Azure Synapse Yönetilen Sanal Ağ genişletebilirsiniz.
- Azure Synapse'te Apache Spark, buluttaki Apache Spark'ın çeşitli Microsoft uygulamalarından biridir. Azure Synapse, Azure'da Spark özelliklerini oluşturmayı ve yapılandırmayı kolaylaştırır.
- Data Lake Storage , Azure'da kurumsal veri gölleri oluşturmanın temeli olarak Azure Depolama'yı kullanır.
- Key Vault gelişmiş güvenlikle gizli dizileri, anahtarları ve sertifikaları depolamanıza olanak tanır.
- Azure giriş bölgeleri , ölçek, güvenlik idaresi, ağ ve kimlik bilgilerini içeren çok abonelikli bir Azure ortamının çıktılarıdır. Giriş bölgesi, Azure'da kurumsal ölçekte geçiş, modernleştirme ve yenilik sağlar.
Senaryo ayrıntıları
Bu makalede, Azure Synapse'in ölçeklenebilir, gelişmiş bir güvenlik dağıtımı için Azure giriş bölgesi aboneliklerini hazırlamaya yönelik bir yaklaşım sağlanır. Çözüm, Azure için en iyi yöntemler için Bulut Benimseme Çerçevesi bağlıdır ve kurumsal ölçekli giriş bölgelerine yönelik tasarım yönergelerine odaklanır.
Merkezi olmayan, otonom iş birimlerine sahip birçok büyük kuruluş, büyük ölçekte analiz ve veri bilimi çözümlerini benimsemek istemektedir. Doğru temeli oluşturmaları çok önemlidir. Azure Synapse ve Data Lake Storage, bulut ölçeğinde analiz ve veri ağı mimarisinin uygulanmasına yönelik merkezi bileşenlerdir.
Bu makalede yönetim grupları, abonelik topolojisi, ağ, kimlik ve güvenlik arasında Azure Synapse dağıtımına yönelik öneriler sağlanır.
Bu çözümü kullanarak şunları yapabilirsiniz:
- Birden çok veri giriş bölgesinde ihtiyaçlarınıza göre ölçeklendirilen, iyi yönetilen, gelişmiş güvenlik analizi platformu.
- Veri uygulama ekipleri için daha az operasyonel ek yük. Veri mühendisliğine ve analize odaklanabilir ve Azure Synapse platform yönetimini veri giriş bölgesi operasyon ekibine bırakabilir.
- Veri giriş bölgeleri arasında kuruluş uyumluluğunun merkezi olarak uygulanması.
Olası kullanım örnekleri
Bu mimari, şunları gerektiren kuruluşlar için kullanışlıdır:
- Başlangıçtan itibaren Azure Synapse iş yükleri için tam tümleşik ve operasyonel denetim ve veri düzlemi.
- Azure Synapse'in veri güvenliği ve gizliliğine odaklanan gelişmiş güvenlik uygulaması.
Bu mimari, veri giriş bölgesi abonelikleri arasında Azure Synapse iş yüklerinin büyük ölçekli dağıtımları için bir başlangıç noktası görevi görebilir.
Abonelik topolojisi
Büyük ölçekli veri ve analiz platformları oluşturan kuruluşlar, zaman içinde çalışmalarını tutarlı ve verimli bir şekilde ölçeklendirmenin yollarını arar.
- Kuruluşlar, abonelikleri veri giriş bölgeleri için bir ölçek birimi olarak kullanarak abonelik düzeyi sınırlamalarının üstesinden gelebilir, uygun yalıtım ve erişim yönetimi sağlayabilir ve veri platformu ayak izi için gelecekte esnek bir büyüme elde edebilir. Veri giriş bölgesi içinde, bir kaynak grubundaki belirli analiz kullanım örnekleri için Azure Synapse'i ve diğer veri varlıklarını gruplandırabilirsiniz.
- Yönetim grubu ve abonelik kurulumu, Azure Synapse ve diğer hizmetleri sağlamak için veri platformu yöneticilerine gerekli erişimi sağlayan giriş bölgesi platformu sahibinin sorumluluğundadır.
- Kuruluş genelindeki tüm veri uyumluluk ilkeleri, veri giriş bölgelerinde uyumluluğu zorunlu kılmak için yönetim grubu düzeyinde uygulanır.
Ağ topolojisi
Sanal WAN ağ topolojisi (merkez ve uç) kullanan giriş bölgelerine yönelik öneriler için bkz. Sanal WAN ağ topolojisi. Bu öneriler Bulut Benimseme Çerçevesi en iyi yöntemlerle uyumlu hale getirme.
Azure Synapse ağ topolojisi için bazı öneriler aşağıdadır:
Yönetilen Sanal Ağ aracılığıyla Azure Synapse kaynakları için ağ yalıtımı uygulayın. Yalnızca onaylanan hedeflere giden erişimi kısıtlayarak veri sızdırma koruması uygulayın.
Özel bağlantıyı yapılandırma:
- Yönetilen özel uç noktalar aracılığıyla Data Lake Storage, Key Vault ve Azure SQL gibi Azure hizmetleri.
- Şirket içinde barındırılan tümleştirme çalışma zamanı aracılığıyla ExpressRoute üzerinden şirket içi veri depoları ve uygulamalar. Şirket içinde barındırılan tümleştirme çalışma zamanını kullanamıyorsanız Spark kaynaklarını şirket içi veri depolarına bağlamak için özel Özel Bağlantı hizmetini kullanın.
- Synapse Studio, Bağlantı aboneliğinde dağıtılan özel bağlantı hub'ları aracılığıyla.
- Log Analytics çalışma alanı, Bir Bağlantı aboneliğinde dağıtılan Azure İzleyici Özel Bağlantı Kapsamı aracılığıyla.
Kimlik ve erişim yönetimi
Kuruluşlar genellikle operasyonel erişim için en az ayrıcalıklı bir yaklaşım kullanır. Erişim yönetimi için Microsoft Entra Id, Azure rol tabanlı erişim denetimi (RBAC) ve özel rol tanımları kullanır.
- Azure rolleri, Azure Synapse rolleri, SQL rolleri ve Git izinlerini kullanarak Azure Synapse'te ayrıntılı erişim denetimleri uygulayın. Azure Synapse çalışma alanı erişim denetimi hakkında daha fazla bilgi için bu genel bakışa bakın.
- Azure Synapse rolleri , farklı kapsamlarda uygulayabileceğiniz izin kümeleri sağlar. Bu ayrıntı düzeyi yöneticilere, geliştiricilere, güvenlik personeline ve işleçlere işlem kaynakları ve veriler için uygun erişimin verilmesini kolaylaştırır.
- İş rolleriyle uyumlu güvenlik gruplarını kullanarak erişim denetimini basitleştirebilirsiniz. Erişimi yönetmek için kullanıcıları uygun güvenlik gruplarına eklemeniz ve kaldırmanız yeterlidir.
- Kullanıcı tarafından atanan yönetilen kimlikleri kullanarak Azure Synapse ile Data Lake Storage ve Key Vault gibi diğer Azure hizmetleri arasında iletişim için güvenlik sağlayabilirsiniz. Bunun yapılması, kimlik bilgilerini yönetme gereksinimini ortadan kaldırır. Yönetilen kimlikler, uygulamaların Microsoft Entra kimlik doğrulamasını destekleyen kaynaklara bağlandığında kullanabilecekleri bir kimlik sağlar.
Uygulama otomasyonu ve DevOps
- Azure Synapse çalışma alanı için sürekli tümleştirme ve teslim, Git tümleştirmesi ve tüm varlıkların bir ortamdan (geliştirme, test, üretim) başka bir ortama yükseltilmesiyle sağlanır.
- Çalışma alanı kaynakları (havuzlar ve çalışma alanı) oluşturmak veya güncelleştirmek için Bicep / Azure Resource Manager şablonlarıyla otomasyon uygulayın. Azure Synapse Analytics çalışma alanı için sürekli tümleştirme ve teslim bölümünde açıklandığı gibi Azure DevOps veya GitHub'da Synapse Çalışma Alanı Dağıtım araçlarını kullanarak SQL betikleri ve not defterleri, Spark iş tanımları, işlem hatları, veri kümeleri ve diğer yapıtları geçirin.
Dikkat edilmesi gereken noktalar
Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanabileceğiniz bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve.
Güvenilirlik
Güvenilirlik, uygulamanızın müşterilerinize sağladığınız taahhütleri karşılayabilmesini sağlar. Daha fazla bilgi için bkz . Güvenilirlik sütununa genel bakış.
- Azure Synapse, Data Lake Storage ve Key Vault yerleşik yüksek kullanılabilirliğe ve dayanıklılığa sahip hizmet olarak platform (PaaS) hizmetleridir. Mimaride şirket içinde barındırılan tümleştirme çalışma zamanını ve NAT VM'lerini yüksek oranda kullanılabilir hale getirmek için yedekli düğümler kullanabilirsiniz.
- Hizmet düzeyi sözleşmesi (SLA) bilgileri için bkz . Azure Synapse Analytics için SLA.
- Azure Synapse için iş sürekliliği ve olağanüstü durum kurtarma önerileri için bkz . Azure Synapse Analytics için veritabanı geri yükleme noktaları.
Güvenlik
Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz . Güvenlik sütununa genel bakış.
- Bu güvenlik temeli , Azure Güvenlik Karşılaştırması 2.0'dan Azure Synapse ayrılmış SQL havuzlarına rehberlik uygular.
- Azure Synapse için Azure İlkesi güvenlik denetimleri hakkında bilgi için bkz. Azure İlkesi Azure Synapse Analytics için Mevzuat Uyumluluğu denetimleri.
- Azure Synapse çalışma alanına yönelik önemli yerleşik ilkeler için bkz. Azure Synapse Analytics için yerleşik tanımları Azure İlkesi.
Maliyet iyileştirme
Maliyet iyileştirmesi gereksiz giderleri azaltmak ve operasyonel verimlilikleri iyileştirmektir. Daha fazla bilgi için bkz . Maliyet iyileştirme sütununa genel bakış.
- Analiz kaynakları CPU, bellek ve GÇ'yi izleyen Veri Ambarı Birimleri (DWU) cinsinden ölçülür. Küçük DWU'larla başlamanızı ve yoğun veri yükleme veya dönüştürme gibi yoğun kaynak kullanan işlemler için performansı ölçmenizi öneririz. Bunu yapmak, iş yükünüzü iyileştirmek için kaç birim gerektiğini belirlemenize yardımcı olabilir.
- Önceden satın alınan Azure Synapse İşleme Birimlerini (SCU) kullanarak kullandıkça öde fiyatlarıyla tasarruf edin.
- Fiyatlandırma seçeneklerini keşfetmek ve Azure Synapse'i uygulama maliyetini tahmin etmek için bkz . Azure Synapse Analytics fiyatlandırması.
- Bu fiyatlandırma tahmini , sonraki bölümde açıklanan otomasyon adımlarını kullanarak hizmetleri dağıtma maliyetlerini içerir.
Bu senaryoyu dağıtın
Önkoşullar: Bir Azure hesabınız olmalıdır. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.
Bu senaryonun tüm kodları GitHub'daki Synapse Enterprise Codebase deposunda kullanılabilir.
Otomatik dağıtım, aşağıdaki bileşenleri dağıtmak için Bicep şablonlarını kullanır:
- Bir kaynak grubu
- Sanal ağ ve alt ağlar
- Özel uç noktalara sahip depolama katmanları (Bronz, Gümüş ve Altın)
- Yönetilen Sanal Ağ ile Azure Synapse çalışma alanı
- hizmet ve uç noktaları Özel Bağlantı
- Yük dengeleyici ve NAT VM'leri
- Şirket içinde barındırılan tümleştirme çalışma zamanı kaynağı
Dağıtımı düzenlemeye yönelik bir PowerShell betiği depoda kullanılabilir. PowerShell betiğini çalıştırabilir veya pipeline.yml dosyasını kullanarak Azure Devops'ta işlem hattı olarak dağıtabilirsiniz.
Bicep şablonları, dağıtım adımları ve varsayımlar hakkında daha fazla bilgi için benioku dosyasına bakın.
Katkıda Bulunanlar
Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.
Asıl yazarlar:
- Vidya Narasimhan | Ana Bulut Çözümü Mimarı
- Sabyasachi Samaddar | Üst Düzey Bulut Çözümü Mimarı
Diğer katkıda bulunan:
- Mick Alberts | Teknik Yazar
Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.
Sonraki adımlar
- Uçtan uca veri ve analiz platformu oluşturma hakkında bilgi için bkz . bulut ölçeğinde analiz kılavuzu.
- Büyük, karmaşık kuruluşlarda kurumsal veri platformları uygulamak için mimari bir desen olarak veri ağı keşfetme.
- Azure Synapse güvenlik teknik incelemesine bakın.
Bu makalede açıklanan hizmetler hakkında daha fazla bilgi için şu kaynaklara bakın: