Çözüm fikirleri
Bu makalede bir çözüm fikri açıklanmaktadır. Bulut mimarınız bu mimarinin tipik bir uygulaması için ana bileşenleri görselleştirmeye yardımcı olmak için bu kılavuzu kullanabilir. İş yükünüzün özel gereksinimlerine uygun iyi tasarlanmış bir çözüm tasarlamak için bu makaleyi başlangıç noktası olarak kullanın.
Bu makalede açıklanan çözüm, çeşitli kaynaklardan verileri almak, işlemek, depolamak, sunmak ve görselleştirmek için modern bir veri platformu oluşturmak için Azure Synapse Analytics'in nasıl kullanılacağını göstermektedir.
Mimari
Bu mimarinin bir Visio dosyasını indirin.
Veri akışı
Veriler çözümde aşağıdaki gibi akar:
Synapse işlem hatları kopyalama etkinlikleri dış ilişkisel veri ambarlarından ham yapılandırılmış verileri, günlükler, düz dosyalar ve xml gibi yarı yapılandırılmış verileri ve diğer kaynak sistemlerden alır. Bu alınan veriler daha sonra Azure Data Lake Storage 2. Nesil bir konumda depolanır. Şirket içinde barındırılan tümleştirme çalışma zamanını kullanarak, şirket içi ortamınızdaki bir veri deposu ile bulut arasındaki kopyalama etkinliklerini yönetebilir ve çalıştırabilirsiniz.
Azure Data Lake Storage 2. Nesil güvenli depolama sağlar.
Depolama Hesabı erişimini güvenilen Azure hizmetlerine sınırlamak için güvenlik duvarı kullanılması, dış saldırı güvenlik açığını sınırlamak için önerilir.
Azure Depolama hesaplarınız için özel uç noktalar, sanal ağdaki (VNet) istemcilerin bir Özel Bağlantı üzerinden verilere güvenli bir şekilde erişmesine olanak tanır. Özel uç nokta, depolama hesabı hizmeti için sanal ağ adres alanından bir IP adresi kullanır. Sanal ağdaki istemciler ile depolama hesabı arasındaki ağ trafiği, sanal ağ üzerinden ve Microsoft omurga ağındaki özel bir bağlantı üzerinden geçiş yaparak genel İnternet'e maruz kalma durumunu ortadan kaldırır.
Veriler, veri gölüne alındıktan sonra bekleme sırasında şifrelenir. Kendi müşteri tarafından yönetilen anahtarlarınızı kullanmak, şifreleme anahtarlarınızı daha fazla koruyabilir ve erişim denetimlerini yönetirken daha fazla esneklik sağlayabilir.
Veriler Synapse işlem hatları kullanılarak alınıp Synapse Spark havuzu ve Data Lake özellikleri kullanılarak aşamalı olarak işlenir. Veriler, aşamaya özgü Azure Data Lake Storage 2. Nesil dizinleri kullanılarak Azure Depolama hesabında depolanır. Bu aşamalar şunlardır:
Synapse işlem hatları başlangıçta kaynak sistemlerden veri alır. Bu alınan veriler, data lake'in Bronz dizini kullanılarak ham biçiminde depolanır.
Synapse Spark havuzu daha sonra ham verileri temizlemek için veri kalitesi kurallarını çalıştırır. Bu zenginleştirilmiş veriler daha sonra data lake'in Silver dizininde depolanır.
Temizleme işleminden sonra Spark havuzu, Silver dizinindeki verilere gerekli tüm normalleştirmeleri, veri dönüşümlerini ve iş kurallarını uygular. Dönüştürülen bu veriler daha sonra data lake'in Gold dizininde depolanır.
Synapse Apache Spark -Synapse SQL bağlayıcısı, aşağı akış uygulamaları ve Power BI gibi raporlama hizmetleri tarafından kullanılmak üzere normalleştirilmiş verileri Synapse SQL havuzuna gönderir. Bu bağlayıcı, sunucusuz Apache Spark havuzları ile Azure Synapse Analytics çalışma alanında SQL havuzları arasında en iyi şekilde veri aktarmak için tasarlanmıştır.
Power BI hizmeti, Synapse SQL havuzundan güvenli bir şekilde veri getirmek için DirectQuery modunu kullanır. Özel sanal ağ üzerindeki bir sanal makineye yüklenen veri ağ geçidi, güvenli bir şekilde bağlanmak için aynı sanal ağda Özel Uç Nokta kullanarak Power BI hizmeti ile Synapse SQL havuzu arasında bir bağlantı platformu işlevi görür.
Dış uygulamalar, sanal ağa bağlı uygun özel uç noktalara erişerek Synapse sunucusuz havuzlarından veya ayrılmış SQL havuzlarından verilere erişebilir.
Bu örnek çözüm birkaç Azure hizmetini ve özelliğini kullanır:
Azure Synapse Analytics , bu örnek çözümde veri alımı, işleme ve analiz sağlamak için kullanılan temel hizmettir.
Azure Data Lake Storage (2. Nesil), Azure Depolama hizmetlerinin üzerine kurulmuştur ve bu örnek çözümdeki diğer hizmetlerin verileri depolayıp işlerken kullandığı data lake özellikleri sağlar.
Synapse işlem hatları , özgün kaynaklardan data lake storage konumlarına veri kopyalar.
Azure Synapse Analytics'teki Apache Spark, kaynak konumlardan alınan veriler üzerinde diğer işleme görevlerini temizler, normalleştirir ve gerçekleştirir.
Ayrılmış SQL havuzu (eski adı SQL DW), işlendikten ve normalleştirildikten ve son kullanıcılarınız ve uygulamalarınız tarafından kullanıma hazır hale geldikten sonra veriler için veri ambarı özellikleri sağlar.
Sunucusuz SQL havuzu , kullanıcıların işlenen ve normalleştirilmiş verileri hızla sorgulamasına ve analiz etmesine olanak tanır.
Azure Synapse Yönetilen Sanal Ağ, Azure Synapse çalışma alanı için yalıtılmış bir yönetilen sanal ağ ortamı oluşturarak çalışma alanı kaynakları için ağ yapılandırmasını yönetme gereksinimini boşaltmaktadır.
Azure Synapse Yönetilen özel uç noktaları , Azure kaynaklarına özel bağlantılar oluşturur ve yalnızca Microsoft omurga ağını kullanarak Azure Synapse çalışma alanlarınızla diğer Azure kaynakları arasında trafiği yönlendirir.
Azure Sanal Ağ (VNet), Azure Synapse çalışma alanının parçası olmayan Azure kaynakları için özel ağ özellikleri sağlar. Kaynaklar arasındaki erişimi, güvenliği ve yönlendirmeyi yönetmenize olanak tanır.
Azure Özel Uç Noktası , çözümün sanal ağından Azure yönetilen hizmetlerine özel bir IP adresi sağlayarak bir hizmeti sanal ağa etkili bir şekilde bağlar. Bu, Azure Synapse çalışma alanı ile Azure Depolama, Azure Cosmos DB, Azure SQL Veritabanı veya kendi Azure Özel Bağlantı hizmetiniz gibi diğer Azure hizmetleri arasında güvenli ağ iletişimi sağlar.
Power BI , kullanıcıların çözümün işlenen verilerini kullanarak gelişmiş analiz gerçekleştirmesine ve içgörü paylaşmasına olanak tanır.
Bileşenler
Senaryo ayrıntıları
Azure Synapse Analytics, büyük kuruluşların karşılaştığı en yaygın veri zorluklarını işleyebilen modern bir veri platformu oluşturmanıza yardımcı olmak için veri tümleştirmesi, kurumsal veri ambarı ve büyük veri analizini bir araya getirir. Azure Sanal Ağ, Azure genel bulutunda ve yönetilen ağda kendi özel ağınızı oluşturmanıza ve Azure Özel Uç Noktası ise yönetilen bulut hizmetlerini bu özel ağlarla güvenli bir şekilde tümleştirmenize olanak tanır.
Olası kullanım örnekleri
Bu makalede açıklanan çözüm, kuruluşunuzun beklediği yüksek güvenlik standartlarını karşılarken yapılandırılmış ve yarı yapılandırılmış farklı kaynaklardan verileri alabilen, işleyebilen, depolayan, sunan ve görselleştirebilen modern bir veri platformu oluşturmak için bu teknolojilerin nasıl birleştirildiğini göstermektedir. Bu, aşağıdakiler gibi yaygın gereksinimleri desteklemeyi içerir:
Veri kaynaklarının güvenliğini sağlama. Şirket içi şirket ağı veya sanal ağ içindeki veri kaynaklarının güvenliği bir güvenlik duvarının arkasında sağlanır. Şirket içinde veya sanal ağlarda barındırılan bir kaynağa şirket içinde barındırılan tümleştirme çalışma zamanı yüklenerek bu kaynaklara güvenli bir şekilde erişilebilir.
Yönetilen kimlikleri kullanarak kimlik doğrulaması ve yetkilendirme. Azure hizmetleri arasındaki iletişim, Microsoft Entra kimlik doğrulamasını destekleyen kaynaklara bağlanırken uygulamaların kullanacağı bir kimlik sağlayan yönetilen kimlikler kullanılarak güvenli hale getirilebilir. Bu örnekte Azure Synapse, işlem hatlarını tümleştirmek için yönetilen kimliği kullanır.
Azure kaynaklarına özel bağlantı oluşturan özel uç noktalar. Azure Synapse, Synapse çalışma alanı içindeki hizmetler (Azure Depolama veya Azure Cosmos DB gibi) için tam olarak yönetilen özel uç nokta işlevselliği sağlar. Azure uygulamaları, Microsoft Power BI ve Azure Synapse hizmeti gibi diğer Azure kaynaklarının güvenliği, örnek çözümün sanal ağına tümleştirilmiş Özel Uç Noktalar kullanılarak sağlanır. Özel ağınız ile Synapse havuzları arasındaki ağ trafiği, trafiği Microsoft omurga ağı üzerinden taşımak için Özel Bağlantı kullanır ve genel İnternet'e maruz kalma durumunu ortadan kaldırır.
Aktarımdaki veriler şifreleniyor. Azure hizmetleriyle iletişim sırasında ortadaki adam saldırılarını önlemek ve uçtan uca güvenli özel veri hareketi sağlamak için tüm veri aktarımları TCP üzerinden güvenli kanal HTTPS ve TLS aracılığıyla gerçekleştiğinden aktarım sırasında veriler şifrelenir.
Bekleyen verileri şifreleme. Azure Synapse Analytics'te saydam veri şifrelemesi, Synapse çalışma alanında depolanan verilerinizin gerçek zamanlı şifrelemesini ve şifresini çözmeyi gerçekleştirerek kötü amaçlı etkinliklere karşı korumaya yardımcı olur. Azure Depolama, bekleyen bir depolama hesabındaki tüm verileri de şifreler. Varsayılan olarak, veriler Microsoft tarafından yönetilen anahtarlarla şifrelenir, ancak şifreleme üzerinde ek denetime ihtiyacınız varsa kendi anahtarlarınızı yönetebilirsiniz.
Bu senaryoyu dağıtın
Mevcut bir Azure hesabınız olmalıdır. Azure aboneliğiniz yoksa başlamadan önce ücretsiz bir hesap oluşturun.
Bu mimaride açıklanan bileşenleri dağıtmanız gereken Azure Resource Manager şablonları GitHub deposunda kullanılabilir. Bu şablonlar, mimari diyagramında gösterilen Power BI Data Gateway, şirket içinde barındırılan tümleştirme çalışma zamanı ve müşteri tarafından yönetilen anahtarlar için Azure Key Vault dışında tüm hizmetleri dağıtır.
Veri kaynaklarına bağlanmak için gereken data lake klasör yapısını ve Azure Synapse Analytics tümleştirme işlem hatlarını oluşturmak kullanıcıya aittir.
Bu düğmeye tıklayarak ARM şablonunu doğrudan dağıtın:
Katkıda Bulunanlar
Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.
Asıl yazar:
- Kiran Kalyanam | Kıdemli Yazılım Mühendisi
Sonraki adımlar
Bu yaklaşımı daha fazla geliştirmeyi öğrenmek için aşağıdaki öğreticileri tamamlayarak Azure Synapse Analytics'in temellerini öğrenin:
İlgili kaynaklar
Azure Synapse Analytics kullanarak çözümleri planlarken ve dağıtırken şu makalelere bakın:
Azure Synapse Analytics çalışma alanları için veri sızdırma koruması
Azure Depolama güvenlik duvarlarını ve sanal ağları yapılandırma
Azure Özel Bağlantı Merkezleri’ni kullanarak Azure Synapse Studio'ya bağlanma
Synapse çalışma alanınızdan güvenli bir Azure depolama hesabına bağlanma
Synapse SQL ile kimlik doğrulaması için Microsoft Entra kimlik doğrulamasını kullanma