Azure Cosmos DB için Azure Synapse Link nedir?

ŞUNLAR IÇIN GEÇERLIDIR: Nosql MongoDB Gremlin

Azure Cosmos DB için Azure Synapse Bağlantısı, Azure Cosmos DB'deki işletimsel veriler üzerinde neredeyse gerçek zamanlı analiz sağlayan bulutta yerel bir hibrit işlem ve analiz işleme (HTAP) özelliğidir. Azure Synapse Link, Azure Cosmos DB ile Azure Synapse Analytics arasında sıkı bir sorunsuz tümleştirme oluşturur.

Tamamen yalıtılmış bir sütun deposu olan Azure Cosmos DB analiz deposunu Azure Synapse Link kullanarak Azure Synapse Analytics'te büyük ölçekteki işletimsel verilerinize karşı Ayıklama-Dönüştürme-Yükleme (ETL) analizine olanak tanır. İş analistleri, veri mühendisleri ve veri bilimcileri artık gerçek zamanlıya yakın iş zekası, analiz ve makine öğrenmesi işlem hatlarını çalıştırmak için Synapse Spark veya Synapse SQL'i birbirinin yerine kullanabilir. Bunu yaparken Azure Cosmos DB'deki işlem tabanlı iş yüklerinizin performansı etkilemez.

Aşağıdaki görüntüde Azure Cosmos DB ve Azure Synapse Analytics ile Azure Synapse Bağlantısı tümleştirmesi gösterilmektedir:

Azure Cosmos DB ile Azure Synapse Analytics tümleştirmesi için mimari diyagramı

Büyük işletimsel veri kümelerini analiz etmek ve görev açısından kritik işlem iş yüklerinin performansı üzerindeki etkiyi en aza indirmek için, azure Cosmos DB'deki operasyonel veriler geleneksel olarak Extract-Transform-Load (ETL) işlem hatları tarafından ayıklanır ve işlenir. ETL işlem hatları, işlem karmaşıklığı ve işlem iş yükleriniz üzerinde performans etkisine neden olan birçok veri taşıma katmanı gerektirir. Ayrıca işletimsel verileri çıkış zamanından itibaren analiz etme gecikme süresini de artırır.

Geleneksel ETL tabanlı çözümlerle karşılaştırıldığında, Azure Cosmos DB için Azure Synapse Link aşağıdakiler gibi çeşitli avantajlar sunar:

Yönetecek ETL işi yok ile daha az karmaşıklık

Azure Synapse Link, karmaşık veri taşıma olmadan Azure Synapse Analytics kullanarak Azure Cosmos DB analiz deposuna doğrudan erişmenizi sağlar. İşletimsel verilerde yapılan tüm güncelleştirmeler, ETL veya değişiklik akışı işleri olmadan analiz deposunda neredeyse gerçek zamanlı olarak görünür. Azure Synapse Analytics'ten ek veri dönüşümü olmadan analiz deposunda büyük ölçekli analizler çalıştırabilirsiniz.

İşletimsel verilerinizle ilgili neredeyse gerçek zamanlı içgörüler

Artık Azure Synapse Link'i kullanarak operasyonel verileriniz hakkında neredeyse gerçek zamanlı olarak zengin içgörüler elde edebilirsiniz. ETL tabanlı sistemler, işletimsel verileri ayıklamak, dönüştürmek ve yüklemek için gereken birçok katman nedeniyle işletimsel verilerinizi analiz etmede daha yüksek gecikme süresine sahiptir. Azure Cosmos DB analiz deposunun Azure Synapse Analytics ile yerel tümleştirmesiyle, operasyonel verileri neredeyse gerçek zamanlı olarak analiz ederek yeni iş senaryolarını etkinleştirebilirsiniz.

İşletimsel iş yükleri üzerinde hiçbir etkisi yoktur

Azure Synapse Link ile verilerinizin sütun deposu gösterimi olan Azure Cosmos DB analiz deposunda analiz sorguları çalıştırabilir, işlem işlemleri ise Azure Cosmos DB satır tabanlı işlem deposu üzerinden işlem iş yükü için sağlanan aktarım hızı kullanılarak işlenir. Analiz iş yükü, işlemsel iş yükü trafiğinden bağımsızdır, operasyonel verilerinizin sağlanan aktarım hızının hiçbirini kullanmaz.

Büyük ölçekli analiz iş yükleri için iyileştirilmiş

Azure Cosmos DB analiz deposu, analiz iş yükleri için işlem çalışma zamanlarına hiçbir bağımlılık olmadan ölçeklenebilirlik, esneklik ve performans sağlayacak şekilde iyileştirilmiştir. Depolama teknolojisi, analiz iş yüklerinizi iyileştirmek için kendi kendine yönetilir. Azure Synapse Analytics'te yerleşik destek sayesinde bu depolama katmanına erişmek basitlik ve yüksek performans sağlar.

Uygun maliyetli

Azure Synapse Link ile operasyonel analiz için maliyet açısından iyileştirilmiş, tam olarak yönetilen bir çözüm elde edebilirsiniz. Operasyonel verileri analiz etmek için geleneksel ETL işlem hatlarında gereken ek depolama ve işlem katmanlarını ortadan kaldırır.

Azure Cosmos DB analiz deposu, veri depolama ve analiz okuma/yazma işlemlerini ve yürütülen sorguları temel alan tüketim tabanlı bir fiyatlandırma modelini izler. bugün işlem iş yükleri için yaptığınız gibi herhangi bir aktarım hızı sağlamanızı gerektirmez. Azure Synapse Analytics'ten son derece esnek işlem altyapılarıyla verilerinize erişmek, depolama ve işlem çalıştırmanın genel maliyetini çok verimli hale getirir.

Yerel olarak kullanılabilir, genel olarak dağıtılmış, çok bölgeli yazma işlemleri için analiz

Analiz sorgularını Azure Cosmos DB'deki verilerin en yakın bölgesel kopyasına karşı etkili bir şekilde çalıştırabilirsiniz. Azure Cosmos DB, küresel olarak dağıtılan analitik iş yüklerinin yanı sıra işlem iş yüklerini etkin-etkin bir şekilde çalıştırmak için en son teknoloji özelliği sağlar.

İşletimsel verileriniz için HTAP senaryolarını etkinleştirme

Synapse Link, Azure Cosmos DB analiz deposunu Azure Synapse Analytics çalışma zamanı desteğiyle bir araya getirir. Bu tümleştirme, büyük veri kümeleri üzerinden işletimsel verilerinizde gerçek zamanlı güncelleştirmeleri temel alan içgörüler oluşturan buluta özel HTAP (Hibrit işlem/analiz işleme) çözümleri oluşturmanıza olanak tanır. Canlı eğilimlere dayalı uyarılar oluşturmak, gerçek zamanlıya yakın panolar oluşturmak ve kullanıcı davranışlarına dayalı iş deneyimleri oluşturmak için yeni iş senaryolarının kilidini açar.

Azure Cosmos DB analiz deposu

Azure Cosmos DB analiz deposu, Azure Cosmos DB'deki işletimsel verilerinizin sütun odaklı bir gösterimidir. Bu analiz deposu, verileri kopyalamadan ve işlem iş yüklerinizin performansını etkilemeden büyük işletimsel veri kümelerindeki hızlı, uygun maliyetli sorgular için uygundur.

Analiz deposu, Azure Cosmos DB'nin tam olarak yönetilen bir özelliği ("otomatik eşitleme") olarak işlem iş yüklerinizdeki yüksek frekanslı eklemeleri, güncelleştirmeleri, silmeleri neredeyse gerçek zamanlı olarak otomatik olarak alır. Değişiklik akışı veya ETL gerekmez.

Genel olarak dağıtılmış bir Azure Cosmos DB hesabınız varsa, bir kapsayıcı için analiz deposunu etkinleştirdikten sonra bu hesap tüm bölgelerde kullanılabilir. Analiz deposu hakkında daha fazla bilgi için Bkz. Azure Cosmos DB Analiz deposuna genel bakış makalesi.

Synapse Link ile artık Azure Synapse Analytics'ten Azure Cosmos DB kapsayıcılarınıza doğrudan bağlanabilir ve ayrı bağlayıcılar olmadan analiz deposuna erişebilirsiniz. Azure Synapse Analytics şu anda Synapse Apache Spark ve sunucusuz SQL havuzu ile Synapse Link destekler.

Azure Cosmos DB analiz deposundaki verileri aynı anda sorgulayabilir ve Azure Synapse Analytics tarafından desteklenen farklı analiz çalışma zamanlarında birlikte çalışma yapabilirsiniz. İşletimsel verileri analiz etmek için ek veri dönüştürmeleri gerekmez. Analiz deposu verilerini şu şekilde sorgulayabilir ve analiz edebilirsiniz:

  • Scala, Python, SparkSQL ve C# için tam destek ile Synapse Apache Spark. Synapse Spark, veri mühendisliği ve veri bilimi senaryolarının merkezindedir

  • T-SQL diline sahip sunucusuz SQL havuzu ve tanıdık BI araçları (örneğin, Power BI Premium vb.) için destek

Not

Azure Synapse Analytics'ten Azure Cosmos DB kapsayıcınızdaki hem analiz hem de işlem depolarına erişebilirsiniz. Ancak, işletimsel verilerinizde büyük ölçekli analizler veya taramalar çalıştırmak istiyorsanız, işlem iş yükleri üzerinde performans etkisini önlemek için analiz deposunu kullanmanızı öneririz.

Not

Azure Cosmos DB kapsayıcınızı o bölgedeki Synapse çalışma zamanına bağlayarak azure bölgesinde düşük gecikme süresiyle analiz çalıştırabilirsiniz.

Bu tümleştirme, farklı kullanıcılar için aşağıdaki HTAP senaryolarını etkinleştirir:

  • Azure Cosmos DB'deki canlı işletim verilerine doğrudan Synapse SQL üzerinden erişmek için bir Power BI raporu modellemek ve yayımlamak isteyen bir BI Mühendisi.

  • Azure Cosmos DB kapsayıcısında synapse SQL ile sorgulayarak operasyonel verilerden içgörüler elde etmek isteyen bir Veri Analisti, verileri büyük ölçekte okuyun ve bu bulguları diğer veri kaynaklarıyla birleştirin.

  • Synapse Spark'ı kullanarak modellerini geliştirecek bir özellik bulmak ve karmaşık veri mühendisliği yapmadan bu modeli eğitmek isteyen bir Veri Bilimci. Ayrıca Spark Synapse aracılığıyla veriler üzerinde gerçek zamanlı puanlama için çıkarım sonrası modelin sonuçlarını Azure Cosmos DB'ye yazabilir.

  • Azure Cosmos DB kapsayıcıları üzerinde el ile ETL işlemleri olmadan SQL veya Spark tabloları oluşturarak verileri tüketiciler için erişilebilir hale getirmek isteyen bir Veri Mühendisi.

Azure Cosmos DB için Azure Synapse Analytics çalışma zamanı desteği hakkında daha fazla bilgi için bkz. Azure Cosmos DB için Azure Synapse Analytics desteği.

aşağıdaki durumlarda Synapse Link önerilir:

  • Azure Cosmos DB müşterisiyseniz ve operasyonel verileriniz üzerinde analiz, BI ve makine öğrenmesi çalıştırmak istiyorsanız. Bu gibi durumlarda Synapse Link, işlem mağazanızın sağlanan aktarım hızını etkilemeden daha tümleşik bir analiz deneyimi sağlar. Örnek:

    • Azure Cosmos DB işletimsel verilerinizde analiz veya BI çalıştırıyorsanız, bugün ayrı bağlayıcıları doğrudan kullanıyorsanız veya

    • İşletimsel verileri ayrı bir analiz sistemine ayıklamak için ETL işlemleri çalıştırıyorsanız.

Bu gibi durumlarda Synapse Link, işlem mağazanızın sağlanan aktarım hızını etkilemeden daha tümleşik bir analiz deneyimi sağlar.

Birden çok veri kaynağında yüksek eşzamanlılık, iş yükü yönetimi ve toplamların kalıcılığı gibi geleneksel veri ambarı gereksinimlerini arıyorsanız Synapse Link önerilmez. Daha fazla bilgi için bkz. Azure Cosmos DB için Azure Synapse Bağlantısı ile desteklenen yaygın senaryolar.

Sınırlamalar

  • Azure Cosmos DB için Azure Synapse Bağlantısı Cassandra ve Tablo API'leri için desteklenmez. NoSQL ve MongoDB için API için desteklenir. Ayrıca Gremlin API için önizleme aşamasındadır.

  • Ayrılmış AZURE SYNAPSE SQL Havuzu ile Azure Cosmos DB analiz deposuna erişim şu anda desteklenmemektedir.

  • Mevcut Azure Cosmos DB kapsayıcılarında Synapse Link etkinleştirilmesi yalnızca NoSQL hesapları için API için desteklenir. Synapse Link hem NoSQL için API hem de MongoDB hesapları için yeni kapsayıcılarda etkinleştirilebilir.

  • Analiz deposu verileri yedeklenmese de ve bu nedenle geri yüklenemez, ancak geri yüklenen kapsayıcıda Synapse Link yeniden oluşturarak analiz deponuzu yeniden oluşturabilirsiniz. Daha fazla bilgi için analiz deposu belgelerine bakın.

  • Şu anda Synapse Link sürekli yedekleme moduyla tam olarak uyumlu değildir. Daha fazla bilgi için analiz deposu belgelerine bakın.

  • Synapse'ten sorgu yapılırken Ayrıntılı Rol Tabanlı Erişim (RBAC) desteklenmez. Synapse çalışma alanınıza erişimi olan ve Azure Cosmos DB hesabına erişimi olan kullanıcılar bu hesaptaki tüm kapsayıcılara erişebilir. Şu anda kapsayıcılara daha ayrıntılı erişimi desteklemiyoruz.

  • Şu anda Azure Synapse Çalışma Alanları kullanan Managed Identitybağlı hizmetleri desteklememektedir. Her zaman seçeneğini kullanın MasterKey .

Güvenlik

Synapse Link, Azure Cosmos DB'deki görev açısından kritik verileriniz üzerinde neredeyse gerçek zamanlı analiz çalıştırmanızı sağlar. Kritik iş verilerinin hem işlem hem de analiz depolarında güvenli bir şekilde depolandığından emin olmak çok önemlidir. Azure Cosmos DB için Azure Synapse Bağlantısı, aşağıdaki özellikler aracılığıyla bu güvenlik gereksinimlerini karşılamaya yardımcı olmak üzere tasarlanmıştır:

  • Özel uç noktaları kullanarak ağ yalıtımı - İşlem ve analiz depolarındaki verilere ağ erişimini bağımsız olarak denetleyebilirsiniz. Ağ yalıtımı, Azure Synapse çalışma alanlarındaki yönetilen sanal ağlar içinde her depo için ayrı yönetilen özel uç noktalar kullanılarak gerçekleştirilir. Daha fazla bilgi edinmek için Analiz deposu için özel uç noktaları yapılandırma makalesine bakın.

  • Müşteri tarafından yönetilen anahtarlarla veri şifreleme - Aynı müşteri tarafından yönetilen anahtarları otomatik ve saydam bir şekilde kullanarak verileri işlem ve analiz depoları arasında sorunsuz bir şekilde şifreleyebilirsiniz. Azure Synapse Link yalnızca Azure Cosmos DB hesabınızın yönetilen kimliğini kullanarak müşteri tarafından yönetilen anahtarları yapılandırmayı destekler. Hesabınızda bağlantı Azure Synapse etkinleştirmeden önce Azure Key Vault erişim ilkenizde hesabınızın yönetilen kimliğini yapılandırmanız gerekir. Daha fazla bilgi edinmek için Azure Cosmos DB hesaplarının yönetilen kimliklerini kullanarak müşteri tarafından yönetilen anahtarları yapılandırma makalesine bakın.

  • Güvenli anahtar yönetimi - Synapse Spark ve Synapse sunucusuz SQL havuzlarından analiz deposundaki verilere erişmek için Synapse Analytics çalışma alanlarında Azure Cosmos DB anahtarlarının yönetilmesi gerekir. Azure Synapse Link, Spark işlerinde veya SQL betiklerinde Azure Cosmos DB hesap anahtarlarını satır içinde kullanmak yerine daha güvenli özellikler sağlar:

    • Synapse sunucusuz SQL havuzlarını kullanırken, hesap anahtarlarını depolayan SQL kimlik bilgilerini önceden oluşturup işlevde bunlara başvurarak Azure Cosmos DB analiz deposunu OPENROWSET sorgulayabilirsiniz. Daha fazla bilgi edinmek için Azure Synapse Bağlantısı'nda sunucusuz SQL havuzuyla sorgulama makalesine bakın.

    • Synapse Spark kullanırken hesap anahtarlarını bir Azure Cosmos DB veritabanına işaret eden bağlı hizmet nesnelerinde depolayabilir ve çalışma zamanında Spark yapılandırmasında buna başvurabilirsiniz. Daha fazla bilgi edinmek için Apache Spark kullanarak ayrılmış bir SQL havuzuna veri kopyalama makalesine bakın.

Fiyatlandırma

Azure Synapse Link'in faturalama modeli, Azure Cosmos DB analiz deposu ve Synapse çalışma zamanı kullanılarak tahakkuk eden maliyetleri içerir. Daha fazla bilgi edinmek için Azure Cosmos DB analiz deposu fiyatlandırması ve Azure Synapse Analytics fiyatlandırma makalelerine bakın.

Sonraki adımlar

Daha fazla bilgi edinmek için aşağıdaki belgelere bakın: