Düzenle

Aracılığıyla paylaş

Azure Synapse sunucusuz SQL havuzları ile mantıksal veri ambarı

Azure Cosmos DB
Azure Data Factory
Azure Data Lake
Azure Synapse Analytics
Power BI

Çözüm fikirleri

Bu makalede bir çözüm fikri açıklanmaktadır. Bulut mimarınız bu mimarinin tipik bir uygulaması için ana bileşenleri görselleştirmeye yardımcı olmak için bu kılavuzu kullanabilir. İş yükünüzün özel gereksinimlerine uygun iyi tasarlanmış bir çözüm tasarlamak için bu makaleyi başlangıç noktası olarak kullanın.

Mantıksal veri ambarı (LDW) deseni, bir veri gölünde veya veritabanında depolanan verilerin üzerine basit bir sanallaştırılmış ilişkisel katman koyar. Bu sanallaştırma katmanı, veri taşımaya gerek kalmadan veri ambarı erişimi sağlar. Bu çözüm, iş zekası (BI) ve analiz iş yüklerine hizmet vermenin düşük karmaşıklığı ve düşük gecikme süresine sahip bir yolu için çevrimiçi işlem işleme (OLTP) verilerini veri göllerindeki analiz verileriyle birleştirebilir.

Apache Spark™, Apache Software Foundation'ın Birleşik Devletler ve/veya diğer ülkelerde/bölgelerdeki ticari markasıdır. Bu işaretin kullanılması Apache Software Foundation tarafından onaylanmamaktadır.

Mimari

Adımlarda açıklandığı gibi soldan sağa veri akışını gösteren diyagram.

Bu makaledeki tüm diyagramların PowerPoint dosyasını indirin.

Veri akışı

  1. Azure Data Factory, kaynak sistemlerdeki verileri kurumsal veri gölüyle tümleştirir.

  2. Cihaz ve algılayıcı verileri, uç cihazlardan Azure IoT Hub aracılığıyla buluta da akışla aktarılır. Azure Stream Analytics verileri işler ve kurumsal veri gölüne gönderir.

  3. Azure Synapse sunucusuz SQL havuzları, Azure Synapse çalışma alanı sunucusuz SQL havuzu isteğe bağlı uç noktası üzerinden erişilebilen mantıksal tablolara ve görünümlere sahip bir LDW tanımlar.

  4. Azure Cosmos DB için Azure Synapse Link, Azure Synapse sunucusuz SQL havuzları aracılığıyla gerçek zamanlı işlem verilerini sorgular. Bu veriler, mantıksal görünümler oluşturmak için kurumsal veri gölünden soğuk toplu iş ve sık erişimli akış verileriyle birleşir.

  5. Raporlama, BI ve diğer analiz uygulamaları, Azure Synapse çalışma alanı sunucusuz SQL uç noktasını kullanarak LDW verilerine ve görünümlerine erişmektedir.

    Not

    Azure Synapse çalışma alanı sunucusuz SQL uç noktasına, SQL Server'a Tablosal Veri Akışı (TDS) bağlantılarını destekleyen tüm araçlardan veya hizmetlerden erişilebilir.

Bileşenler

  • Azure Synapse Analytics , veri tümleştirmesi, kurumsal veri ambarı ve büyük veri analizini bir araya getiren sınırsız bir analiz hizmetidir.
    • Azure Synapse sunucusuz SQL havuzları , T-SQL ve sunucusuz SQL isteğe bağlı uç noktalarını kullanarak veri göllerini sorgular.
    • Azure Cosmos DB için Azure Synapse Link, Azure Synapse sunucusuz SQL havuzlarını kullanarak Azure Cosmos DB OLTP verilerini sorgular.
  • Data Factory , bulut ölçeğinde veri tümleştirmesi ve veri akışı düzenlemesi sunar.
  • IoT Hub , nesnelerin interneti (IoT) uygulamaları ve cihazları arasında güvenli ve güvenilir iletişim sağlar.
  • Stream Analytics sunucusuz, gerçek zamanlı akış analizi işlem hatları sağlar.
  • Azure Data Lake Storage ölçeklenebilir, uygun maliyetli bulut depolama alanı sunar.
  • Azure Cosmos DB , modern uygulama geliştirme için tam olarak yönetilen bir NoSQL veritabanıdır.

Senaryo ayrıntıları

Azure Synapse sunucusuz SQL havuzları ile LDW kullanarak tek bir T-SQL sorgusunda veya görünüm tanımında soğuk toplu iş verilerini, sık erişimli akış verilerini ve canlı işlem verilerini birleştirebilirsiniz.

Bu çözüm karmaşık, pahalı ve gecikmeye açık ayıklama, dönüştürme ve yükleme (ETL) işlem hatlarında veri taşımayı önler. LDW kavramı data lakehouse'a benzer, ancak Azure Synapse Analytics ile LDW, karma işlem/analitik işleme (HTAP) desteği içerir. HTAP, Azure Cosmos DB'de depolanan OLTP verilerini sorgulamak için Azure Synapse sunucusuz SQL havuzlarını kullanır.

Azure Synapse Analytics LDW, tüm Azure Synapse çalışma alanlarında kullanılabilen sunucusuz SQL havuzlarını temel alır. OPENROWSET işlevinin gelişmiş bir sürümü sunucusuz SQL havuzlarının Data Lake Storage'daki verilere erişmesini sağlar.

Bu veri erişimi, tablolar ve görünümler gibi ilişkisel veritabanı nesnelerinin, ürünler, müşteriler ve satış işlemleri gibi mantıksal varlıkları temsil eden veri dosyası koleksiyonları üzerinden oluşturulmasına olanak tanır. Standart bir SQL Server uç noktası kullanarak bağlanan BI araçları, bu mantıksal varlıkları boyutlar ve olgu tabloları olarak kullanabilir.

Azure Synapse Analytics sunucusuz SQL havuzu ile LDW uygulamasının yanında LDW kavramsal tasarımının yan yana karşılaştırmasını gösteren diyagram.

Azure Cosmos DB için Azure Synapse Link aracılığıyla Azure Cosmos DB gibi işlemsel veri depolarına erişim olanağı bu özellikleri genişletir. HTAP mimarisini kullanarak OLTP verilerine erişmek, canlı işlemlere müdahale etmeden anında güncelleştirmeler sağlar.

Azure Synapse Analytics sunucusuz SQL havuzunu kullanarak dış verilerin raporlama katmanına akışını gösteren diyagram.

Her Azure Synapse çalışma alanı isteğe bağlı bir SQL uç noktası içerir. Uç nokta, SQL Server yöneticilerinin ve geliştiricilerinin, Azure Synapse sunucusuz SQL havuzlarının tanımlamış olduğu LDW'lerle çalışmak için tanıdık ortamları kullanmasına olanak tanır.

Aşağıdaki ekran görüntüsünde Azure Synapse sunucusuz SQL havuzuna bağlı SQL Server Management Studio (SSMS) gösterilmektedir.

Azure Synapse SQL Server uç noktasına bağlı SSMS'yi gösteren ekran görüntüsü.

Azure Synapse sunucusuz SQL havuzları aşağıdaki dosya biçimlerini destekler:

  • CSV, TSV ve TXT gibi sınırlandırılmış metin
  • JSON
  • Parquet

Azure Synapse sunucusuz SQL havuzları Delta Lake biçimini de destekler. Bu destek Spark'ta zenginleştirme gibi desenlere olanak tanır. Burada Azure Databricks veya Azure Synapse'teki Apache™ Spark havuzları gibi Apache Spark hizmetlerinin veri gölünde seçilmiş veri kümeleri oluşturması sağlanır. Bu veri kümelerini fiziksel veri ambarı içine yüklemek zorunda kalmak yerine, raporlama için model/hizmet katmanı sağlamak üzere veri gölü üzerinde bir LDW tanımlayabilirsiniz.

Azure Synapse Analytics sunucusuz SQL havuzu ile dış verilerin raporlama katmanına akışını gösteren diyagram.

Azure Synapse sunucusuz SQL havuzları içeren LDW, Data Lakehouse deseninin bir uygulamasıdır. LdW uygulamak için Databricks SQL kullanmak alternatif bir çözümdür. Ancak Databricks SQL, Cosmos DB için Azure Synapse Link'in HTAP özelliğinden yoksun.

Olası kullanım örnekleri

Bu desen aşağıdaki durumlar için kullanışlıdır:

  • BI ve diğer analitik kullanım örnekleri için katman sunan veri ambarı.
  • Veri gölündeki ham verilerin geçici olarak keşfi.
  • Veri yazmak için kendi işlem kaynaklarını gerektirmeyen bir veri gölüne uygun maliyetli veri akışı. Mantıksal veritabanı tablosu, görünümü veya geçici T-SQL sorgusu verilere veri gölünden anında erişebilir.
  • Gerçek zamanlı toplama işlem hatları oluşturmak veya veri gölünde depolanan analiz verileriyle birleştirmek için Azure Cosmos DB işlem verilerine anında erişim.

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazar:

Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.

Sonraki adımlar