Modern bir veri ambarı için alım desenleri tasarlama

  • 7 dakika

Veri alımı birkaç farklı şekilde gerçekleşebilir. Verileri almak için Azure Synapse Analytics'in birincil bileşeni, Azure Synapse Pipelines içinde Veri Kopyalama etkinliğini kullanmaktır. Bu etkinlik türü, arama işlemi veya bölünmüş veri etkinliği gibi diğer özelliklerle bir İşlem Hattı Yürütme etkinliğinde her zamanki gibi tutulur.

Alternatif olarak, verileri almak ve verileri ek dönüştürme etkinlikleri içinde kullanmak için kullanılan bir kaynak veritabanına işaret eden bir Veri Akışı bağlantı oluşturabilirsiniz.

Aşağıda her ikisinin de bir örneği gösterilmektedir.

Veri alma

  1. Tümleştirme hub'ını seçin.

    Navigating hubs in Azure Synapse Studio

  2. İşlem Hatları'nın kapsamını genişletin ve 1 Ana İşlem Hattı (1)'i seçin. İşlem hattına eklenebilen Etkinlikler'e (2) dikkat edin ve sağ tarafta işlem hattı tuvalini (3) gösterin.

    Viewing integration pipelines in Azure Synapse Studio

    Synapse çalışma alanımız, çeşitli kaynaklardan gelen veriler üzerinde veri taşıma ve dönüştürme adımlarını düzenlememizi sağlayan 16 işlem hattı içerir.

    Etkinlikler listesi, sağdaki işlem hattı tuvaline sürükleyip bırakabileceğiniz çok sayıda etkinlik içerir.

    Burada üç yürütme (alt) işlem hattımız olduğunu görüyoruz:

    Viewing a parent pipeline in Azure Synapse Studio

  3. Yürüt Tüm İşlem Hattını Özelleştir etkinliğini (1) seçin. Ayarlar (2) sekmesini seçin. Çağrılan işlem hattının Tümünü Özelleştir (3) olduğunu gösterin ve aç (4) seçeneğini belirleyin.

    Viewing pipeline settings in Azure Synapse Studio

    Gördüğünüz gibi beş alt işlem hattı vardır. Bu ilk yürütme işlem hattı etkinliği , Kampanya Analizi raporu için yeni Üretici kampanya verilerini temizler ve alır.

  4. Kampanya Analizi etkinliğini (1) seçin, Ayarlar sekmesini (2) seçin, çağrılan işlem hattının Tümünü Özelleştir (3) olarak ayarlandığını gözlemleyin ve ardından Aç (4) seçeneğini belirleyin.

    Viewing a second pipeline settings in Azure Synapse Studio

  5. Her etkinliğe tıklayarak işlem hattında temizleme ve alma işleminin nasıl gerçekleştiğini gözlemleyin.

    An example of a parent pipeline in Azure Synapse Studio

  6. Geliştirme hub'ını seçin.

    Navigating hubs in Azure Synapse Studio

  7. Veri akışları'nı genişletin, ardından ingest_data_from_sap_hana_to_azure_synapse veri akışını seçin.

    View a data pipeline in Azure Synapse Studio

    Daha önce belirtildiği gibi, veri akışları Apache Spark'ın gücünü kullanan güçlü veri dönüştürme iş akışlarıdır, ancak kodsuz GUI kullanılarak yazılır. Kullanıcı arabiriminde yaptığınız iş, herhangi bir kod yazmak veya kümeyi yönetmek zorunda kalmadan otomatik olarak yönetilen bir Spark kümesi tarafından yürütülen koda dönüştürülür.

    Veri akışı aşağıdaki işlevleri gerçekleştirir:

    • SAP HANA veri kaynağından verileri ayıklar (Verileri seçinfromSAPHANA adımı).
    • Yalnızca ShipDate değerinin 2014-01-01'den büyük olduğu bir upsert etkinliği için bu satırları alır (Last5YearsData adımını seçin).
    • Türetilmiş Sütun etkinliğini kullanarak kaynak sütunlarda veri türü dönüştürmeleri gerçekleştirir (DerivedColumn etkinliğini seçin).
    • Veri akışının en üst yolunda tüm sütunları seçip verileri AggregatedSales_SAPHANANew Synapse havuzu tablosuna yükleyeceğiz (Selectallcolumns etkinliğini ve LoadtoAzureSynapse etkinliğini seçin).
    • Veri akışının alt yolunda sütunların bir alt kümesini seçiyoruz (SelectRequiredColumns etkinliğini seçin).
    • Ardından sütunlardan dördüne göre gruplandırıyoruz (TotalSalesByYearMonthDay etkinliğini seçin) ve SalesAmount sütununda toplam ve ortalama toplamlar oluşturuyoruz (Toplamlar seçeneğini belirtin).
    • Son olarak, toplanan veriler AggregatedSales_SAPHANA Synapse havuz tablosuna yüklenir (LoadtoSynapse etkinliğini seçin).