Azure Data Factory ile dışarı aktarılan Dataverse verilerini alma

Makale
03/15/2023

Azure Synapse Link for Dataverse ile Microsoft Dataverse'ten Azure Data Lake Storage 2. Nesil'e veri aktardıktan sonra veri akışları oluşturmak, verilerinizi dönüştürmek ve analiz çalıştırmak için Azure Data Factory'yi kullanabilirsiniz.

Not

Azure Synapse Link for Dataverse, daha önce Data Lake'e dışarı aktar olarak biliniyordu. Hizmet Mayıs 2021'den itibaren geçerli olmak üzere yeniden adlandırılmıştır ve verileri Azure Data Lake'in yanı sıra Azure Synapse Analytics'e aktarmaya devam eder.

Bu makalede, aşağıdaki görevlerin nasıl yapılacağı açıklanmaktadır:

Data Factory veri akışında Dataverse verilerinin kaynak olarak kullanıldığı Data Lake Storage 2 .Nesil depolama hesabı ayarlama.
Data Factory'deki Dataverse verilerini veri akışıyla dönüştürün.
Data Factory veri akışında Dataverse verilerinin havuz olarak kullanıldığı Data Lake Storage 2 .Nesil depolama hesabı ayarlama.
Ardışık düzen oluşturarak veri akışınızı çalıştırma.

Ön koşullar

Bu bölümde, dışarı aktarılan Dataverse verilerini Data Factory ile almak için gerekli ön koşullar açıklanmaktadır.

Azure rolleri. Azure'da oturum açmak için kullanılan kullanıcı hesabı, katılımcı veya sahip rolü üyelerinden biri ya da Azure aboneliğinin yöneticisi olmalıdır. Abonelikte sahip olduğunuz izinleri görmek için Azure portalı'na gidin, sağ üst köşede kullanıcı adınızı seçin, ... simgesini seçin ve İzinlerim'i seçin. Birden çok aboneliğe erişiminiz varsa uygun olanı seçin. Veri kümeleri, bağlı hizmetler, ardışık düzenler, tetikleyiciler ve tümleştirme çalışma zamanı dahil olmak üzere Azure portalı'ndaki Data Factory için alt kaynakları oluştururken ve yönetirken kaynak grubu düzeyinde veya daha üst düzeyde Data Factory Katılımcısı rolüne ait olmanız gerekir.
Azure Synapse Link for Dataverse. Bu kılavuzda daha önce Azure Synapse Link for Dataverse kullanarak Dataverse verilerini aktardığınız varsayılmıştır. Bu örnekte, firma tablosu verileri veri gölüne aktarılır.
Azure Data Factory. Bu kılavuzda, dışarı aktarılan Dataverse verilerini içeren depolama hesabıyla aynı abonelik ve kaynak grubu altında zaten bir veri fabrikası oluşturmuş olduğunuz varsayılır.

Data Lake Storage 2. Nesil depolama hesabını kaynak olarak ayarlama

Azure Data Factory'yi açın ve dışarı aktarılan Dataverse verilerinizi içeren depolama hesabıyla aynı abonelik ve kaynak grubundaki veri fabrikasını seçin. Giriş sayfasından Veri akışı oluştur'u seçin.
Veri akışı hata ayıklaması modunu açın ve yayına gitmek için tecih ettiğiniz zamanı seçin. Bu işlem 10 dakika kadar sürebilir ancak aşağıdaki adımlara devam edebilirsiniz.
Kaynak Ekle'yi seçin.
Kaynak ayarları bölümünde aşağıdaki işlemleri gerçekleştirin:
- Çıkış akışı adı: İstediğiniz adı girin.
- Kaynak türü: Satır içi'ni seçin.
- Satır içi veri kümesi türü: Common Data Model'i seçin.
- Bağlı Hizmet: Açılır menüden depolama hesabını seçin ve ardından abonelik ayrıntılarınızı girip tüm varsayılan yapılandırmaları bırakarak yeni bir hizmet bağlayın.
- Örnekleme: Tüm verilerinizi kullanmak istiyorsanız Devre dışı bırak'ı seçin.
Kaynak seçenekleri bölümünde aşağıdaki işlemleri gerçekleştirin:
- Meta veri biçimi: Model.json'ı seçin.
- Kök konumu: İlk kutuya (Kapsayıcı) kapsayıcı adını girin veya kapsayıcı adına Göz atın ve Tamam'ı seçin.
- Varlık: Tablo adını girin veya tablo adına Göz atın.
Şemanızın başarıyla içeri aktarıldığından emin olmak için Projeksiyon sekmesini kontrol edin. Herhangi bir sütun görmüyorsanız Şema seçenekleri'ni seçin ve Kayan sütun türlerini belirle seçeneğini işaretleyin. Veri kümenizle eşleştirmek için biçimlendirme seçeneklerinizi yapılandırın, ardından Uygula'yı seçin.
Kaynak oluşturmanın tam ve doğru olduğundan emin olmak için verilerinizi Veri önizleme sekmesinden görüntüleyebilirsiniz.

Dataverse verilerinizi dönüştürme

Dışarı aktarılan Dataverse verilerini Azure Data Lake Storage 2. Nesil hesabında Data Factory veri akışındaki bir kaynak olarak ayarladıktan sonra verilerinizi dönüştürmenin pek çok olasılığı bulunur. Daha fazla bilgi: Azure Data Factory

Firma tablosunun gelir alanına göre her satır için bir sıralama oluşturmak üzere bu yönergeleri izleyin.

Önceki dönüşümün sol alt köşesindeki + işaretini seçip Derece'yi arayın ve seçin.
Derece ayarları sekmesinde, aşağıdakileri yapın:
- Çıkış akışı adı: İstediğiniz adı girin: ör. Derece1.
- Gelen Akış: İstediğiniz kaynak adını seçin. Bu durumda, önceki adımdaki kaynak adı.
- Seçenekler: Seçenekleri işaretlenmemiş olarak bırakın.
- Derece sütunu: Oluşturulan derece sütununun adını girin.
- Sıralama koşulları: Gelir sütununu seçin ve Azalan düzende sıralayın.
Verilerinizi, en sağda yeni revenueRank sütununu bulacağınız veri önizleme sekmesinde görüntüleyebilirsiniz.

Data Lake Storage 2. Nesil depolama hesabını havuz olarak ayarlama

Sonuç olarak, veri akışınız için bir havuz ayarlamanız gerekir. Dönüştürülmüş verilerinizi veri gölünde sınırlandırılmış metin dosyası olarak yerleştirmek için bu yönergeleri izleyin.

Önceki dönüşümün sol alt köşesindeki + işaretini seçip Havuz'u arayın ve seçin.
Havuz sekmesinde aşağıdakileri yapın:
- Çıkış akışı adı: İstediğiniz adı girin (ör. Sink1).
- Gelen akış: İstediğiniz kaynak adını seçin. Bu durumda, önceki adımdaki kaynak adı.
- Havuz türü: DelimitedText öğesini seçin.
- Bağlı hizmet: Azure Synapse Link for Dataverse hizmetini kullanarak dışarı aktardığınız verileri içeren Data Lake Storage 2. Nesil depolama kapsayıcısını seçin.
Ayarlar sekmesinde aşağıdakileri yapın:
- Klasör konumu: İlk kutuya (Dosya sistemi) kapsayıcı adını girin veya kapsayıcı adına Göz atın ve Tamam'ı seçin.
- Dosya adı seçeneği: Tek dosyaya çıkış'ı seçin.
- Tek dosyaya çıkış: Dosya adı girin: ör. ADFOutput
- Diğer tüm varsayılan ayarları bırakın.
En İyi Duruma Getir sekmesinde Bölüm seçeneği'ni Tek bölüm olarak ayarlayın.
Verilerinizi Veri önizleme sekmesinde görüntüleyebilirsiniz.

Veri akışınızı çalıştırma

Sol bölmede Fabrika Kaynakları bölümünde + öğesini, ardından Ardışık Düzen'i seçin.
Etkinlikler bölümünde Taşı ve Dönüştür'ü seçin, ardından Veri akışı'nı çalışma alanına taşıyın.
Mevcut veri akışını kullan'ı seçin, ardından önceki adımlarda oluşturduğunuz veri akışını seçin.
Komut çubuğundan Hata Ayıkla öğesini seçin.
En alt görünümde tamamlanmış olduğu gösterilene kadar veri akışının çalışmasını bekleyin. Bu işlem birkaç dakika sürebilir.
Son hedef depolama kapsayıcısına gidin ve dönüştürülmüş tablo veri dosyasını bulun.