Aracılığıyla paylaş

Öğretici: Veri ürünü toplu işlemini ayarlama

  • Makale

Bu öğreticide, zaten dağıtılmış olan veri ürün hizmetlerini ayarlamayı öğrenin. Verilerinizi tümleştirmek ve yönetmek için Azure Data Factory'yi ve veri varlıklarını keşfetmek, yönetmek ve yönetmek için Microsoft Purview'u kullanın.

Şunları nasıl yapacağınızı öğrenin:

  • Gerekli kaynakları oluşturma ve dağıtma
  • Rol atama ve erişim izinleri
  • Veri tümleştirmesi için kaynakları Bağlan

Bu öğretici, örnek veri ürünü kaynak grubunda dağıtılan <DMLZ-prefix>-dev-dp001 hizmetleri tanımanıza yardımcı olur. Azure hizmetleri arabiriminin birbirleriyle nasıl ve hangi güvenlik önlemlerinin yerinde olduğunu deneyimleyin.

Yeni bileşenleri dağıtırken Purview'un hizmet idaresini nasıl bağlayarak veri ortamınızın bütünsel, güncel bir haritasını oluşturacağını araştırma fırsatınız olur. Sonuç olarak otomatik veri bulma, hassas veri sınıflandırması ve uçtan uca veri kökeni elde edilir.

Önkoşullar

Veri ürünü toplu işleminizi ayarlamaya başlamadan önce şu önkoşulları karşıladığınızdan emin olun:

  • Azure aboneliği. Azure aboneliğiniz yoksa azure ücretsiz hesabınızı bugün oluşturun.

  • Azure aboneliği izinleri. Dağıtım için Purview ve Azure Synapse Analytics'i ayarlamak için Azure aboneliğinde Kullanıcı Erişimi Yönetici istrator rolüne veya Sahip rolüne sahip olmanız gerekir. Öğreticide hizmetler ve hizmet sorumluları için daha fazla rol ataması ayarlayacaksınız.

  • Dağıtılan kaynaklar. Öğreticiyi tamamlamak için bu kaynakların Azure aboneliğinizde zaten dağıtılması gerekir:

  • Microsoft Purview hesabı. Hesap, veri yönetimi giriş bölgesi dağıtımınızın bir parçası olarak oluşturulur.

  • Şirket içinde barındırılan tümleştirme çalışma zamanı. Çalışma zamanı, veri giriş bölgesi dağıtımınızın bir parçası olarak oluşturulur.

Not

Bu öğreticide yer tutucular, öğreticiye başlamadan önce dağıttığınız önkoşul kaynaklarına başvurur:

  • <DMLZ-prefix>, veri yönetimi giriş bölgesi dağıtımınızı oluştururken girdiğiniz ön eki ifade eder.
  • <DLZ-prefix>, veri giriş bölgesi dağıtımınızı oluştururken girdiğiniz ön eki ifade eder.
  • <DP-prefix>, veri ürünü toplu dağıtımınızı oluştururken girdiğiniz ön eki ifade eder.

Azure SQL Veritabanı örnekleri oluşturma

Bu öğreticiye başlamak için iki örnek SQL Veritabanı örneği oluşturun. Sonraki bölümlerde CRM ve ERP veri kaynaklarının benzetimini yapmak için veritabanlarını kullanacaksınız.

  1. Azure portalında, portal genel denetimlerinde Cloud Shell simgesini seçerek bir Azure Cloud Shell terminali açın. Terminal türü için Bash'i seçin.

    Azure portalında Cloud Shell simgesini gösteren ekran görüntüsü.

  2. Cloud Shell'de aşağıdaki betiği çalıştırın. Betik, kaynak grubunda yer alan <DLZ-prefix>-dev-dp001 kaynak grubunu ve <DP-prefix>-dev-sqlserver001 Azure SQL sunucusunu bulur. Ardından betik sunucuda iki SQL Veritabanı örneği <DP-prefix>-dev-sqlserver001 oluşturur. Veritabanları AdventureWorks örnek verileriyle önceden doldurulur. Veriler, bu öğreticide kullandığınız tabloları içerir.

    Parametre yer tutucu değerini kendi Azure abonelik kimliğiniz ile değiştirdiğinizden subscription emin olun.

    # Azure SQL Database instances setup
# Create the AdatumCRM and AdatumERP databases to simulate customer and sales data.

# Use the ID for the Azure subscription you used to deployed the data product.
az account set --subscription "<your-subscription-ID>"

# Get the resource group for the data product.
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, 'dp001')==\`true\`].name")

# Get the existing Azure SQL Database server name.
sqlServerName=$(az sql server list -g $resourceGroupName -o tsv  --query "[?contains(@.name, 'sqlserver001')==\`true\`].name")

# Create the first SQL Database instance, AdatumCRM, to create the customer's data source.
az sql db create --resource-group $resourceGroupName --server $sqlServerName --name AdatumCRM --service-objective Basic --sample-name AdventureWorksLT

# Create the second SQL Database instance, AdatumERP, to create the sales data source.
az sql db create --resource-group $resourceGroupName --server $sqlServerName --name AdatumERP --service-objective Basic --sample-name AdventureWorksLT

Betiğin çalışması tamamlandığında, <DP-prefix>-dev-sqlserver001 Azure SQL sunucusunda iki yeni SQL Veritabanı örneğiniz ve AdatumERPvardırAdatumCRM. Her iki veritabanı da Temel işlem katmanındadır. Veritabanları, veri ürünü toplu işlemini dağıtmak için kullandığınız kaynak grubunda bulunur <DLZ-prefix>-dev-dp001 .

Purview'u veri ürünü toplu işlemini kataloglaya ayarlama

Ardından, purview'u veri ürünü toplu işlemini kataloglayacak şekilde ayarlama adımlarını tamamlayın. Bir hizmet sorumlusu oluşturarak başlarsınız. Ardından gerekli kaynakları ayarlar, roller ve erişim izinleri atarsınız.

Hizmet sorumlusu oluşturma

  1. Azure portalında, portal genel denetimlerinde Cloud Shell simgesini seçerek bir Azure Cloud Shell terminali açın. Terminal türü için Bash'i seçin.

  2. Aşağıdaki betiği düzeltin:

    • subscriptionId Parametre yer tutucu değerini kendi Azure abonelik kimliğiniz ile değiştirin.
    • spname Parametre yer tutucu değerini hizmet sorumlunuz için kullanmak istediğiniz adla değiştirin. Hizmet asıl adı abonelikte benzersiz olmalıdır.

    Parametre değerlerini güncelleştirdikten sonra betiği Cloud Shell'de çalıştırın.

    # Replace the parameter values with the name you want to use for your service principal name and your Azure subscription ID.
spname="<your-service-principal-name>"
subscriptionId="<your-subscription-id>"

# Set the scope to the subscription.
scope="/subscriptions/$subscriptionId"

# Create the service principal.
az ad sp create-for-rbac \
  --name $spname \
  --role "Contributor" \
  --scope $scope

  3. Aşağıdaki örneğe benzer bir sonuç için JSON çıkışını denetleyin. Sonraki adımlarda kullanmak üzere çıkıştaki değerleri not edin veya kopyalayın.

    {
  "appId": "<your-app-id>",
  "displayName": "<service-principal-display-name>",
  "name": "<your-service-principal-name>",
  "password": "<your-service-principal-password>",
  "tenant": "<your-tenant>"
}

Hizmet sorumlusu erişimini ve izinlerini ayarlama

Önceki adımda oluşturulan JSON çıkışından aşağıdaki döndürülen değerleri alın:

  • Hizmet sorumlusu kimliği (appId)
  • Hizmet sorumlusu anahtarı (password)

Hizmet sorumlusu aşağıdaki izinlere sahip olmalıdır:

  • Depolama hesaplarında Blob Veri Okuyucusu rolünü Depolama.
  • SQL Veritabanı örnekleri üzerinde Veri Okuyucu izinleri.

Hizmet sorumlusunu gerekli rol ve izinlerle ayarlamak için aşağıdaki adımları tamamlayın.

Azure Depolama hesabı izinleri

  1. Azure portalında Azure Depolama hesabına gidin<DLZ-prefix>devraw. Kaynak menüsünde Erişim Denetimi (IAM) öğesini seçin.

    Erişim Denetimi'nin vurgulandığı depolama hesabı hizmet sorumlusu izinleri bölmesini gösteren ekran görüntüsü.

  2. Ekle>Rol ataması ekle’yi seçin.

    Rol atamasının nasıl ekleneceğini gösteren depolama hesabı hizmet sorumlusu Erişim Denetimi bölmesini gösteren ekran görüntüsü.

  3. Rol ataması ekle'nin Rol sekmesinde Blob Veri Okuyucusu'Depolama arayın ve seçin. Ardından İleri'yi seçin.

    Rol ataması ekle altında Depolama Blob Veri Okuyucusu arama işlemini gösteren ekran görüntüsü.

  4. Üyeler'de Üye seç'i seçin.

    Rol ataması ekle altında üyeleri seç bölmesini gösteren ekran görüntüsü.

  5. Üyeleri seçin bölümünde, oluşturduğunuz hizmet sorumlusunun adını arayın.

    Hizmet asıl adının nasıl arandığını gösteren ekran görüntüsü.

  6. Arama sonuçlarında hizmet sorumlusunu ve ardından Seç'i seçin.

    Hizmet asıl adı arandıktan sonra sonuçlar bölmesini gösteren ekran görüntüsü.

  7. Rol atamasını tamamlamak için Gözden geçir ve ata'yı iki kez seçin.

Kalan depolama hesapları için bu bölümdeki adımları yineleyin:

  • <DLZ-prefix>devencur
  • <DLZ-prefix>devwork

SQL Veritabanı izinleri

SQL Veritabanı izinlerini ayarlamak için sorgu düzenleyicisini kullanarak Azure SQL sanal makinesine bağlanırsınız. Tüm kaynaklar özel bir uç noktanın arkasında olduğundan, önce Bir Azure Bastion konak sanal makinesi kullanarak Azure portalında oturum açmanız gerekir.

Azure portalında, kaynak grubunda dağıtılan sanal makineye bağlanın <DMLZ-prefix>-dev-bastion . Bastion konak hizmetini kullanarak sanal makineye nasıl bağlanabileceğinizden emin değilseniz bkz. VM'ye Bağlan.

Hizmet sorumlusunu veritabanına kullanıcı olarak eklemek için önce kendinizi Microsoft Entra yöneticisi olarak eklemeniz gerekebilir. 1. ve 2. adımlarda kendinizi Microsoft Entra yöneticisi olarak eklersiniz. 3- 5. adımlarda, hizmet sorumlusuna bir veritabanı için izinler verirsiniz. Bastion ana bilgisayar sanal makinesinden portalda oturum açtığınızda, Azure portalında Azure SQL sanal makinelerini arayın.

  1. Azure SQL sanal makinesine <DP-prefix>-dev-sqlserver001 gidin. Ayarlar altındaki kaynak menüsünde Microsoft Entra ID'yi seçin.

    Azure SQL Veritabanı Server'daki Microsoft Entra bölmesini gösteren ekran görüntüsü.

  2. Komut çubuğunda Yönetici ayarla'yı seçin. Kendi hesabınızı arayın ve seçin. Seç'i seçin.

    Kullanıcıyı yönetici yapmak için bir hesabın nasıl arandığını gösteren ekran görüntüsü.

  3. Kaynak menüsünde SQL veritabanları'nıAdatumCRM ve ardından veritabanını seçin.

    AdatumCRM'nin vurgulandığı doğru veritabanı aramasını gösteren ekran görüntüsü.

  4. AdatumCRM kaynak menüsünde Sorgu düzenleyicisi (önizleme) öğesini seçin. Oturum açmak için Active Directory kimlik doğrulaması altında Farklı devam et düğmesini seçin.

    Active Directory kimlik doğrulamasını kullanarak sorgu düzenleyicisinde nasıl oturum açıldığını gösteren ekran görüntüsü.

  5. Sorgu düzenleyicisinde, aşağıdaki deyimleri değiştirerek <service principal name> oluşturduğunuz hizmet sorumlusunun adıyla değiştirin (örneğin, purview-service-principal). Ardından deyimlerini çalıştırın.

    
CREATE USER [<service principal name>] FROM EXTERNAL PROVIDER
GO

EXEC sp_addrolemember 'db_datareader', [<service principal name>]
GO

    Sorgu düzenleyicisinde deyimlerin nasıl yürütüldüğünü gösteren ekran görüntüsü.

Veritabanı için 3 ile 5 arasındaki AdatumERP adımları yineleyin.

Anahtar kasasını ayarlama

Purview, Azure Key Vault örneğinden hizmet sorumlusu anahtarını okur. Anahtar kasası, veri yönetimi giriş bölgesi dağıtımınızda oluşturulur. Anahtar kasasını ayarlamak için aşağıdaki adımlar gereklidir:

  1. Hizmet sorumlusu anahtarını anahtar kasasına gizli dizi olarak ekleyin.

  2. Anahtar kasasında Purview MSI Gizli Dizi Okuyucusu izinlerini verin.

  3. Anahtar kasasını Purview'a anahtar kasası bağlantısı olarak ekleyin.

  4. Purview'da anahtar kasası gizli dizisine işaret eden bir kimlik bilgisi oluşturun.

Anahtar kasasına gizli dizi ekleme izinleri ekleme

  1. Azure portalında Azure Key Vault hizmetine gidin. Anahtar kasasını <DMLZ-prefix>-dev-vault001 arayın.

    Erişim Denetimi Anahtar Kasası bölmesini gösteren ekran görüntüsü.

  2. Kaynak menüsünde Erişim denetimi (IAM) öğesini seçin. Komut çubuğunda Ekle'yi ve ardından Rol ataması ekle'yi seçin.

    Purview'da rol ataması eklemeyi gösteren ekran görüntüsü.

  3. Rol sekmesinde Key Vault Yönetici istrator'ı arayın ve seçin. İleri'yi seçin.

    Key Vault Yönetici istrator rolünün nasıl arandığını gösteren ekran görüntüsü.

  4. Üyeler'de, o anda oturum açmış olan hesabı eklemek için Üye seç'i seçin.

    Üyeleri seç düğmesinin vurgulandığını gösteren ekran görüntüsü.

  5. Üyeleri seçin bölümünde, şu anda oturum açmış olan hesabı arayın. Hesabı seçin ve ardından Seç'i seçin.

    Üye seçme arama kutusunu gösteren ekran görüntüsü.

  6. Rol atama işlemini tamamlamak için Gözden geçir ve ata'yı iki kez seçin.

Anahtar kasasına gizli dizi ekleme

Bastion konak sanal makinesinden Azure portalında oturum açmak için aşağıdaki adımları tamamlayın.

  1. <DMLZ-prefix>-dev-vault001 Anahtar kasası kaynak menüsünde Gizli Diziler'i seçin. Komut çubuğunda Oluştur/İçeri Aktar'ı seçerek yeni bir gizli dizi oluşturun.

    Anahtar kasası Oluştur/İçeri Aktar düğmesinin vurgulandığını gösteren ekran görüntüsü.

  2. Gizli dizi oluştur bölümünde aşağıdaki değerleri seçin veya girin:

    Ayar Eylem
    Karşıya yükleme seçenekleri El ile'yi seçin.
    Ad Hizmet sorumlusu-gizli dizi girin.
    Value Daha önce oluşturduğunuz hizmet sorumlusu parolasını girin.

    Anahtar kasası Gizli dizi oluştur bölmesini gösteren ekran görüntüsü.

    Not

    Bu adım, hizmet sorumlusu parola anahtarını kullanarak anahtar kasasında adlı service-principal-secret bir gizli dizi oluşturur. Purview, veri kaynaklarına bağlanmak ve bu kaynakları taramak için gizli diziyi kullanır. Yanlış bir parola girerseniz, aşağıdaki bölümleri tamamlayamazsınız.

  3. Oluştur'u belirleyin.

Anahtar kasasında Purview izinlerini ayarlama

Purview örneğinin anahtar kasasında depolanan gizli dizileri okuması için Purview'a anahtar kasasında ilgili izinleri atamanız gerekir. İzinleri ayarlamak için Purview Yönetilen Kimliğini anahtar kasası Gizli Dizi Okuyucusu rolüne eklersiniz.

  1. <DMLZ-prefix>-dev-vault001 Anahtar kasası kaynak menüsünde Erişim denetimi (IAM) öğesini seçin.

  2. Komut çubuğunda Ekle'yi ve ardından Rol ataması ekle'yi seçin.

    Rol ataması ekle düğmesinin vurgulandığı Erişim Denetimi bölmesini gösteren ekran görüntüsü.

  3. Rol'de Key Vault Gizli Dizileri Kullanıcısı'nda arama yapın ve seçin. İleri'yi seçin.

    Key Vault Gizli Kullanıcı bölmesini aramayı gösteren ekran görüntüsü.

  4. Üyeler'de Üye seç'i seçin.

    Üye seç düğmesinin vurgulandığı rol ataması ekle bölmesini gösteren ekran görüntüsü.

  5. Purview örneğini <DMLZ-prefix>-dev-purview001 arayın. İlgili hesabı eklemek için örneği seçin. Ardından Seç'i seçin.

    Purview örneği adının arama kutusunu gösteren ekran görüntüsü.

  6. Rol atama işlemini tamamlamak için Gözden geçir ve ata'yı iki kez seçin.

    Rol atamasını nasıl tamamlayacağınizi gösteren ekran görüntüsü.

Purview'da anahtar kasası bağlantısı ayarlama

Purview'a anahtar kasası bağlantısı kurmak için Azure Bastion ana bilgisayar sanal makinesi kullanarak Azure portalında oturum açmanız gerekir.

  1. Azure portalında Purview hesabına gidin <DMLZ-prefix>-dev-purview001 . Başlarken'in altında, Microsoft Purview İdare Portalı'nda Aç'ı seçin.

    Microsoft Purview hesabına genel bakışı gösteren ekran görüntüsü.

  2. Purview Studio'da Yönetim>Kimlik Bilgileri'ne tıklayın. Kimlik Bilgileri komut çubuğunda Key Vault bağlantılarını yönet'i ve ardından Yeni'yi seçin.

    Key Vault bağlantılarını yönet düğmesini gösteren ekran görüntüsü.

  3. Yeni anahtar kasası bağlantısı bölümünde aşağıdaki bilgileri seçin veya girin:

    Ayar Eylem
    Ad DMLZ-prefix-dev-vault001> girin<.
    Azure Aboneliği Anahtar kasasını barındıran aboneliği seçin.
    Anahtar Kasası Adı <DMLZ-prefix-dev-vault001> anahtar kasasını seçin.

    Yeni Key Vault bağlantıları bölmesini gösteren ekran görüntüsü.

  4. Oluştur'u belirleyin.

  5. Erişim izni verme işlemini onayla bölümünde Onayla'yı seçin.

Purview'da kimlik bilgisi oluşturma

Anahtar kasasını ayarlamanın son adımı Purview'da hizmet sorumlusu için anahtar kasasında oluşturduğunuz gizli diziye işaret eden bir kimlik bilgisi oluşturmaktır.

  1. Purview Studio'da Yönetim>Kimlik Bilgileri'ne tıklayın. Kimlik Bilgileri komut çubuğunda Yeni'yi seçin.

    Yeni Purview Kimlik Bilgileri bölmesini gösteren ekran görüntüsü.

  2. Yeni kimlik bilgileri'nde aşağıdaki bilgileri seçin veya girin:

    Ayar Eylem
    Ad purviewServicePrincipal girin.
    Kimlik doğrulama yöntemi Hizmet sorumlusu'mu seçin.
    Kiracı Kimliği Değer otomatik olarak doldurulur.
    Hizmet sorumlusu kimliği Hizmet sorumlusunun uygulama kimliğini veya istemci kimliğini girin.
    Key Vault bağlantısı Önceki bölümde oluşturduğunuz anahtar kasası bağlantısını seçin.
    Gizli dizi adı Anahtar kasasına gizli dizinin adını girin (service-principal-secret).

    Değerlerin vurgulandığı yeni kimlik bilgileri formunu gösteren ekran görüntüsü.

  3. Oluştur'u belirleyin.

Veri kaynaklarını kaydetme

Bu noktada Purview hizmet sorumlusuna bağlanabilir. Artık veri kaynaklarını kaydedebilir ve ayarlayabilirsiniz.

Azure Data Lake Storage 2. Nesil hesaplarını kaydetme

Aşağıdaki adımlarda bir Azure Data Lake Storage 2. Nesil depolama hesabı kaydetme işlemi özetlenmiştir.

  1. Purview Studio'da veri haritası simgesini seçin, Kaynaklar'ı ve ardından Kaydet'i seçin.

    Purview'da vurgulanan veri haritası düğmesini gösteren ekran görüntüsü.

  2. Kaynakları kaydet bölümünde Azure Data Lake Storage 2. Nesil'yi ve ardından Devam'ı seçin.

    Azure Data Lake Storage 2. Nesil kayıt kaynağını gösteren ekran görüntüsü.

  3. Kaynakları kaydet (Azure Data Lake Storage 2. Nesil) bölümünde aşağıdaki bilgileri seçin veya girin:

    Ayar Eylem
    Ad DLZ-prefix dldevraw girin<.>
    Azure Aboneliği Depolama hesabını barındıran aboneliği seçin.
    Depolama hesabı adı İlgili depolama hesabını seçin.
    Uç nokta Değer, seçilen depolama hesabına göre otomatik olarak doldurulur.
    Koleksiyon seçin Kök koleksiyonu seçin.

    Değerlerin vurgulandığı Azure Data Lake Storage 2. Nesil Kaydet bölmesini gösteren ekran görüntüsü.

  4. Veri kaynağını oluşturmak için Kaydet'i seçin.

Aşağıdaki depolama hesapları için bu adımları yineleyin:

  • <DMLZ-prefix>devencur
  • <DMLZ-prefix>devwork

SQL Veritabanı örneğini veri kaynağı olarak kaydetme

  1. Purview Studio'da Veri haritası simgesini seçin, Kaynaklar'ı ve ardından Kaydet'i seçin.

    Purview arabiriminde vurgulanmış veri haritası düğmesini gösteren ekran görüntüsü.

  2. Kaynakları kaydet bölümünde Azure SQL Veritabanı'yi ve ardından Devam'ı seçin.

    Azure SQL Veritabanı kayıt kaynağını gösteren ekran görüntüsü.

  3. Kaynakları kaydet (Azure SQL Veritabanı) bölümünde aşağıdaki bilgileri seçin veya girin:

    Ayar Eylem
    Ad SQLDatabase (Azure SQL Veritabanı örnekleri oluşturma bölümünde oluşturulan veritabanının adı) girin.
    Abonelik Veritabanını barındıran aboneliği seçin.
    Sunucu adı DP-prefix-dev-sqlserver001> girin<.

    Değerlerin vurgulandığı SQL Veritabanı kaydet formunu gösteren ekran görüntüsü.

  4. Kaydet'i seçin.

Taramaları ayarlama

Ardından, veri kaynakları için taramalar ayarlayın.

Data Lake Storage 2. Nesil veri kaynağını tarama

  1. Purview Studio'da veri haritasına gidin. Veri kaynağında Yeni tarama simgesini seçin.

    Yeni bir Data Lake Storage 2. Nesil taraması ayarlamayı gösteren ekran görüntüsü.

  2. Yeni tarama bölmesinde aşağıdaki bilgileri seçin veya girin:

    Ayar Eylem
    Ad Scan_<DLZ ön eki>devraw girin.
    Tümleştirme çalışma zamanı aracılığıyla Bağlan Veri giriş bölgesiyle dağıtılan şirket içinde barındırılan tümleştirme çalışma zamanını seçin.
    Kimlik bilgisi Purview için ayarladığınız hizmet sorumlusunu seçin.

    Girilen değerleri içeren tarama Data Lake Storage 2. Nesil kimlik bilgisi formunu gösteren ekran görüntüsü.

  3. Bağlantıyı test et'i seçerek bağlantıyı ve izinlerin yerinde olduğunu doğrulayın. Devam'ı seçin.

  4. Taramanızın kapsamını belirleyin bölümünde, taramanın kapsamı olarak depolama hesabının tamamını seçin ve ardından Devam'ı seçin.

    Depolama hesaplarının seçili olduğu Taramanızın kapsamını gösteren ekran görüntüsü.

  5. Tarama kuralı kümesi seçin bölümünde AdlsGen2'yi ve ardından Devam'ı seçin.

    Data Lake Storage 2. Nesil tarama kuralı kümesi seçimini gösteren ekran görüntüsü.

  6. Tarama tetikleyicisi ayarla bölümünde Bir kez'i ve ardından Devam'ı seçin.

    Bir tarama Tetikleyicisi ayarla bölmesinin Bir kez seçili olduğunu gösteren ekran görüntüsü.

  7. Taramanızı gözden geçirin bölümünde tarama ayarlarını gözden geçirin. Taramayı başlatmak için Kaydet ve Çalıştır'ı seçin.

    Taramanızı kaydedip çalıştırmadan önce gözden geçirmeyi gösteren ekran görüntüsü.

Aşağıdaki depolama hesapları için bu adımları yineleyin:

  • <DMLZ-prefix>devencur
  • <DMLZ-prefix>devwork

SQL Veritabanı veri kaynağını tarama

  1. Azure SQL Veritabanı veri kaynağında Yeni Tarama'yı seçin.

    Yeni bir SQL Veritabanı taraması oluşturmayı gösteren ekran görüntüsü.

  2. Yeni tarama bölmesinde aşağıdaki bilgileri seçin veya girin:

    Ayar Eylem
    Ad Scan_Database001 girin.
    Tümleştirme çalışma zamanı aracılığıyla Bağlan Purview-SHIR'yi seçin.
    Veritabanı adı Veritabanı adını seçin.
    Kimlik bilgisi Purview'da oluşturduğunuz anahtar kasası kimlik bilgilerini seçin.
    Köken ayıklama (önizleme) Kapalı’yı seçin.

    Değerlerin girilmiş olduğu tarama kimlik bilgisi formunu gösteren ekran görüntüsü.

  3. Bağlantıyı test et'i seçerek bağlantıyı ve izinlerin yerinde olduğunu doğrulayın. Devam'ı seçin.

  4. Taramanın kapsamını seçin. Veritabanının tamamını taramak için varsayılan değeri kullanın.

    Tarama kapsamının veritabanının tamamına nasıl ayarlandığını gösteren ekran görüntüsü.

  5. Tarama kuralı kümesi seçin bölümünde AzureSqlDatabase'i ve ardından Devam'ı seçin.

    SQL Veritabanı tarama kuralı kümesi seçimini gösteren ekran görüntüsü.

  6. Tarama tetikleyicisi ayarla bölümünde Bir kez'i ve ardından Devam'ı seçin.

    Bir kez seçiliyken çalıştırılacak tarama ayarlama bölmesini gösteren ekran görüntüsü.

  7. Taramanızı gözden geçirin bölümünde tarama ayarlarını gözden geçirin. Taramayı başlatmak için Kaydet ve Çalıştır'ı seçin.

Veritabanı için AdatumERP bu adımları yineleyin.

Purview artık kayıtlı veri kaynakları için veri idaresi için ayarlanmıştır.

SQL Veritabanı verileri Data Lake Storage 2. Nesil kopyalama

Aşağıdaki adımlarda Data Factory'de Veri Kopyalama aracını kullanarak tabloları SQL Veritabanı örneklerinden AdatumCRM ve AdatumERP Data Lake Storage 2. Nesil hesabındaki CSV dosyalarına <DLZ-prefix>devraw kopyalamak üzere bir işlem hattı oluşturursunuz.

Ortam genel erişime kilitlendiğinden, önce özel uç noktaları ayarlamanız gerekir. Özel uç noktaları kullanmak için yerel tarayıcınızda Azure portalında oturum açar ve ardından Bastion ana bilgisayar sanal makinesine bağlanarak gerekli Azure hizmetlerine erişirsiniz.

Özel uç nokta oluşturma

Gerekli kaynaklar için özel uç noktaları ayarlamak için:

  1. <DMLZ-prefix>-dev-bastion Kaynak grubunda öğesini seçin<DMLZ-prefix>-dev-vm001.

    Savunma konağı sanal makinesine bağlanmak için kaynak gruplarını gösteren ekran görüntüsü.

  2. Komut çubuğunda Bağlan'ı ve bastion'ı seçin.

    Savunma seçim bölmesine bağlanmayı gösteren ekran görüntüsü.

  3. Sanal makinenin kullanıcı adını ve parolasını girin ve Bağlan'ı seçin.

    Kullanıcı adı ve parola girişi bölmesini gösteren ekran görüntüsü.

  4. Sanal makinenin web tarayıcısında Azure portalına gidin. Kaynak grubuna <DLZ-prefix>-dev-shared-integration gidin ve veri fabrikasını <DLZ-prefix>-dev-integration-datafactory001 açın.

    Azure Data Factory'yi açmak için farklı bir kaynak grubuna nasıl gidildiğini gösteren ekran görüntüsü.

  5. Başlarken'in altındaki Open Azure Data Factory Studio bölümünde Aç'ı seçin.

    Azure Data Factory Studio'yu açmayı gösteren ekran görüntüsü.

  6. Data Factory Studio menüsünde Yönet simgesini seçin (simge üzerinde anahtar damgalı kare bir araç kutusu gibi görünür). Data Factory'yi diğer güvenli Azure hizmetlerine bağlamak için gereken özel uç noktaları oluşturmak için kaynak menüsünde Yönetilen özel uç noktalar'ı seçin.

    Özel uç noktalar için erişim isteklerinin onaylanması daha sonraki bir bölümde ele alınmalıdır. Özel uç nokta erişim isteklerini onayladıktan sonra, aşağıdaki depolama hesabı örneğinde <DLZ-prefix>devencur olduğu gibi onay durumları Onaylandı şeklindedir.

    Özel Uç Noktaları Yönet bölmesine nasıl gidileceğini gösteren ekran görüntüsü.

  7. Özel uç nokta bağlantılarını onaylamadan önce Yeni'yi seçin. Azure SQL sanal makinesi için yeni bir yönetilen özel uç nokta oluşturmak üzere kullandığınız Azure SQL Veritabanı bağlayıcısını <DP-prefix>-dev-sqlserver001 bulmak için Azure SQL girin. Sanal makine, daha önce oluşturduğunuz ve AdatumERP veritabanlarını içerirAdatumCRM.

  8. Yeni yönetilen özel uç nokta (Azure SQL Veritabanı) alanına Ad alanına data-product-dev-sqlserver001 girin. Kaynakları oluşturmak için kullandığınız Azure aboneliğini girin. Sunucu adı için, sonraki bölümlerde bu veri fabrikasından bağlanabilmek için öğesini seçin <DP-prefix>-dev-sqlserver001 .

    Yeni özel uç noktanın nasıl adlandırıldığını gösteren ekran görüntüsü.

Özel uç nokta erişim isteklerini onaylama

Data Factory'ye gerekli hizmetlerin özel uç noktalarına erişim vermek için birkaç seçeneğiniz vardır:

  • 1. Seçenek: Erişim istediğiniz her hizmette, Azure portalında hizmetin ağ veya özel uç nokta bağlantıları seçeneğine gidin ve özel uç noktaya erişim isteklerini onaylayın.

  • Seçenek 2: Gerekli özel uç noktalara yönelik tüm erişim isteklerini aynı anda onaylamak için Bash modunda Azure Cloud Shell'de aşağıdaki betikleri çalıştırın.

    
# Storage managed private endpoint approval

# devencur
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, '-dev-storage')==\`true\`].name")
storageAcctName=$(az storage account list -g $resourceGroupName -o tsv  --query "[?contains(@.name, 'devencur')==\`true\`].name")
endPointConnectionName=$(az network private-endpoint-connection list -g $resourceGroupName -n $storageAcctName --type Microsoft.Storage/storageAccounts -o tsv --query "[?contains(@.properties.privateLinkServiceConnectionState.status, 'Pending')==\`true\`].name")

az network private-endpoint-connection approve -g $resourceGroupName -n $endPointConnectionName --resource-name $storageAcctName --type Microsoft.Storage/storageAccounts --description "Approved"

# devraw
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, '-dev-storage')==\`true\`].name")
storageAcctName=$(az storage account list -g $resourceGroupName -o tsv  --query "[?contains(@.name, 'devraw')==\`true\`].name")
endPointConnectionName=$(az network private-endpoint-connection list -g $resourceGroupName -n $storageAcctName --type Microsoft.Storage/storageAccounts -o tsv --query "[?contains(@.properties.privateLinkServiceConnectionState.status, 'Pending')==\`true\`].name")
az network private-endpoint-connection approve -g $resourceGroupName -n $endPointConnectionName --resource-name $storageAcctName --type Microsoft.Storage/storageAccounts --description "Approved"

# SQL Database managed private endpoint approval
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, '-dev-dp001')==\`true\`].name")
sqlServerName=$(az sql server list -g $resourceGroupName -o tsv  --query "[?contains(@.name, 'sqlserver001')==\`true\`].name")
endPointConnectionName=$(az network private-endpoint-connection list -g $resourceGroupName -n $sqlServerName --type Microsoft.Sql/servers -o tsv --query "[?contains(@.properties.privateLinkServiceConnectionState.status, 'Pending')==\`true\`].name")
az network private-endpoint-connection approve -g $resourceGroupName -n $endPointConnectionName --resource-name $sqlServerName --type Microsoft.Sql/servers --description "Approved"

# Key Vault private endpoint approval
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, '-dev-metadata')==\`true\`].name")
keyVaultName=$(az keyvault list -g $resourceGroupName -o tsv  --query "[?contains(@.name, 'dev-vault001')==\`true\`].name")
endPointConnectionID=$(az network private-endpoint-connection list -g $resourceGroupName -n $keyVaultName --type Microsoft.Keyvault/vaults -o tsv --query "[?contains(@.properties.privateLinkServiceConnectionState.status, 'Pending')==\`true\`].id")
az network private-endpoint-connection approve -g $resourceGroupName --id $endPointConnectionID --resource-name $keyVaultName --type Microsoft.Keyvault/vaults --description "Approved"

# Purview private endpoint approval
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, 'dev-governance')==\`true\`].name")
purviewAcctName=$(az purview account list -g $resourceGroupName -o tsv  --query "[?contains(@.name, '-dev-purview001')==\`true\`].name")
for epn in $(az network private-endpoint-connection list -g $resourceGroupName -n $purviewAcctName --type Microsoft.Purview/accounts -o tsv --query "[?contains(@.properties.privateLinkServiceConnectionState.status, 'Pending')==\`true\`].name")
do
    az network private-endpoint-connection approve -g $resourceGroupName -n $epn --resource-name $purviewAcctName --type Microsoft.Purview/accounts --description "Approved"
done

Aşağıdaki örnekte depolama hesabının özel uç nokta erişim isteklerini nasıl <DLZ-prefix>devraw yönettiği gösterilmektedir. Depolama hesabının kaynak menüsünde Ağ'ı seçin. Komut çubuğunda Özel uç nokta bağlantıları'nı seçin.

Özel uç nokta bağlantıları bölmesine nasıl gidildiğini gösteren ekran görüntüsü.

Bazı Azure kaynakları için kaynak menüsünde Özel uç nokta bağlantıları'nı seçersiniz. Aşağıdaki ekran görüntüsünde Azure SQL sunucusu örneği gösterilmiştir.

Özel uç nokta erişim isteğini onaylamak için, Özel uç nokta bağlantılarında bekleyen erişim isteğini seçin ve ardından Onayla'yı seçin:

Özel uç nokta erişim isteğini onaylamayı gösteren ekran görüntüsü.

Gerekli her hizmette erişim isteğini onayladıktan sonra, isteğin Data Factory Studio'daki Yönetilen özel uç noktalarda Onaylandı olarak gösterilmesi birkaç dakika sürebilir. Komut çubuğunda Yenile'yi seçseniz bile, onay durumu birkaç dakika eski olabilir.

Gerekli hizmetler için tüm erişim isteklerini onaylamayı bitirdiğinizde Yönetilen özel uç noktalarda tüm hizmetler için Onay durumu değeri Onaylandı olur:

Özel uç nokta SQL bağlantılarını Onaylandı olarak gösteren ekran görüntüsü.

Rol atamaları

Özel uç nokta erişim isteklerini onaylamayı bitirdiğinizde Data Factory'nin şu kaynaklara erişmesi için uygun rol izinlerini ekleyin:

  • SQL Veritabanı örnekleri AdatumCRM ve AdatumERP<DP-prefix>-dev-sqlserver001 Azure SQL sunucusunda
  • Depolama hesapları <DLZ-prefix>devraw, <DLZ-prefix>devencurve<DLZ-prefix>devwork
  • Purview hesabı <DMLZ-prefix>-dev-purview001

Azure SQL sanal makinesi

  1. Rol atamaları eklemek için Azure SQL sanal makinesiyle başlayın. <DMLZ-prefix>-dev-dp001 Kaynak grubunda adresine <DP-prefix>-dev-sqlserver001gidin.

  2. Kaynak menüsünde Erişim denetimi (IAM) öğesini seçin. Komut çubuğunda Rol ataması ekle'yi>seçin.

  3. Rol sekmesinde Katkıda Bulunan'ı ve ardından İleri'yi seçin.

    Katkıda Bulunan rolü seçim bölmesini gösteren ekran görüntüsü.

  4. Üyeler'de Erişim ata bölümünde Yönetilen kimlik'i seçin. Üyeler için Üyeleri Seç'i seçin.

    Yönetilen Kimlik Üyeleri'ni seçme bölmesini gösteren ekran görüntüsü.

  5. Yönetilen kimlikleri seçin bölümünde Azure aboneliğinizi seçin. Yönetilen kimlik için Data Factory (V2) öğesini seçerek kullanılabilir veri fabrikalarını görün. Veri fabrikaları listesinde Azure Data Factory <DLZ-prefix-dev-integration-datafactory001> öğesini seçin. Seç'i seçin.

    Rol ataması tamamlama bölmesini gösteren ekran görüntüsü.

  6. İşlemi tamamlamak için Gözden Geçir + Ata'yı iki kez seçin.

Depolama hesapları

Ardından, gerekli rolleri , <DLZ-prefix>devencurve <DLZ-prefix>devwork depolama hesaplarına atayın<DLZ-prefix>devraw.

Rolleri atamak için Azure SQL sunucusu rol atamasını oluşturmak için kullandığınız adımları tamamlayın. Ancak rol için Katkıda Bulunan yerine Depolama Blob Veri Katkıda Bulunanı'nıseçin.

Üç depolama hesabı için de rol atadıktan sonra Data Factory depolama hesaplarına bağlanabilir ve bu hesaplara erişebilir.

Microsoft Purview

Rol atamaları eklemenin son adımı, Microsoft Purview'daki Purview Veri Küratör rolünü veri fabrikasının yönetilen kimlik hesabına eklemektir <DLZ-prefix>-dev-integration-datafactory001 . Data Factory'nin birden çok veri kaynağındaki veri kataloğu varlık bilgilerini Purview hesabına gönderebilmesi için aşağıdaki adımları tamamlayın.

  1. Kaynak grubunda <DMLZ-prefix>-dev-governancePurview hesabına gidin <DMLZ-prefix>-dev-purview001 .

  2. Purview Studio'da Veri haritası simgesini ve ardından Koleksiyonlar'ı seçin.

  3. Koleksiyon için Rol atamaları sekmesini seçin. Veri küratörleri'nin altında için <DLZ-prefix>-dev-integration-datafactory001yönetilen kimliği ekleyin:

    Purview rol atamanıza veri küratörlerinin nasıl ekleneceğini gösteren ekran görüntüsü.

Data Factory'yi Purview'a Bağlan

İzinler ayarlanır ve Purview artık veri fabrikasını görebilir. Sonraki adım, <DMLZ-prefix>-dev-purview001 öğesine bağlanabilmektir <DLZ-prefix>-dev-integration-datafactory001.

  1. Purview Studio'da Yönetim simgesini ve ardından Data Factory'yi seçin. Data Factory bağlantısı oluşturmak için Yeni'yi seçin.

  2. Yeni Data Factory bağlantıları bölmesinde Azure aboneliğinizi girin ve veri fabrikasını <DLZ-prefix>-dev-integration-datafactory001 seçin. Tamam'ı seçin.

    Yeni bir bağlantı seçerken Purview Studio bölmesinin nasıl göründüğünü gösteren ekran görüntüsü.

  3. Data Factory Studio örneğinde<DLZ-prefix>-dev-integration-datafactory001, Azure Purview'ı Yönet'in>altında Azure Purview hesabını yenileyin.

    Tümleştirme Data Lineage - Pipeline artık yeşil Bağlan simgesini gösterir.

    Veri kökeni işlem hattının bağlı olduğu Azure Data Factory Purview hesap bölmesini gösteren ekran görüntüsü.

ETL işlem hattı oluşturma

artık gerekli erişim izinlerine sahip olduğuna göre<DLZ-prefix>-dev-integration-datafactory001, verileri SQL Veritabanı örneklerden ham depolama hesabına taşımak için <DLZ-prefix>devraw Data Factory'de bir kopyalama etkinliği oluşturun.

AdatumCRM ile Veri Kopyalama aracını kullanma

Bu işlem, müşteri verilerini SQL Veritabanı örneğinden AdatumCRM ayıklar ve Data Lake Storage 2. Nesil depolama alanına kopyalar.

  1. Data Factory Studio'da Yazar simgesini ve ardından Fabrika Kaynakları'nı seçin. Artı işaretini (+) seçin ve Veri Kopyala aracını seçin.

    Fabrika kaynaklarının altındaki Veri Kopyalama aracını gösteren ekran görüntüsü.

    Veri Kopyalama aracı sihirbazındaki her adımı tamamlayın:

    1. İşlem hattını 24 saatte bir çalıştıracak bir tetikleyici oluşturmak için Zamanla'yı seçin.

      CRM'de düzenli aralıklarla çalışacak bir Tetikleyici zamanlama işlemini gösteren ekran görüntüsü.

    2. Bu veri fabrikasını sunucudaki <DP-prefix>-dev-sqlserver001 (kaynak) SQL Veritabanı örneğe bağlamak üzere bağlı bir hizmet oluşturmak için AdatumCRM Yeni Bağlan ion'ı seçin.

      AdatumCRM veritabanına bağlanmayı gösteren ekran görüntüsü.

      Not

      SQL Veritabanı örneklerindeki veya depolama hesaplarındaki verilere bağlanırken veya verilere erişirken hatalarla karşılaşırsanız Azure aboneliğindeki izinlerinizi gözden geçirin. Veri fabrikasının sorunlu kaynaklar için gerekli kimlik bilgilerine ve erişim izinlerine sahip olduğundan emin olun.

    3. Şu üç tabloyu seçin:

      • SalesLT.Address
      • SalesLT.Customer
      • SalesLT.CustomerAddress

      Tabloların vurgulandığı tabloları seçme bölmesini gösteren ekran görüntüsü.

    4. Azure Data Lake Storage 2. Nesil depolama alanına <DLZ-prefix>devraw (hedef) erişmek için yeni bir bağlı hizmet oluşturun.

      Ham depolama bağlantısını gösteren ekran görüntüsü.

    5. Depolamadaki klasörlere <DLZ-prefix>devraw göz atın ve hedef olarak Veri'yi seçin.

      Hedefi ham veri olarak gösteren ekran görüntüsü.

    6. Dosya adı sonekini .csv olarak değiştirin ve diğer varsayılan seçenekleri kullanın.

      CSV girilmiş dosya adı soneki alanını gösteren ekran görüntüsü.

    7. Sonraki bölmeye gidin ve Dosyaya üst bilgi ekle'yi seçin.

      Dosyaya üst bilgi eklemeyi gösteren ekran görüntüsü.

    8. Sihirbazı tamamladığınızda Dağıtım tamamlandı bölmesi şu örneğe benzer şekilde görünür:

      Veri Kopyalama aracı dağıtımının tamamlandığını gösteren ekran görüntüsü.

Yeni işlem hattı İşlem Hatları'nda listelenir.

İşlem hattını çalıştırma

Bu işlem Data\CRM klasöründe veritabanındaki seçili tabloların AdatumCRM her biri için bir tane olacak şekilde üç .csv dosyası oluşturur.

  1. İşlem hattını CopyPipeline_CRM_to_Rawyeniden adlandırın.

  2. ve veri kümelerini CRM_Raw_StorageCRM_DByeniden adlandırın.

  3. Fabrika Kaynakları komut çubuğunda Tümünü yayımla'yı seçin.

  4. CopyPipeline_CRM_to_Raw İşlem hattını seçin ve işlem hattı komut çubuğunda Tetikleyici'yi seçerek üç tabloyu SQL Veritabanı Data Lake Storage 2. Nesil kopyalayın.

    tetikleyici aracını kullanarak SQL Veritabanı'dan Data Lake Storage 2. Nesil'e veri kopyalamayı gösteren ekran görüntüsü.

AdatumERP ile Veri Kopyalama aracını kullanma

Ardından, veritabanındaki verileri ayıklayın AdatumERP . Veriler ERP sisteminden gelen satış verilerini temsil eder.

  1. Yine Data Factory Studio'da Veri Kopyalama aracını kullanarak yeni bir işlem hattı oluşturun. Bu kez satış verilerini, CRM verileriyle AdatumERP<DLZ-prefix>devraw yaptığınız gibi depolama hesabı veri klasörüne gönderiyorsunuz. Aynı adımları tamamlayın, ancak veritabanını kaynak olarak kullanın AdatumERP .

    1. Saatte bir tetikleme zamanlamasını oluşturun.

    2. SQL Veritabanı örneğine AdatumERP bağlı bir hizmet oluşturun.

      Adatum ERP bağlantı bölmesinin tamamlandığını gösteren ekran görüntüsü.

    3. Şu yedi tabloyu seçin:

      • SalesLT.Product
      • SalesLT.ProductCategory
      • SalesLT.ProductDescription
      • SalesLT.ProductModel
      • SalesLT.ProductModelProductDescription
      • SalesLT.SalesOrderDetail
      • SalesLT.SalesOrderHeader

      Adatum ERP Tablosu seçeneklerini gösteren ekran görüntüsü.

    4. Depolama hesabına bağlı mevcut hizmeti <DLZ-prefix>devraw kullanın ve dosya uzantısını .csv olarak ayarlayın.

      Dosya uzantısı CSV olarak ayarlanmış ham depolama hesabını gösteren ekran görüntüsü.

    5. Dosyaya üst bilgi ekle'yi seçin.

      Dosya biçimi ayarları altında bir dosyaya üst bilgi eklemeyi gösteren ekran görüntüsü.

    6. Sihirbazı yeniden tamamlayın ve işlem hattını CopyPipeline_ERP_to_DevRawyeniden adlandırın. Ardından komut çubuğunda Tümünü yayımla'yı seçin. Son olarak, yeni oluşturulan bu işlem hattında tetikleyiciyi çalıştırarak seçilen yedi tabloyu SQL Veritabanı Data Lake Storage 2. Nesil kopyalayın.

Bu adımları tamamladığınızda, Data Lake Storage 2. Nesil depolama alanında <DLZ-prefix>devraw 10 CSV dosyası bulunur. Sonraki bölümde, dosyaları Data Lake Storage 2. Nesil depolama alanında <DLZ-prefix>devencur sıralaacaksınız.

Data Lake Storage 2. Nesil verileri seçme

Ham <DLZ-prefix>devraw Data Lake Storage 2. Nesil depolama alanında 10 CSV dosyası oluşturmayı bitirdiğinizde, bu dosyaları seçilen <DLZ-prefix>devencur Data Lake Storage 2. Nesil depolama alanına kopyalarken gerektiği gibi dönüştürün.

Veri taşımayı düzenlemeye yönelik bu yeni işlem hatlarını oluşturmak için Azure Data Factory'yi kullanmaya devam edin.

CRM'yi müşteri verilerine göre seçme

içindeki Data\CRM klasöründeki <DLZ-prefix>devrawCSV dosyalarını alan bir veri akışı oluşturun. Dosyaları dönüştürün ve dönüştürülen dosyaları .parquet dosya biçiminde içindeki <DLZ-prefix>devencurData\Customer klasörüne kopyalayın.

  1. Azure Data Factory'de veri fabrikasına gidin ve Orchestrate'ı seçin.

    Azure Data Factory'de Orchestrate düğmesini gösteren ekran görüntüsü.

  2. Genel'de işlem hattını Pipeline_transform_CRMolarak adlandırın.

  3. Etkinlikler bölmesinde Taşı ve Dönüştür'ü genişletin. Veri akışı etkinliğini sürükleyin ve işlem hattı tuvalinde bırakın.

    Etkinlikler bölmesini ve Taşı ve dönüştür'ü vurgulanmış olarak gösteren ekran görüntüsü.

  4. Veri Akışı ekleme bölümünde Yeni veri akışı oluştur'u seçin ve veri akışını CRM_to_Customeradlandırın. Bitir'iseçin.

    Not

    İşlem hattı tuvalinin komut çubuğunda Veri akışı hata ayıklamasını açın. Hata ayıklama modunda, dinamik bir Apache Spark kümesinde dönüştürme mantığını etkileşimli olarak test edebilirsiniz. Veri akışı kümelerinin ısınması 5-7 dakika sürer. Veri akışı geliştirmeye başlamadan önce hata ayıklamayı açmanızı öneririz.

    Veri Akışı Aç düğmesini gösteren ekran görüntüsü.

    Veri akışındaki CRM_to_Customer seçenekleri belirtmeyi bitirdiğinizde işlem Pipeline_transform_CRM hattı şu örneğe benzer şekilde görünür:

    CRM'de işlem hattı dönüşümünü gösteren ekran görüntüsü.

    Veri akışı şu örneğe benzer:

    CRM'nin Müşteriden Müşteriye veri akışını gösteren ekran görüntüsü.

  5. Ardından, kaynak için CRMAddress veri akışında şu ayarları değiştirin:

    1. Data Lake Storage 2. Nesil'dan yeni bir veri kümesi oluşturun. DelimitedText biçimini kullanın. Veri kümesini DevRaw_CRM_Addressadlandırın.

    2. Bağlı hizmeti olarak <DLZ-prefix>devrawBağlan.

    3. Data\CRM\SalesLTAddress.csv Kaynak olarak dosyayı seçin.

  6. Eşleştirilmiş CustAddress havuz için veri akışındaki şu ayarları değiştirin:

    1. adlı DevEncur_Cust_Addressyeni bir veri kümesi oluşturun.

    2. Havuz olarak içindeki <DLZ-prefix>devencur Data\Customer klasörünü seçin.

    3. Ayarlar\Çıktı'nın altında, dosyayı Address.parquet dosyasına dönüştürün.

Veri akışı yapılandırmasının geri kalanı için her bileşen için aşağıdaki tablolardaki bilgileri kullanın. ve CustAddress değerlerinin ilk iki satır olduğunu CRMAddress unutmayın. Bunları diğer nesneler için örnek olarak kullanın.

Aşağıdaki tablolardan birinde olmayan bir öğe şema değiştiricidir RemovePasswords . Yukarıdaki ekran görüntüsü, bu öğenin ile CustCustomerarasında CRMCustomer gittiğini gösterir. Bu şema değiştiriciyi eklemek için Ayarları seçin'e gidin ve PasswordHash ve PasswordSalt'i kaldırın.

CRMCustomer .crv dosyasından 15 sütunlu bir şema döndürür. CustCustomer şema değiştiricisi iki parola sütununu kaldırdıktan sonra yalnızca 13 sütun yazar.

Tam tablo

Veri Akışı Adı Object type Veri kümesi adı Veri deposu Biçim türü Bağlı hizmet Dosya veya klasör
CRMAddress kaynak DevRaw_CRM_Address Azure Data Lake Storage 2. Nesil Sınırlandırılmış Metin devraw Data\CRM\SalesLTAddress.csv
CustAddress Lavabo DevEncur_Cust_Address Azure Data Lake Storage 2. Nesil Parquet devencur Data\Customer\Address.parquet
CRMCustomer kaynak DevRaw_CRM_Customer Azure Data Lake Storage 2. Nesil Sınırlandırılmış Metin devraw Data\CRM\SalesLTCustomer.csv
CustCustomer Lavabo DevEncur_Cust_Customer Azure Data Lake Storage 2. Nesil Parquet devencur Data\Customer\Customer.parquet
CRMCustomerAddress kaynak DevRaw_CRM_CustomerAddress Azure Data Lake Storage 2. Nesil Sınırlandırılmış Metin devraw Data\CRM\SalesLTCustomerAddress.csv
CustCustomerAddress Lavabo DevEncur_Cust_CustomerAddress Azure Data Lake Storage 2. Nesil Parquet devencur Data\Customer\CustomerAddress.parquet

ERP to Sales tablosu

Şimdi işlem hattı oluşturmakPipeline_transform_ERP, içindeki Data\ERP klasöründeki <DLZ-prefix>devraw.csv dosyalarını dönüştürmek için bir ERP_to_Sales veri akışı oluşturmak ve dönüştürülen dosyaları içindeki <DLZ-prefix>devencurData\Sales klasörüne kopyalamak için benzer adımları yineleyin.

Aşağıdaki tabloda, veri akışında ERP_to_Sales oluşturulacak nesneleri ve her nesne için değiştirmeniz gereken ayarları bulacaksınız. Her .csv dosyası bir .parquet havuzuna eşlenir.

Veri Akışı Adı Object type Veri kümesi adı Veri deposu Biçim türü Bağlı hizmet Dosya veya klasör
ERPProduct kaynak DevRaw_ERP_Product Azure Data Lake Storage 2. Nesil Sınırlandırılmış Metin devraw Data\ERP\SalesLTProduct.csv
SalesProduct Lavabo DevEncur_Sales_Product Azure Data Lake Storage 2. Nesil Parquet devencur Data\Sales\Product.parquet
ERPProductCategory kaynak DevRaw_ERP_ProductCategory Azure Data Lake Storage 2. Nesil Sınırlandırılmış Metin devraw Data\ERP\SalesLTProductCategory.csv
SalesProductCategory Lavabo DevEncur_Sales_ProductCategory Azure Data Lake Storage 2. Nesil Parquet devencur Data\Sales\ProductCategory.parquet
ERPProductDescription kaynak DevRaw_ERP_ProductDescription Azure Data Lake Storage 2. Nesil Sınırlandırılmış Metin devraw Data\ERP\SalesLTProductDescription.csv
SalesProductDescription Lavabo DevEncur_Sales_ProductDescription Azure Data Lake Storage 2. Nesil Parquet devencur Data\Sales\ProductDescription.parquet
ERPProductModel kaynak DevRaw_ERP_ProductModel Azure Data Lake Storage 2. Nesil Sınırlandırılmış Metin devraw Data\ERP\SalesLTProductModel.csv
SalesProductModel Lavabo DevEncur_Sales_ProductModel Azure Data Lake Storage 2. Nesil Parquet devencur Data\Sales\ProductModel.parquet
ERPProductModelProductDescription kaynak DevRaw_ERP_ProductModelProductDescription Azure Data Lake Storage 2. Nesil Sınırlandırılmış Metin devraw Data\ERP\SalesLTProductModelProductDescription.csv
SalesProductModelProductDescription Lavabo DevEncur_Sales_ProductModelProductDescription Azure Data Lake Storage 2. Nesil Parquet devencur Data\Sales\ProductModelProductDescription.parquet
ERPProductSalesOrderDetail kaynak DevRaw_ERP_ProductSalesOrderDetail Azure Data Lake Storage 2. Nesil Sınırlandırılmış Metin devraw Data\ERP\SalesLTProductSalesOrderDetail.csv
SalesProductSalesOrderDetail Lavabo DevEncur_Sales_ProductSalesOrderDetail Azure Data Lake Storage 2. Nesil Parquet devencur Data\Sales\ProductSalesOrderDetail.parquet
ERPProductSalesOrderHeader kaynak DevRaw_ERP_ProductSalesOrderHeader Azure Data Lake Storage 2. Nesil Sınırlandırılmış Metin devraw Data\ERP\SalesLTProductSalesOrderHeader.csv
SalesProductSalesOrderHeader Lavabo DevEncur_Sales_ProductSalesOrderHeader Azure Data Lake Storage 2. Nesil Parquet devencur Data\Sales\ProductSalesOrderHeader.parquet

Sonraki adımlar

Kaynakları temizleme