مشاركة عبر

البرنامج التعليمي: إعداد دفعة منتج بيانات

  • مقالة

في هذا البرنامج التعليمي، تعرف على كيفية إعداد خدمات منتجات البيانات التي تم توزيعها بالفعل. استخدم Azure Data Factory لدمج بياناتك وتنسيقها، واستخدم Microsoft Purview لاكتشاف أصول البيانات وإدارتها والتحكم فيها.

ستتعرف على كيفية:

  • إنشاء الموارد المطلوبة وتوزيعها
  • تعيين الأدوار وأذونات الوصول
  • توصيل الموارد لتكامل البيانات

يساعدك هذا البرنامج التعليمي على التعرف على الخدمات التي يتم نشرها في عينة <DMLZ-prefix>-dev-dp001 مجموعة موارد منتج البيانات. جرب كيفية واجهة خدمات Azure مع بعضها البعض ومقاييس الأمان الموجودة.

أثناء توزيع المكونات الجديدة، ستتوفر لديك فرصة للتحقيق في كيفية اتصال Purview بحوكمة الخدمة لإنشاء خريطة شاملة ومحدثة لمشهد بياناتك. والنتيجة هي اكتشاف البيانات تلقائيا وتصنيف البيانات الحساسة و دورة حياة البيانات من طرف إلى طرف.

المتطلبات الأساسية

قبل البدء في إعداد دفعة منتج البيانات، تأكد من تلبية هذه المتطلبات الأساسية:

  • اشتراك Azure. إذا لم يكن لديك اشتراك Azure، فقم بإنشاء حساب Azure المجاني اليوم.

  • أذونات لاشتراك Azure. لإعداد Purview وAzure Synapse Analytics للتوزيع، يجب أن يكون لديك دور مسؤول وصول المستخدم أو دور المالك في اشتراك Azure. ستقوم بتعيين المزيد من تعيينات الأدوار للخدمات وكيانات الخدمة في البرنامج التعليمي.

  • الموارد الموزعة. لإكمال البرنامج التعليمي، يجب نشر هذه الموارد بالفعل في اشتراك Azure الخاص بك:

  • حساب Microsoft Purview. يتم إنشاء الحساب كجزء من نشر المنطقة المنتقل إليها لإدارة البيانات.

  • وقت تشغيل التكامل المستضاف ذاتيا. يتم إنشاء وقت التشغيل كجزء من نشر منطقة البيانات المنتقل إليها.

ملاحظة

في هذا البرنامج التعليمي، تشير العناصر النائبة إلى موارد المتطلبات الأساسية التي تقوم بنشرها قبل بدء البرنامج التعليمي:

  • <DMLZ-prefix> يشير إلى البادئة التي أدخلتها عند إنشاء نشر المنطقة المنتقل إليها لإدارة البيانات .
  • <DLZ-prefix> يشير إلى البادئة التي أدخلتها عند إنشاء نشر منطقة البيانات المنتقل إليها .
  • <DP-prefix> يشير إلى البادئة التي أدخلتها عند إنشاء نشر دفعة منتج البيانات .

إنشاء مثيلات قاعدة بيانات Azure SQL

لبدء هذا البرنامج التعليمي، قم بإنشاء نموذجين لمثيلات قاعدة بيانات SQL. ستستخدم قواعد البيانات لمحاكاة مصادر بيانات CRM وERP في أقسام لاحقة.

  1. في مدخل Microsoft Azure، في عناصر التحكم العمومية للمدخل، حدد أيقونة Cloud Shell لفتح محطة Azure Cloud Shell الطرفية. حدد Bash لنوع المحطة الطرفية.

    لقطة شاشة تعرض أيقونة Cloud Shell في مدخل Microsoft Azure.

  2. في Cloud Shell، قم بتشغيل البرنامج النصي التالي. يعثر البرنامج النصي على <DLZ-prefix>-dev-dp001 مجموعة الموارد وخادم <DP-prefix>-dev-sqlserver001 Azure SQL الموجود في مجموعة الموارد. ثم يقوم البرنامج النصي بإنشاء مثيلي قاعدة بيانات SQL على <DP-prefix>-dev-sqlserver001 الخادم. يتم ملء قواعد البيانات مسبقا ببيانات عينة AdventureWorks. تتضمن البيانات الجداول التي تستخدمها في هذا البرنامج التعليمي.

    تأكد من استبدال قيمة العنصر النائب للمعلمة subscription بمعرف اشتراك Azure الخاص بك.

    # Azure SQL Database instances setup
# Create the AdatumCRM and AdatumERP databases to simulate customer and sales data.

# Use the ID for the Azure subscription you used to deployed the data product.
az account set --subscription "<your-subscription-ID>"

# Get the resource group for the data product.
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, 'dp001')==\`true\`].name")

# Get the existing Azure SQL Database server name.
sqlServerName=$(az sql server list -g $resourceGroupName -o tsv  --query "[?contains(@.name, 'sqlserver001')==\`true\`].name")

# Create the first SQL Database instance, AdatumCRM, to create the customer's data source.
az sql db create --resource-group $resourceGroupName --server $sqlServerName --name AdatumCRM --service-objective Basic --sample-name AdventureWorksLT

# Create the second SQL Database instance, AdatumERP, to create the sales data source.
az sql db create --resource-group $resourceGroupName --server $sqlServerName --name AdatumERP --service-objective Basic --sample-name AdventureWorksLT

عند الانتهاء من تشغيل البرنامج النصي، على <DP-prefix>-dev-sqlserver001 خادم Azure SQL، لديك مثيلان جديدان لقاعدة بيانات SQL، AdatumCRM و AdatumERP. توجد قاعدتا البيانات على طبقة الحوسبة الأساسية. توجد قواعد البيانات في نفس <DLZ-prefix>-dev-dp001 مجموعة الموارد التي استخدمتها لنشر دفعة منتج البيانات.

إعداد Purview لفهرسة دفعة منتج البيانات

بعد ذلك، أكمل الخطوات لإعداد Purview لفهرسة دفعة منتج البيانات. تبدأ بإنشاء كيان خدمة. بعد ذلك، يمكنك إعداد الموارد المطلوبة وتعيين الأدوار وأذونات الوصول.

إنشاء كيان الخدمة

  1. في مدخل Microsoft Azure، في عناصر التحكم العمومية للمدخل، حدد أيقونة Cloud Shell لفتح محطة Azure Cloud Shell الطرفية. حدد Bash لنوع المحطة الطرفية.

  2. راجع البرنامج النصي التالي:

    • استبدل قيمة العنصر النائب للمعلمة subscriptionId بمعرف اشتراك Azure الخاص بك.
    • spname استبدل قيمة العنصر النائب للمعلمة بالاسم الذي تريد استخدامه لكيان الخدمة. يجب أن يكون اسم كيان الخدمة فريدا في الاشتراك.

    بعد تحديث قيم المعلمات، قم بتشغيل البرنامج النصي في Cloud Shell.

    # Replace the parameter values with the name you want to use for your service principal name and your Azure subscription ID.
spname="<your-service-principal-name>"
subscriptionId="<your-subscription-id>"

# Set the scope to the subscription.
scope="/subscriptions/$subscriptionId"

# Create the service principal.
az ad sp create-for-rbac \
  --name $spname \
  --role "Contributor" \
  --scope $scope

  3. تحقق من إخراج JSON للحصول على نتيجة مشابهة للمثال التالي. لاحظ القيم الموجودة في الإخراج أو انسخها لاستخدامها في الخطوات اللاحقة.

    {
  "appId": "<your-app-id>",
  "displayName": "<service-principal-display-name>",
  "name": "<your-service-principal-name>",
  "password": "<your-service-principal-password>",
  "tenant": "<your-tenant>"
}

إعداد الوصول الأساسي للخدمة والأذونات

من إخراج JSON الذي تم إنشاؤه في الخطوة السابقة، احصل على القيم التي تم إرجاعها التالية:

  • معرف كيان الخدمة (appId)
  • مفتاح الخدمة الأساسي (password)

يجب أن يكون لمدير الخدمة الأذونات التالية:

  • دور Storage Blob Data Reader على حسابات التخزين.
  • أذونات قارئ البيانات على مثيلات قاعدة بيانات SQL.

لإعداد كيان الخدمة مع الدور والأذونات المطلوبة، أكمل الخطوات التالية.

أذونات حساب Azure Storage

  1. في مدخل Microsoft Azure، انتقل إلى <DLZ-prefix>devraw حساب Azure Storage. في قائمة الموارد، حدد Access Control (IAM).

    لقطة شاشة تعرض جزء أذونات كيان خدمة حساب التخزين، مع تمييز Access Control.

  2. حدد إضافة>Add role assignmen.

    لقطة شاشة تعرض جزء التحكم في الوصول الأساسي لخدمة حساب التخزين الذي يوضح كيفية إضافة تعيين دور.

  3. في Add role assignment، في علامة التبويب Role ، ابحث عن Storage Blob Data Reader وحدده. ثم حدد «التالي».

    لقطة شاشة تعرض البحث عن Storage Blob Data Reader ضمن Add role assignment.

  4. في الأعضاء، اختر تحديد أعضاء.

    لقطة شاشة تعرض جزء الأعضاء المحدد ضمن إضافة تعيين الدور.

  5. في Select members، ابحث عن اسم كيان الخدمة الذي أنشأته.

    لقطة شاشة توضح كيفية البحث عن اسم كيان الخدمة.

  6. في نتائج البحث، حدد كيان الخدمة، ثم اختر تحديد.

    لقطة شاشة تعرض جزء النتائج بعد البحث عن اسم كيان الخدمة.

  7. لإكمال تعيين الدور، حدد Review + assign مرتين.

كرر الخطوات الواردة في هذا القسم لحسابات التخزين المتبقية:

  • <DLZ-prefix>devencur
  • <DLZ-prefix>devwork

أذونات قاعدة بيانات SQL

لتعيين أذونات قاعدة بيانات SQL، يمكنك الاتصال بجهاز Azure SQL الظاهري باستخدام محرر الاستعلام. نظرا لأن جميع الموارد خلف نقطة نهاية خاصة، يجب أولا تسجيل الدخول إلى مدخل Microsoft Azure باستخدام جهاز ظاهري لمضيف Azure Bastion.

في مدخل Microsoft Azure، اتصل بالجهز الظاهري الذي تم نشره في <DMLZ-prefix>-dev-bastion مجموعة الموارد. إذا لم تكن متأكدا من كيفية الاتصال بالجهاز الظاهري باستخدام خدمة مضيف Bastion، فراجع الاتصال بجهاز ظاهري.

لإضافة كيان الخدمة كمستخدم في قاعدة البيانات، قد تحتاج أولا إلى إضافة نفسك كمسؤول Azure Active Directory. في الخطوين 1 و2، يمكنك إضافة نفسك كمسؤول Azure Active Directory. في الخطوات من 3 إلى 5، يمكنك منح أذونات كيان الخدمة لقاعدة بيانات. عند تسجيل الدخول إلى المدخل من الجهاز الظاهري لمضيف Bastion، ابحث عن أجهزة Azure SQL الظاهرية في مدخل Microsoft Azure.

  1. انتقل إلى <DP-prefix>-dev-sqlserver001 الجهاز الظاهري Azure SQL. في قائمة الموارد ضمن Settings، حدد Azure Active Directory.

    لقطة شاشة تعرض جزء Azure Active Directory في خادم قاعدة بيانات Azure SQL.

  2. في شريط الأوامر، حدد تعيين المسؤول. ابحث عن حسابك الخاص وحدده. اختر «Select» .

    لقطة شاشة توضح كيفية البحث عن حساب لجعل المستخدم مسؤولا.

  3. في قائمة الموارد، حدد قواعد بيانات SQL، ثم حدد AdatumCRM قاعدة البيانات.

    لقطة شاشة تعرض بحثا عن قاعدة البيانات الصحيحة، مع تمييز AdatumCRM.

  4. في قائمة مورد AdatumCRM ، حدد محرر الاستعلام (معاينة). ضمن مصادقة Active Directory، حدد الزر متابعة ك لتسجيل الدخول.

    لقطة شاشة توضح كيفية تسجيل الدخول إلى محرر الاستعلام باستخدام مصادقة Active Directory.

  5. في محرر الاستعلام، راجع العبارات التالية لاستبدال <service principal name> باسم كيان الخدمة الذي أنشأته (على سبيل المثال، purview-service-principal). ثم قم بتشغيل العبارات.

    
CREATE USER [<service principal name>] FROM EXTERNAL PROVIDER
GO

EXEC sp_addrolemember 'db_datareader', [<service principal name>]
GO

    لقطة شاشة توضح كيفية تنفيذ العبارات في محرر الاستعلام.

كرر الخطوات من 3 إلى 5 لقاعدة AdatumERP البيانات.

إعداد مخزن المفاتيح

يقرأ Purview المفتاح الأساسي للخدمة من مثيل Azure Key Vault. يتم إنشاء مخزن المفاتيح في توزيع منطقة إدارة البيانات المنتقل إليها. الخطوات التالية مطلوبة لإعداد مخزن المفاتيح:

  1. أضف مفتاح كيان الخدمة إلى مخزن المفاتيح كبيانات سرية.

  2. امنح Purview MSI Secrets Reader أذونات في مخزن المفاتيح.

  3. أضف مخزن المفاتيح إلى Purview كاتصال مخزن مفاتيح.

  4. إنشاء بيانات اعتماد في Purview تشير إلى سر مخزن المفاتيح.

إضافة أذونات لإضافة بيانات سرية إلى مخزن المفاتيح

  1. في مدخل Microsoft Azure، انتقل إلى خدمة Azure Key Vault. ابحث <DMLZ-prefix>-dev-vault001 عن مخزن المفاتيح.

    لقطة شاشة تعرض جزء التحكم في الوصول Key Vault.

  2. في قائمة الموارد، حدد Access control (IAM). في شريط الأوامر، حدد إضافة، ثم حدد إضافة تعيين دور.

    لقطة شاشة تعرض إضافة تعيين دور في Purview.

  3. في علامة التبويب دور، ابحث عن مسؤول Key Vault ثم حدده. حدد ⁧⁩التالي⁧⁩.

    لقطة شاشة توضح كيفية البحث عن دور مسؤول Key Vault.

  4. في الأعضاء، اختر تحديد الأعضاء لإضافة الحساب الذي تم تسجيل الدخول إليه حاليا.

    لقطة شاشة تعرض زر تحديد الأعضاء المميز.

  5. في Select members، ابحث عن الحساب الذي تم تسجيل دخوله حاليا. حدد الحساب، ثم اختر تحديد.

    لقطة شاشة تعرض مربع بحث العضو المحدد.

  6. لإكمال عملية تعيين الدور، حدد Review + assign مرتين.

إضافة سر إلى مخزن المفاتيح

أكمل الخطوات التالية لتسجيل الدخول إلى مدخل Microsoft Azure من الجهاز الظاهري لمضيف Bastion.

  1. في <DMLZ-prefix>-dev-vault001 قائمة مورد مخزن المفاتيح، حدد Secrets. في شريط الأوامر، حدد إنشاء/استيراد لإنشاء سر جديد.

    لقطة شاشة تعرض زر إنشاء/استيراد مخزن المفاتيح المميز.

  2. في Create a secret، حدد القيم التالية أو أدخلها:

    إعداد إجراء
    خيارات التحميل حدد Manual.
    الاسم أدخل service-principal-secret.
    القيمة أدخل كلمة مرور كيان الخدمة التي أنشأتها سابقا.

    لقطة شاشة تعرض مخزن المفاتيح إنشاء جزء سري.

    ملاحظة

    تنشئ هذه الخطوة بيانات سرية مسماة service-principal-secret في مخزن المفاتيح باستخدام مفتاح كلمة المرور الأساسي للخدمة. يستخدم Purview البيانات السرية للاتصال بمصادر البيانات ومسحها ضوئيا. إذا أدخلت كلمة مرور غير صحيحة، فلن تتمكن من إكمال الأقسام التالية.

  3. حدد Create.

إعداد أذونات Purview في مخزن المفاتيح

لكي يقرأ مثيل Purview البيانات السرية المخزنة في مخزن المفاتيح، يجب عليك تعيين أذونات Purview ذات الصلة في مخزن المفاتيح. لتعيين الأذونات، يمكنك إضافة Purview Managed Identity إلى دور Key vault Secrets Reader.

  1. في <DMLZ-prefix>-dev-vault001 قائمة مورد مخزن المفاتيح، حدد التحكم بالوصول (IAM).

  2. في شريط الأوامر، حدد إضافة، ثم حدد إضافة تعيين دور.

    لقطة شاشة تعرض جزء التحكم في الوصول، مع تمييز زر إضافة تعيين الدور.

  3. في Role، ابحث عن Key Vault Secrets User وحدده. حدد "Next".

    لقطة شاشة تعرض البحث عن جزء Key Vault Secret User.

  4. في الأعضاء، اختر تحديد أعضاء.

    لقطة شاشة تعرض جزء إضافة تعيين الدور مع تمييز زر تحديد العضو.

  5. ابحث عن مثيل <DMLZ-prefix>-dev-purview001 Purview. حدد المثيل لإضافة الحساب ذي الصلة. ثم قم باختيارSelect.

    لقطة شاشة تعرض مربع البحث لاسم مثيل Purview.

  6. لإكمال عملية تعيين الدور، حدد Review + assign مرتين.

    لقطة شاشة توضح كيفية إكمال تعيين دور.

إعداد اتصال key vault في Purview

لإعداد اتصال مخزن مفاتيح إلى Purview، يجب تسجيل الدخول إلى مدخل Microsoft Azure باستخدام جهاز ظاهري لمضيف Azure Bastion.

  1. في مدخل Microsoft Azure، انتقل إلى <DMLZ-prefix>-dev-purview001 حساب Purview. ضمن Getting started، في Open Microsoft Purview Governance Portal، حدد Open.

    لقطة شاشة تعرض نظرة عامة على حساب Microsoft Purview.

  2. في Purview Studio، حدد Management>Credentials. في شريط أوامر Credentials، حدد Manage Key Vault connections، ثم حدد New.

    لقطة شاشة تعرض زر إدارة اتصالات Key Vault.

  3. في New key vault connection، حدد المعلومات التالية أو أدخلها:

    إعداد إجراء
    الاسم أدخل <DMLZ-prefix-dev-vault001>.
    اشتراك Azure حدد الاشتراك الذي يستضيف مخزن المفاتيح.
    اسم Key Vault حدد مخزن مفاتيح DMLZ-prefix-dev-vault001>.<

    لقطة شاشة تعرض جزء اتصالات Key Vault الجديد.

  4. حدد Create.

  5. في Confirm granting access، حدد Confirm.

إنشاء بيانات اعتماد في Purview

الخطوة الأخيرة لإعداد مخزن المفاتيح هي إنشاء بيانات اعتماد في Purview تشير إلى السر الذي أنشأته في مخزن المفاتيح لكيان الخدمة.

  1. في Purview Studio، حدد Management>Credentials. في شريط أوامر بيانات الاعتماد ، حدد جديد.

    لقطة شاشة تعرض جزء بيانات اعتماد Purview الجديد.

  2. في بيانات اعتماد جديدة، حدد المعلومات التالية أو أدخلها:

    إعداد إجراء
    الاسم أدخل purviewServicePrincipal.
    أسلوب المصادقة حدِّد Service principal.
    معرف المستأجر يتم ملء القيمة تلقائيا.
    المعرف الرئيسي للخدمة ID أدخل معرف التطبيق أو معرف العميل لمدير الخدمة.
    اتصال Key Vault حدد اتصال مخزن المفاتيح الذي أنشأته في القسم السابق.
    اسم البيانات السرية أدخل اسم السر في key vault (service-principal-secret).

    لقطة شاشة تعرض نموذج بيانات الاعتماد الجديدة، مع تمييز القيم.

  3. حدد Create.

تسجيل مصادر البيانات

عند هذه النقطة، يمكن ل Purview الاتصال بكيان الخدمة. الآن يمكنك تسجيل مصادر البيانات وإعدادها.

تسجيل حسابات Azure Data Lake Storage Gen2

توضح الخطوات التالية عملية تسجيل حساب تخزين Azure Data Lake Storage Gen2.

  1. في Purview Studio، حدد أيقونة خريطة البيانات، وحدد المصادر، ثم حدد تسجيل.

    لقطة شاشة تعرض زر خريطة البيانات المميز في Purview.

  2. في Register sources، حدد Azure Data Lake Storage Gen2، ثم حدد Continue.

    لقطة شاشة تعرض مصدر تسجيل Azure Data Lake Storage Gen2.

  3. في Register sources (Azure Data Lake Storage Gen2)، حدد المعلومات التالية أو أدخلها:

    إعداد إجراء
    الاسم أدخل <DLZ-prefix>dldevraw.
    اشتراك Azure حدد الاشتراك الذي يستضيف حساب التخزين.
    اسم حساب التخزين حدد حساب التخزين ذي الصلة.
    نقطة النهاية يتم ملء القيمة تلقائيا استنادا إلى حساب التخزين المحدد.
    تحديد مجموعة حدد المجموعة الجذر.

    لقطة شاشة تعرض جزء تسجيل Azure Data Lake Storage Gen2، مع تمييز القيم.

  4. حدد Register لإنشاء مصدر البيانات.

كرر هذه الخطوات لحسابات التخزين التالية:

  • <DMLZ-prefix>devencur
  • <DMLZ-prefix>devwork

تسجيل مثيل قاعدة بيانات SQL كمصدر بيانات

  1. في Purview Studio، حدد أيقونة Data map ، وحدد Sources، ثم حدد Register.

    لقطة شاشة تعرض زر خريطة البيانات المميز في واجهة Purview.

  2. في Register sources، حدد Azure SQL Database، ثم حدد Continue.

    لقطة شاشة تعرض مصدر تسجيل قاعدة بيانات Azure SQL.

  3. في Register sources (Azure SQL Database)، حدد المعلومات التالية أو أدخلها:

    إعداد إجراء
    الاسم أدخل SQLDatabase (اسم قاعدة البيانات التي تم إنشاؤها في إنشاء مثيلات قاعدة بيانات Azure SQL).
    الاشتراك حدد الاشتراك الذي يستضيف قاعدة البيانات.
    اسم الخادم أدخل <DP-prefix-dev-sqlserver001>.

    لقطة شاشة تعرض نموذج تسجيل قاعدة بيانات SQL، مع تمييز القيم.

  4. اختر ⁧تسجيل⁧.

إعداد عمليات الفحص

بعد ذلك، قم بإعداد عمليات الفحص لمصادر البيانات.

مسح مصدر بيانات Data Lake Storage Gen2 ضوئيا

  1. في Purview Studio، انتقل إلى خريطة البيانات. في مصدر البيانات، حدد أيقونة فحص جديد .

    لقطة شاشة توضح كيفية إعداد فحص Data Lake Storage Gen2 جديد.

  2. في جزء الفحص الجديد، حدد المعلومات التالية أو أدخلها:

    إعداد إجراء
    الاسم أدخل Scan_<DLZ-prefix>devraw.
    الاتصال عبر وقت تشغيل التكامل حدد وقت تشغيل التكامل المستضاف ذاتيا الذي تم نشره مع منطقة البيانات المنتقل إليها.
    بيانات اعتماد حدد كيان الخدمة الذي قمت بإعداده ل Purview.

    لقطة شاشة تعرض نموذج بيانات اعتماد الفحص Data Lake Storage Gen2 مع إدخال القيم.

  3. حدد اختبار الاتصال للتحقق من الاتصال وأن الأذونات في مكانها. حدد ⁦⁩Continue⁦⁩.

  4. في Scope your scan، حدد حساب التخزين بأكمله كنطاق للمسح الضوئي، ثم حدد Continue.

    لقطة شاشة تعرض جزء Scope your scan مع تحديد حسابات التخزين.

  5. في Select a scan rule set، حدد AdlsGen2، ثم حدد Continue.

    لقطة شاشة تعرض تحديد مجموعة قواعد الفحص Data Lake Storage Gen2.

  6. في تعيين مشغل فحص، حدد مرة واحدة، ثم حدد متابعة.

    لقطة شاشة تعرض مجموعة جزء مشغل الفحص، مع تحديد مرة واحدة.

  7. في مراجعة الفحص، راجع إعدادات الفحص. حدد حفظ وتشغيل لبدء الفحص.

    لقطة شاشة تعرض مراجعة الفحص قبل حفظه وتشغيله.

كرر هذه الخطوات لحسابات التخزين التالية:

  • <DMLZ-prefix>devencur
  • <DMLZ-prefix>devwork

مسح مصدر بيانات قاعدة بيانات SQL ضوئيا

  1. في مصدر بيانات Azure SQL Database، حدد New Scan.

    لقطة شاشة توضح كيفية إنشاء فحص جديد لقاعدة بيانات SQL.

  2. في جزء الفحص الجديد، حدد المعلومات التالية أو أدخلها:

    إعداد إجراء
    الاسم أدخل Scan_Database001.
    الاتصال عبر وقت تشغيل التكامل حدد Purview-SHIR.
    اسم قاعدة البيانات حدد اسم قاعدة البيانات.
    بيانات اعتماد حدد بيانات اعتماد مخزن المفاتيح التي أنشأتها في Purview.
    استخراج دورة حياة البيانات (معاينة) حدد إيقاف التشغيل.

    لقطة شاشة تعرض نموذج بيانات اعتماد الفحص، مع إدخال القيم.

  3. حدد اختبار الاتصال للتحقق من الاتصال وأن الأذونات في مكانها. حدد ⁦⁩Continue⁦⁩.

  4. حدد نطاق الفحص. لفحص قاعدة البيانات بأكملها، استخدم القيمة الافتراضية.

    لقطة شاشة توضح كيفية تعيين نطاق الفحص إلى قاعدة البيانات بأكملها.

  5. في Select a scan rule set، حدد AzureSqlDatabase، ثم حدد Continue.

    لقطة شاشة تعرض تحديد مجموعة قواعد فحص قاعدة بيانات SQL.

  6. في تعيين مشغل فحص، حدد مرة واحدة، ثم حدد متابعة.

    لقطة شاشة تعرض مجموعة جزء الفحص لتشغيله بمجرد تحديده.

  7. في مراجعة الفحص، راجع إعدادات الفحص. حدد حفظ وتشغيل لبدء الفحص.

كرر هذه الخطوات لقاعدة AdatumERP البيانات.

تم الآن إعداد Purview لإدارة البيانات لمصادر البيانات المسجلة.

نسخ بيانات قاعدة بيانات SQL إلى Data Lake Storage Gen2

في الخطوات التالية، يمكنك استخدام أداة Copy Data في Data Factory لإنشاء مسار لنسخ الجداول من مثيلات AdatumCRM قاعدة بيانات SQL وملفات AdatumERP CSV في <DLZ-prefix>devraw حساب Data Lake Storage Gen2.

البيئة مؤمنة للوصول العام، لذلك تحتاج أولا إلى إعداد نقاط النهاية الخاصة. لاستخدام نقاط النهاية الخاصة، ستقوم بتسجيل الدخول إلى مدخل Microsoft Azure في المستعرض المحلي، ثم الاتصال بالجهاز الظاهري لمضيف Bastion للوصول إلى خدمات Azure المطلوبة.

إنشاء نقاط نهاية خاصة

لإعداد نقاط النهاية الخاصة للموارد المطلوبة:

  1. في <DMLZ-prefix>-dev-bastion مجموعة الموارد، حدد <DMLZ-prefix>-dev-vm001.

    لقطة شاشة تعرض مجموعات الموارد للاتصال بالجهاز الظاهري لمضيف bastion.

  2. في شريط الأوامر، حدد Connect وحدد Bastion.

    لقطة شاشة تعرض جزء الاتصال بتحديد bastion.

  3. أدخل اسم المستخدم وكلمة المرور للجهاز الظاهري، ثم حدد اتصال.

    لقطة شاشة تعرض جزء إدخال اسم المستخدم وكلمة المرور.

  4. في مستعرض ويب الجهاز الظاهري، انتقل إلى مدخل Microsoft Azure. انتقل إلى <DLZ-prefix>-dev-shared-integration مجموعة الموارد وافتح <DLZ-prefix>-dev-integration-datafactory001 مصنع البيانات.

    لقطة شاشة توضح كيفية الانتقال إلى مجموعة موارد مختلفة لفتح Azure Data Factory.

  5. ضمن Getting started، في Open Azure Data Factory Studio، حدد Open.

    لقطة شاشة توضح كيفية فتح Azure Data Factory Studio.

  6. في قائمة Data Factory Studio، حدد الأيقونة إدارة (تبدو الأيقونة مثل مربع أدوات مربع مع ختم وجع عليه). في قائمة الموارد، حدد نقاط النهاية الخاصة المدارة لإنشاء نقاط النهاية الخاصة المطلوبة لتوصيل Data Factory بخدمات Azure الأخرى الآمنة.

    تتم مناقشة الموافقة على طلبات الوصول لنقاط النهاية الخاصة في قسم لاحق. بعد الموافقة على طلبات الوصول إلى نقطة النهاية الخاصة، تتم الموافقة على حالة الموافقة الخاصة بها، كما هو الحال في المثال التالي لحساب <DLZ-prefix>devencur التخزين.

    لقطة شاشة توضح كيفية الانتقال إلى جزء إدارة نقاط النهاية الخاصة.

  7. قبل الموافقة على اتصالات نقطة النهاية الخاصة، حدد جديد. أدخل Azure SQL للعثور على موصل قاعدة بيانات Azure SQL الذي تستخدمه لإنشاء نقطة نهاية خاصة مدارة جديدة لجهاز <DP-prefix>-dev-sqlserver001 Azure SQL الظاهري. يحتوي الجهاز الظاهري على قواعد البيانات و AdatumERP التي AdatumCRM أنشأتها سابقا.

  8. في نقطة النهاية الخاصة المدارة الجديدة (قاعدة بيانات Azure SQL)، بالنسبة إلى الاسم، أدخل data-product-dev-sqlserver001. أدخل اشتراك Azure الذي استخدمته لإنشاء الموارد. بالنسبة إلى Server name، حدد <DP-prefix>-dev-sqlserver001 بحيث يمكنك الاتصال به من مصنع البيانات هذا في الأقسام التالية.

    لقطة شاشة توضح كيفية تسمية نقطة النهاية الخاصة الجديدة.

الموافقة على طلبات الوصول إلى نقطة النهاية الخاصة

لمنح Data Factory حق الوصول إلى نقاط النهاية الخاصة للخدمات المطلوبة، لديك خياران:

  • الخيار 1: في كل خدمة تطلب الوصول إليها، في مدخل Microsoft Azure، انتقل إلى خيار اتصالات الشبكة أو نقطة النهاية الخاصة للخدمة ووافق على طلبات الوصول إلى نقطة النهاية الخاصة.

  • الخيار 2: قم بتشغيل البرامج النصية التالية في Azure Cloud Shell في وضع Bash للموافقة على جميع طلبات الوصول إلى نقاط النهاية الخاصة المطلوبة في وقت واحد.

    
# Storage managed private endpoint approval

# devencur
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, '-dev-storage')==\`true\`].name")
storageAcctName=$(az storage account list -g $resourceGroupName -o tsv  --query "[?contains(@.name, 'devencur')==\`true\`].name")
endPointConnectionName=$(az network private-endpoint-connection list -g $resourceGroupName -n $storageAcctName --type Microsoft.Storage/storageAccounts -o tsv --query "[?contains(@.properties.privateLinkServiceConnectionState.status, 'Pending')==\`true\`].name")

az network private-endpoint-connection approve -g $resourceGroupName -n $endPointConnectionName --resource-name $storageAcctName --type Microsoft.Storage/storageAccounts --description "Approved"

# devraw
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, '-dev-storage')==\`true\`].name")
storageAcctName=$(az storage account list -g $resourceGroupName -o tsv  --query "[?contains(@.name, 'devraw')==\`true\`].name")
endPointConnectionName=$(az network private-endpoint-connection list -g $resourceGroupName -n $storageAcctName --type Microsoft.Storage/storageAccounts -o tsv --query "[?contains(@.properties.privateLinkServiceConnectionState.status, 'Pending')==\`true\`].name")
az network private-endpoint-connection approve -g $resourceGroupName -n $endPointConnectionName --resource-name $storageAcctName --type Microsoft.Storage/storageAccounts --description "Approved"

# SQL Database managed private endpoint approval
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, '-dev-dp001')==\`true\`].name")
sqlServerName=$(az sql server list -g $resourceGroupName -o tsv  --query "[?contains(@.name, 'sqlserver001')==\`true\`].name")
endPointConnectionName=$(az network private-endpoint-connection list -g $resourceGroupName -n $sqlServerName --type Microsoft.Sql/servers -o tsv --query "[?contains(@.properties.privateLinkServiceConnectionState.status, 'Pending')==\`true\`].name")
az network private-endpoint-connection approve -g $resourceGroupName -n $endPointConnectionName --resource-name $sqlServerName --type Microsoft.Sql/servers --description "Approved"

# Key Vault private endpoint approval
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, '-dev-metadata')==\`true\`].name")
keyVaultName=$(az keyvault list -g $resourceGroupName -o tsv  --query "[?contains(@.name, 'dev-vault001')==\`true\`].name")
endPointConnectionID=$(az network private-endpoint-connection list -g $resourceGroupName -n $keyVaultName --type Microsoft.Keyvault/vaults -o tsv --query "[?contains(@.properties.privateLinkServiceConnectionState.status, 'Pending')==\`true\`].id")
az network private-endpoint-connection approve -g $resourceGroupName --id $endPointConnectionID --resource-name $keyVaultName --type Microsoft.Keyvault/vaults --description "Approved"

# Purview private endpoint approval
resourceGroupName=$(az group list -o tsv  --query "[?contains(@.name, 'dev-governance')==\`true\`].name")
purviewAcctName=$(az purview account list -g $resourceGroupName -o tsv  --query "[?contains(@.name, '-dev-purview001')==\`true\`].name")
for epn in $(az network private-endpoint-connection list -g $resourceGroupName -n $purviewAcctName --type Microsoft.Purview/accounts -o tsv --query "[?contains(@.properties.privateLinkServiceConnectionState.status, 'Pending')==\`true\`].name")
do
    az network private-endpoint-connection approve -g $resourceGroupName -n $epn --resource-name $purviewAcctName --type Microsoft.Purview/accounts --description "Approved"
done

يوضح المثال التالي كيفية <DLZ-prefix>devraw إدارة حساب التخزين لطلبات الوصول إلى نقطة النهاية الخاصة. في قائمة الموارد لحساب التخزين، حدد Networking. في شريط الأوامر، حدد اتصالات نقطة النهاية الخاصة.

لقطة شاشة توضح كيفية الانتقال إلى جزء اتصالات نقطة النهاية الخاصة.

بالنسبة لبعض موارد Azure، يمكنك تحديد اتصالات نقطة النهاية الخاصة في قائمة الموارد. يظهر مثال لخادم Azure SQL في لقطة الشاشة التالية.

للموافقة على طلب وصول نقطة نهاية خاصة، في اتصالات نقطة النهاية الخاصة، حدد طلب الوصول المعلق، ثم حدد الموافقة:

لقطة شاشة توضح الموافقة على طلب وصول نقطة نهاية خاصة.

بعد الموافقة على طلب الوصول في كل خدمة مطلوبة، قد يستغرق الأمر بضع دقائق حتى يظهر الطلب على أنه معتمد في نقاط النهاية الخاصة المدارة في Data Factory Studio. حتى إذا حددت تحديث في شريط الأوامر، فقد تكون حالة الموافقة قديمة لبضع دقائق.

عند الانتهاء من الموافقة على جميع طلبات الوصول للخدمات المطلوبة، في نقاط النهاية الخاصة المدارة، تتم الموافقةعلى قيمة حالة الموافقة لجميع الخدمات:

لقطة شاشة تعرض اتصالات SQL لنقطة النهاية الخاصة على أنها معتمدة.

تعيينات الأدوار

عند الانتهاء من الموافقة على طلبات الوصول إلى نقطة النهاية الخاصة، أضف أذونات الدور المناسبة ل Data Factory للوصول إلى هذه الموارد:

  • مثيلات AdatumCRM قاعدة بيانات SQL وفي AdatumERP<DP-prefix>-dev-sqlserver001 خادم Azure SQL
  • حسابات <DLZ-prefix>devrawالتخزين و <DLZ-prefix>devencurو <DLZ-prefix>devwork
  • حساب Purview <DMLZ-prefix>-dev-purview001

جهاز Azure SQL الظاهري

  1. لإضافة تعيينات الأدوار، ابدأ بجهاز Azure SQL الظاهري. في <DMLZ-prefix>-dev-dp001 مجموعة الموارد، انتقل إلى <DP-prefix>-dev-sqlserver001.

  2. في قائمة الموارد، حدد Access control (IAM). في شريط الأوامر، حدد إضافة>إضافة تعيين دور.

  3. في علامة التبويب دور ، حدد مساهم، ثم حدد التالي.

    لقطة شاشة تعرض جزء تحديد دور المساهم.

  4. في الأعضاء، لتعيين الوصول إلى، حدد الهوية المدارة. بالنسبة للأعضاء، اختر تحديد الأعضاء.

    لقطة شاشة تعرض جزء

  5. في تحديد الهويات المدارة، حدد اشتراك Azure الخاص بك. بالنسبة للهوية المدارة، حدد Data Factory (V2) لمشاهدة مصانع البيانات المتوفرة. في قائمة مصانع البيانات، حدد Azure Data Factory <DLZ-prefix-dev-integration-datafactory001>. اختر «Select» .

    لقطة شاشة تعرض جزء إكمال تعيين الدور.

  6. حدد Review + Assign مرتين لإكمال العملية.

حسابات التخزين⁧

بعد ذلك، قم بتعيين الأدوار المطلوبة لحسابات <DLZ-prefix>devraw<DLZ-prefix>devencurالتخزين و و.<DLZ-prefix>devwork

لتعيين الأدوار، أكمل نفس الخطوات التي استخدمتها لإنشاء تعيين دور خادم Azure SQL. ولكن بالنسبة للدور، حدد Storage Blob Data Contributor بدلا من Contributor.

بعد تعيين أدوار لجميع حسابات التخزين الثلاثة، يمكن ل Data Factory الاتصال بحسابات التخزين والوصول إليها.

Microsoft Purview

الخطوة الأخيرة لإضافة تعيينات الأدوار هي إضافة دور Purview Data Curator في Microsoft Purview إلى حساب الهوية المدار لمصنع <DLZ-prefix>-dev-integration-datafactory001 البيانات. أكمل الخطوات التالية حتى يتمكن Data Factory من إرسال معلومات أصول كتالوج البيانات من مصادر بيانات متعددة إلى حساب Purview.

  1. في مجموعة <DMLZ-prefix>-dev-governanceالموارد ، انتقل إلى <DMLZ-prefix>-dev-purview001 حساب Purview.

  2. في Purview Studio، حدد أيقونة Data map ، ثم حدد Collections.

  3. حدد علامة التبويب Role assignments للمجموعة. ضمن Data curators، أضف الهوية المدارة ل <DLZ-prefix>-dev-integration-datafactory001:

    لقطة شاشة توضح كيفية إضافة منسقي البيانات إلى تعيين دور Purview.

توصيل Data Factory ب Purview

تم تعيين الأذونات، ويمكن ل Purview الآن رؤية مصنع البيانات. الخطوة التالية هي الاتصال <DMLZ-prefix>-dev-purview001 ب <DLZ-prefix>-dev-integration-datafactory001.

  1. في Purview Studio، حدد أيقونة الإدارة ، ثم حدد Data Factory. حدد جديد لإنشاء اتصال Data Factory.

  2. في جزء New Data Factory connections ، أدخل اشتراك Azure وحدد <DLZ-prefix>-dev-integration-datafactory001 مصنع البيانات. حدد "OK".

    لقطة شاشة توضح شكل جزء Purview Studio أثناء تحديد اتصال جديد.

  3. في <DLZ-prefix>-dev-integration-datafactory001 مثيل Data Factory Studio، ضمن إدارة>Azure Purview، قم بتحديث حساب Azure Purview.

    Data Lineage - Pipeline يظهر التكامل الآن الأيقونة المتصلة الخضراء.

    لقطة شاشة تعرض جزء حساب Azure Data Factory Purview مع توصيل مسار دورة حياة البيانات.

إنشاء مسار ETL

الآن بعد أن <DLZ-prefix>-dev-integration-datafactory001 أصبح لديه أذونات الوصول المطلوبة، قم بإنشاء نشاط نسخ في Data Factory لنقل البيانات من مثيلات قاعدة بيانات SQL إلى <DLZ-prefix>devraw حساب التخزين الخام.

استخدام أداة Copy Data مع AdatumCRM

تستخرج هذه العملية بيانات العميل من AdatumCRM مثيل قاعدة بيانات SQL وتنسخها إلى تخزين Data Lake Storage Gen2.

  1. في Data Factory Studio، حدد أيقونة Author ، ثم حدد Factory Resources. حدد علامة الجمع (+) وحدد أداة نسخ البيانات.

    لقطة شاشة تعرض أداة نسخ البيانات ضمن موارد المصنع.

    أكمل كل خطوة في معالج أداة نسخ البيانات:

    1. لإنشاء مشغل لتشغيل البنية الأساسية لبرنامج ربط العمليات التجارية كل 24 ساعة، حدد Schedule.

      لقطة شاشة توضح كيفية جدولة مشغل للتشغيل بشكل دوري في CRM.

    2. لإنشاء خدمة مرتبطة لتوصيل مصنع البيانات هذا بمثيل AdatumCRM قاعدة بيانات SQL على <DP-prefix>-dev-sqlserver001 الخادم (المصدر)، حدد اتصال جديد.

      لقطة شاشة تعرض الاتصال بقاعدة بيانات AdatumCRM.

      ملاحظة

      إذا واجهت أخطاء في الاتصال بالبيانات أو الوصول إليها في مثيلات قاعدة بيانات SQL أو حسابات التخزين، فراجع أذوناتك في اشتراك Azure. تأكد من أن مصنع البيانات لديه بيانات الاعتماد المطلوبة وأذونات الوصول إلى أي مورد إشكالي.

    3. حدد هذه الجداول الثلاثة:

      • SalesLT.Address
      • SalesLT.Customer
      • SalesLT.CustomerAddress

      لقطة شاشة تعرض جزء الجداول المحددة مع تمييز الجداول.

    4. إنشاء خدمة مرتبطة جديدة للوصول <DLZ-prefix>devraw إلى تخزين Azure Data Lake Storage Gen2 (الوجهة).

      لقطة شاشة تعرض اتصال التخزين الخام.

    5. استعرض المجلدات في <DLZ-prefix>devraw التخزين وحدد البيانات كوجهة.

      لقطة شاشة تعرض الوجهة كبيانات أولية.

    6. قم بتغيير لاحقة اسم الملف إلى .csv واستخدم الخيارات الافتراضية الأخرى.

      لقطة شاشة تعرض حقل لاحقة اسم الملف مع إدخال CSV.

    7. انتقل إلى الجزء التالي وحدد Add header to file.

      لقطة شاشة توضح كيفية إضافة عنوان إلى ملف.

    8. عند الانتهاء من المعالج، يبدو جزء اكتمال النشر مشابها لهذا المثال:

      لقطة شاشة تعرض اكتمال توزيع أداة نسخ البيانات.

يتم سرد البنية الأساسية لبرنامج ربط العمليات التجارية الجديدة في البنية الأساسية لبرنامج ربط العمليات التجارية.

تشغيل المسار

تنشئ هذه العملية ثلاثة ملفات .csv في مجلد Data\CRM ، واحد لكل جدول من الجداول المحددة في AdatumCRM قاعدة البيانات.

  1. أعد تسمية البنية الأساسية لبرنامج ربط العمليات التجارية CopyPipeline_CRM_to_Raw.

  2. أعد تسمية مجموعات CRM_Raw_Storage البيانات و CRM_DB.

  3. في شريط أوامر موارد المصنع ، حدد نشر الكل.

  4. حدد البنية CopyPipeline_CRM_to_Raw الأساسية لبرنامج ربط العمليات التجارية، وفي شريط أوامر البنية الأساسية لبرنامج ربط العمليات التجارية، حدد Trigger لنسخ الجداول الثلاثة من قاعدة بيانات SQL إلى Data Lake Storage Gen2.

    لقطة شاشة توضح كيفية استخدام أداة المشغل لنسخ البيانات من قاعدة بيانات SQL إلى Data Lake Storage Gen2.

استخدام أداة Copy Data مع AdatumERP

بعد ذلك، استخرج البيانات من AdatumERP قاعدة البيانات. تمثل البيانات بيانات المبيعات الواردة من نظام ERP.

  1. لا يزال في Data Factory Studio، قم بإنشاء مسار جديد باستخدام أداة Copy Data. هذه المرة، تقوم بإرسال بيانات المبيعات من AdatumERP إلى <DLZ-prefix>devraw مجلد بيانات حساب التخزين، بنفس الطريقة التي قمت بها مع بيانات CRM. أكمل نفس الخطوات، ولكن استخدم AdatumERP قاعدة البيانات كمصدر.

    1. قم بإنشاء الجدول الزمني لتشغيله كل ساعة.

    2. إنشاء خدمة مرتبطة بمثيل AdatumERP قاعدة بيانات SQL.

      لقطة شاشة تعرض اكتمال جزء اتصال Adatum ERP.

    3. حدد هذه الجداول السبعة:

      • SalesLT.Product
      • SalesLT.ProductCategory
      • SalesLT.ProductDescription
      • SalesLT.ProductModel
      • SalesLT.ProductModelProductDescription
      • SalesLT.SalesOrderDetail
      • SalesLT.SalesOrderHeader

      لقطة شاشة تعرض خيارات جدول Adatum ERP.

    4. استخدم الخدمة <DLZ-prefix>devraw المرتبطة الموجودة لحساب التخزين وقم بتعيين ملحق الملف إلى .csv.

      لقطة شاشة تعرض حساب تخزين أولي مع تعيين ملحق الملف إلى CSV.

    5. حدد Add header to file.

      لقطة شاشة تعرض إضافة عنوان إلى ملف ضمن إعدادات تنسيق الملف.

    6. أكمل المعالج مرة أخرى وأعد تسمية البنية الأساسية لبرنامج ربط العمليات التجارية CopyPipeline_ERP_to_DevRaw. ثم في شريط الأوامر، حدد نشر الكل. وأخيرا، قم بتشغيل المشغل على هذا المسار الذي تم إنشاؤه حديثا لنسخ الجداول السبعة المحددة من قاعدة بيانات SQL إلى Data Lake Storage Gen2.

عند الانتهاء من هذه الخطوات، يوجد 10 ملفات CSV في <DLZ-prefix>devraw التخزين Data Lake Storage Gen2. في القسم التالي، يمكنك تنسيق الملفات في <DLZ-prefix>devencur تخزين Data Lake Storage Gen2.

تجميع البيانات في Data Lake Storage Gen2

عند الانتهاء من إنشاء 10 ملفات CSV في تخزين Data Lake Storage Gen2 الخام <DLZ-prefix>devraw ، قم بتحويل هذه الملفات حسب الحاجة أثناء نسخها إلى تخزين Data Lake Storage Gen2 المنسق <DLZ-prefix>devencur .

استمر في استخدام Azure Data Factory لإنشاء هذه المسارات الجديدة لتنسيق حركة البيانات.

تنسيق CRM لبيانات العملاء

إنشاء تدفق بيانات يحصل على ملفات CSV في مجلد Data\CRM في <DLZ-prefix>devraw. قم بتحويل الملفات وانسخ الملفات المحولة بتنسيق ملف .parquet إلى مجلد Data\Customer في <DLZ-prefix>devencur.

  1. في Azure Data Factory، انتقل إلى مصنع البيانات وحدد Orchestrate.

    لقطة شاشة تعرض زر Orchestrate في Azure Data Factory.

  2. بشكل عام، قم بتسمية البنية الأساسية لبرنامج ربط العمليات التجارية Pipeline_transform_CRM.

  3. في جزء Activities، وسّع Move and Transform. اسحب نشاط تدفق البيانات وأفلته في لوحة البنية الأساسية لبرنامج ربط العمليات التجارية.

    لقطة شاشة تعرض جزء الأنشطة وتمييز النقل والتحويل.

  4. في إضافة تدفق البيانات، حدد إنشاء تدفق بيانات جديد وقم بتسمية تدفق CRM_to_Customerالبيانات . اختر ⁧⁩إنهاء⁧⁩.

    ملاحظة

    في شريط الأوامر للوحة البنية الأساسية لبرنامج ربط العمليات التجارية، قم بتشغيل تتبع أخطاء تدفق البيانات. في وضع التصحيح، يمكنك اختبار منطق التحويل بشكل تفاعلي مقابل نظام مجموعة Apache Spark مباشر. تستغرق مجموعات تدفق البيانات من 5 إلى 7 دقائق للتدفئة. نوصي بتشغيل تصحيح الأخطاء قبل البدء في تطوير تدفق البيانات.

    لقطة شاشة تعرض زر Open Data Flow.

    عند الانتهاء من تحديد الخيارات في CRM_to_Customer تدفق البيانات، Pipeline_transform_CRM تبدو البنية الأساسية لبرنامج ربط العمليات التجارية مشابهة لهذا المثال:

    لقطة شاشة تعرض تحويل البنية الأساسية لبرنامج ربط العمليات التجارية CRM.

    يبدو تدفق البيانات مثل هذا المثال:

    لقطة شاشة تعرض تدفق بيانات CRM إلى العميل.

  5. بعد ذلك، قم بتعديل هذه الإعدادات في تدفق البيانات للمصدر CRMAddress :

    1. إنشاء مجموعة بيانات جديدة من Data Lake Storage Gen2. استخدم تنسيق DelimitedText . قم بتسمية مجموعة DevRaw_CRM_Addressالبيانات .

    2. قم بتوصيل الخدمة المرتبطة ب <DLZ-prefix>devraw.

    3. Data\CRM\SalesLTAddress.csv حدد الملف كمصدر.

  6. تعديل هذه الإعدادات في تدفق البيانات للمتلقي المقترن CustAddress :

    1. إنشاء مجموعة بيانات جديدة باسم DevEncur_Cust_Address.

    2. حدد مجلد Data\Customer في <DLZ-prefix>devencur كمتلقي.

    3. ضمن Settings\Output to single file، قم بتحويل الملف إلى Address.parquet.

بالنسبة لبقية تكوين تدفق البيانات، استخدم المعلومات الموجودة في الجداول التالية لكل مكون. لاحظ أن CRMAddress و CustAddress هما أول صفين. استخدمها كأمثلة للكائنات الأخرى.

عنصر غير موجود في أي من الجداول التالية هو RemovePasswords معدل المخطط. تظهر لقطة الشاشة السابقة أن هذا العنصر ينتقل بين CRMCustomer و CustCustomer. لإضافة معدل المخطط هذا، انتقل إلى تحديد الإعدادات وقم بإزالة PasswordHash و PasswordSalt.

CRMCustomer إرجاع مخطط مكون من 15 عمودا من ملف .crv. CustCustomer يكتب 13 عمودا فقط بعد أن يزيل معدل المخطط عمودي كلمة المرور.

الجدول الكامل

الاسم نوع الكائن اسم مجموعة البيانات مخزن البيانات نوع التنسيق الخدمة المرتبطة ملف أو مجلد
CRMAddress المصدر DevRaw_CRM_Address Azure Data Lake Storage Gen2 نص محدد devraw Data\CRM\SalesLTAddress.csv
CustAddress المتلقي DevEncur_Cust_Address Azure Data Lake Storage Gen2 Parquet devencur Data\Customer\Address.parquet
CRMCustomer المصدر DevRaw_CRM_Customer Azure Data Lake Storage Gen2 نص محدد devraw Data\CRM\SalesLTCustomer.csv
CustCustomer المتلقي DevEncur_Cust_Customer Azure Data Lake Storage Gen2 Parquet devencur Data\Customer\Customer.parquet
CRMCustomerAddress المصدر DevRaw_CRM_CustomerAddress Azure Data Lake Storage Gen2 نص محدد devraw Data\CRM\SalesLTCustomerAddress.csv
CustCustomerAddress المتلقي DevEncur_Cust_CustomerAddress Azure Data Lake Storage Gen2 Parquet devencur Data\Customer\CustomerAddress.parquet

جدول ERP إلى Sales

الآن، كرر خطوات مماثلة Pipeline_transform_ERP لإنشاء مسار، وأنشئ ERP_to_Sales تدفق بيانات لتحويل ملفات .csv في مجلد Data\ERP في <DLZ-prefix>devraw، وانسخ الملفات المحولة إلى مجلد Data\Sales في <DLZ-prefix>devencur.

في الجدول التالي، ستجد الكائنات المراد إنشاؤها في ERP_to_Sales تدفق البيانات والإعدادات التي تحتاج إلى تعديلها لكل عنصر. يتم تعيين كل ملف .csv إلى متلقي .parquet .

الاسم نوع الكائن اسم مجموعة البيانات مخزن البيانات نوع التنسيق الخدمة المرتبطة ملف أو مجلد
ERPProduct المصدر DevRaw_ERP_Product Azure Data Lake Storage Gen2 نص محدد devraw Data\ERP\SalesLTProduct.csv
SalesProduct المتلقي DevEncur_Sales_Product Azure Data Lake Storage Gen2 Parquet devencur Data\Sales\Product.parquet
ERPProductCategory المصدر DevRaw_ERP_ProductCategory Azure Data Lake Storage Gen2 نص محدد devraw Data\ERP\SalesLTProductCategory.csv
SalesProductCategory المتلقي DevEncur_Sales_ProductCategory Azure Data Lake Storage Gen2 Parquet devencur Data\Sales\ProductCategory.parquet
ERPProductDescription المصدر DevRaw_ERP_ProductDescription Azure Data Lake Storage Gen2 نص محدد devraw Data\ERP\SalesLTProductDescription.csv
SalesProductDescription المتلقي DevEncur_Sales_ProductDescription Azure Data Lake Storage Gen2 Parquet devencur Data\Sales\ProductDescription.parquet
ERPProductModel المصدر DevRaw_ERP_ProductModel Azure Data Lake Storage Gen2 نص محدد devraw Data\ERP\SalesLTProductModel.csv
SalesProductModel المتلقي DevEncur_Sales_ProductModel Azure Data Lake Storage Gen2 Parquet devencur Data\Sales\ProductModel.parquet
ERPProductModelProductDescription المصدر DevRaw_ERP_ProductModelProductDescription Azure Data Lake Storage Gen2 نص محدد devraw Data\ERP\SalesLTProductModelProductDescription.csv
SalesProductModelProductDescription المتلقي DevEncur_Sales_ProductModelProductDescription Azure Data Lake Storage Gen2 Parquet devencur Data\Sales\ProductModelProductDescription.parquet
ERPProductSalesOrderDetail المصدر DevRaw_ERP_ProductSalesOrderDetail Azure Data Lake Storage Gen2 نص محدد devraw Data\ERP\SalesLTProductSalesOrderDetail.csv
SalesProductSalesOrderDetail المتلقي DevEncur_Sales_ProductSalesOrderDetail Azure Data Lake Storage Gen2 Parquet devencur Data\Sales\ProductSalesOrderDetail.parquet
ERPProductSalesOrderHeader المصدر DevRaw_ERP_ProductSalesOrderHeader Azure Data Lake Storage Gen2 نص محدد devraw Data\ERP\SalesLTProductSalesOrderHeader.csv
SalesProductSalesOrderHeader المتلقي DevEncur_Sales_ProductSalesOrderHeader Azure Data Lake Storage Gen2 Parquet devencur Data\Sales\ProductSalesOrderHeader.parquet

الخطوات التالية

تنظيف الموارد