البرنامج التعليمي: قبول البيانات واستلامها باستخدام Azure Data Share

في هذا البرنامج التعليمي، ستتعلم كيفية قبول دعوة مشاركة البيانات باستخدام Azure Data Share. ستتعلم كيفية تلقي البيانات التي تتم مشاركتها معك، وكيفية تمكين فاصل زمني منتظم للتحديث لضمان حصولك دائما على أحدث لقطة للبيانات التي تتم مشاركتها معك.

• كيفية قبول دعوة Azure Data Share
• إنشاء حساب Azure Data Share
• تحديد وجهة لبياناتك
• إنشاء اشتراك في مشاركة البيانات للتحديث المجدول

Prerequisites

قبل أن تتمكن من قبول دعوة مشاركة البيانات، يجب عليك إنشاء بعض موارد Azure، المدرجة أدناه.

تأكد من اكتمال جميع المتطلبات الأساسية قبل قبول دعوة مشاركة البيانات.

• اشتراك Azure: إذا لم يكن لديك اشتراك Azure، فقم بإنشاء حساب مجاني قبل البدء.
• دعوة مشاركة البيانات: دعوة من Microsoft Azure مع موضوع بعنوان "دعوة مشاركة بيانات Azure من yourdataprovider@domain.com".
• قم بتسجيل موفر موارد Microsoft.DataShare في اشتراك Azure حيث ستقوم بإنشاء مورد مشاركة البيانات واشتراك Azure حيث توجد مخازن بيانات Azure المستهدفة.

تلقي البيانات في حساب تخزين

• حساب Azure Storage: إذا لم يكن لديك حساب بالفعل، فيمكنك إنشاء حساب Azure Storage.
• إذن الكتابة إلى حساب التخزين، الموجود في Microsoft.Storage/storageAccounts/write. يوجد هذا الإذن في دور مساهم حساب التخزين .
• إذن لإضافة تعيين دور إلى حساب التخزين، الموجود في Microsoft.Authorization/role assignments/write. هذا الإذن موجود في دور المالك.

تلقي البيانات في هدف يستند إلى SQL

إذا اخترت تلقي البيانات في قاعدة بيانات Azure SQL، Azure Synapse Analytics، فيما يلي قائمة بالمتطلبات الأساسية.

المتطلبات الأساسية لتلقي البيانات في قاعدة بيانات Azure SQL أو Azure Synapse Analytics (المعروف سابقا باسم Azure SQL DW)

• قاعدة بيانات Azure SQL أو Azure Synapse Analytics (المعروف سابقا باسم Azure SQL DW).
• إذن الكتابة إلى قواعد البيانات على خادم SQL، الموجود في Microsoft.Sql/servers/databases/write. هذا الإذن موجود في دور المساهم .
• مسؤول Microsoft Entra لخادم SQL
• الوصول إلى جدار حماية SQL Server. يمكن القيام بذلك من خلال الخطوات التالية:
  1. في SQL Server في مدخل Microsoft Azure، انتقل إلى جدران الحماية والشبكات الظاهرية
  2. حدد نعمللسماح لخدمات وموارد Azure بالوصول إلى هذا الخادم.
  3. حدد +إضافة عنوان IP للعميل. عنوان IP للعميل عرضة للتغيير. قد تحتاج هذه العملية إلى التكرار في المرة القادمة التي تشارك فيها بيانات SQL من مدخل Microsoft Azure. يمكنك أيضا إضافة نطاق IP.
  4. حدد حفظ.

المتطلبات الأساسية لتلقي البيانات في تجمع SQL Azure Synapse Analytics (مساحة العمل)

• تجمع SQL مخصص ل Azure Synapse Analytics (مساحة العمل). لا يتم دعم تلقي البيانات في تجمع SQL بلا خادم حاليا.

• إذن للكتابة إلى تجمع SQL في مساحة عمل Synapse، الموجود في Microsoft.Synapse/workspaces/sqlPools/write. هذا الإذن موجود في دور المساهم .

• إذن للهوية المدارة لمورد مشاركة البيانات للوصول إلى تجمع SQL لمساحة عمل Synapse. يمكن القيام بذلك من خلال الخطوات التالية:

  1. في مدخل Microsoft Azure، انتقل إلى مساحة عمل Synapse. حدد مسؤول Microsoft Entra من شريط التنقل الأيسر وقم بتعيين نفسك كمسؤول Microsoft Entra.

  2. افتح Synapse Studio، وحدد إدارة من شريط التنقل الأيمن. حدد التحكم في الوصول ضمن الأمان. قم بتعيين دور مسؤول SQL أو مسؤول مساحة العمل لنفسك.

  3. في Synapse Studio، حدد تطوير من شريط التنقل الأيمن. قم بتنفيذ البرنامج النصي التالي في تجمع SQL لإضافة الهوية المدارة لمورد مشاركة البيانات ك "db_datareader أو db_datawriter أو db_ddladmin".

     create user "<share_acc_name>" from external provider; 
     exec sp_addrolemember db_datareader, "<share_acc_name>"; 
     exec sp_addrolemember db_datawriter, "<share_acc_name>"; 
     exec sp_addrolemember db_ddladmin, "<share_acc_name>";
     

     share_acc_name<> هو اسم مورد مشاركة البيانات. إذا لم تكن قد أنشأت موردا لمشاركة البيانات حتى الآن، فيمكنك الرجوع إلى هذا الشرط الأساسي لاحقا.

• الوصول إلى جدار حماية مساحة عمل Synapse. يمكن القيام بذلك من خلال الخطوات التالية:

  1. في مدخل Microsoft Azure، انتقل إلى مساحة عمل Synapse. حدد جدران الحماية من التنقل الأيمن.
  2. حدد تشغيلللسماح لخدمات وموارد Azure بالوصول إلى مساحة العمل هذه.
  3. حدد +إضافة عنوان IP للعميل. عنوان IP للعميل عرضة للتغيير. قد تحتاج هذه العملية إلى التكرار في المرة القادمة التي تشارك فيها بيانات SQL من مدخل Microsoft Azure. يمكنك أيضا إضافة نطاق IP.
  4. حدد حفظ.

تلقي البيانات في نظام مجموعة Azure Data Explorer:

• مجموعة Azure Data Explorer في نفس مركز بيانات Azure مثل مجموعة Data Explorer الخاصة بموفر البيانات: إذا لم يكن لديك واحد بالفعل، فيمكنك إنشاء مجموعة Azure Data Explorer. إذا كنت لا تعرف مركز بيانات Azure لمجموعة موفر البيانات، فيمكنك إنشاء نظام المجموعة لاحقا في العملية.
• إذن للكتابة إلى مجموعة Azure Data Explorer، الموجودة في Microsoft.Kusto/clusters/write. هذا الإذن موجود في دور المساهم.

سجِّل الدخول إلى مدخل Azure

قم بتسجيل الدخول إلى بوابة Azure.

دعوة مفتوحة

Portal

1. يمكنك فتح دعوة من البريد الإلكتروني أو مباشرة من مدخل Microsoft Azure.

   لفتح دعوة من البريد الإلكتروني، تحقق من البريد الوارد بحثا عن دعوة من موفر البيانات. الدعوة من Microsoft Azure، بعنوان دعوة Azure Data Share من yourdataprovider@domain.com. حدد على عرض الدعوة لرؤية دعوتك في Azure.

   لفتح دعوة من مدخل Microsoft Azure مباشرة، ابحث عن دعوات مشاركة البيانات في مدخل Microsoft Azure. ينقلك هذا الإجراء إلى قائمة دعوات مشاركة البيانات.

   إذا كنت مستخدما ضيفا لمستأجر، فستتم مطالبتك بالتحقق من عنوان بريدك الإلكتروني للمستأجر قبل عرض دعوة مشاركة البيانات للمرة الأولى. بمجرد التحقق منه، يكون صالحا لمدة 12 شهرا.

   

2. حدد الدعوة التي ترغب في عرضها.

Azure CLI

قم بإعداد بيئة Azure CLI ثم عرض دعواتك.

بدء إعداد البيئة الخاصة بك لـ Azure CLI:

• استخدم بيئة Bash في Azure Cloud Shell. لمزيد من المعلومات، راجع بدء استخدام Azure Cloud Shell.

  

• إذا كنت تفضل تشغيل أوامر مرجع CLI محلياً قم بتثبيت CLI Azure. إذا كنت تعمل على نظام تشغيل Windows أو macOS، ففكر في تشغيل Azure CLI في حاوية Docker. لمزيد من المعلومات، راجع كيفية تشغيل Azure CLI في حاوية Docker.

  • إذا كنت تستخدم تثبيت محلي، يُرجى تسجيل الدخول إلى Azure CLI مستخدمًا أمر az login. لإنهاء عملية المصادقة، اتبع الخطوات المعروضة في جهازك. للحصول على خيارات تسجيل الدخول الأخرى، راجع المصادقة على Azure باستخدام Azure CLI.

  • عندما يُطلب منك، قم بتثبيت ملحق Azure CLI عند الاستخدام لأول مرة. لمزيد من المعلومات حول الملحقات، راجع استخدام الملحقات وإدارتها باستخدام Azure CLI.

  • يُرجى تشغيل إصدار az للوصول إلى الإصدار والمكتبات التابعة التي تم تثبيتها. للتحديث لآخر إصدار، يُرجى تشغيل تحديث az.

قم بتشغيل الأمر az datashare consumer-invitation list-invitation لرؤية دعواتك الحالية:

az datashare consumer-invitation list-invitation

انسخ معرف الدعوة لاستخدامه في القسم التالي.

بوويرشيل

ابدأ بإعداد بيئتك ل PowerShell. يمكنك إما تشغيل أوامر PowerShell محليا أو استخدام بيئة Bash في Azure Cloud Shell.

• إذا اخترت استخدام Azure PowerShell محليا:
  • تثبيت أحدث إصدار من الوحدة النمطية Az PowerShell.
  • اتصل بحساب Azure الخاص بك باستخدامConnect-AzAccount cmdlet.
• إذا اخترت استخدام Azure Cloud Shell:
  • لمزيد من المعلومات، راجع نظرة عامة على Azure Cloud Shell.

1. استخدم الأمر Connect-AzAccount للاتصال بحساب Azure الخاص بك.

   Connect-AzAccount
   

2. قم بتشغيل الأمر Set-AzContext لتعيين الاشتراك الصحيح، إذا كان لديك اشتراكات متعددة.

   Set-AzContext [SubscriptionID/SubscriptionName]
   

3. قم بتشغيل الأمر Get-AzDataShareReceivedInvitation لرؤية دعواتك الحالية:

   Get-AzDataShareReceivedInvitation
   

انسخ معرف الدعوة لاستخدامه في القسم التالي.

قبول الدعوة

Portal

1. تأكد من مراجعة جميع الحقول، بما في ذلك شروط الاستخدام. إذا وافقت على شروط الاستخدام، سيطلب منك تحديد المربع للإشارة إلى موافقتك.

   

2. ضمن حساب مشاركة البيانات المستهدف، حدد مجموعة الاشتراك والموارد التي ستقوم بنشر مشاركة البيانات فيها.

   بالنسبة إلى حقل حساب مشاركة البيانات ، حدد إنشاء جديد إذا لم يكن لديك حساب مشاركة بيانات حالي. وبخلاف ذلك، اختر حسابا حاليا لمشاركة البيانات تريد قبول مشاركة البيانات فيه.

   بالنسبة لحقل اسم المشاركة المستلمة ، يمكنك ترك الإعداد الافتراضي المحدد بواسطة البيانات التي توفرها البيانات، أو تحديد اسم جديد للمشاركة المستلمة.

   بمجرد الموافقة على شروط الاستخدام وتحديد حساب مشاركة البيانات لإدارة حصتك المستلمة، حدد قبول وتكوين. سيتم إنشاء اشتراك في المشاركة.

   

   ينقلك هذا الإجراء إلى المشاركة المستلمة في حساب مشاركة البيانات الخاص بك.

   إذا كنت لا تريد قبول الدعوة، فحدد رفض.

استخدم الأمر az datashare share-subscription create لإنشاء مشاركة البيانات.

az datashare share-subscription create --resource-group share-rg \
  --name "fabrikamsolutions" --account-name FabrikamDataShareAccount \
  --invitation-id 89abcdef-0123-4567-89ab-cdef01234567 \
  --source-share-location "East US 2"

بوويرشيل

استخدم الأمر New-AzDataShareSubscription لإنشاء مشاركة البيانات. سيكون InvitationId هو المعرف الذي جمعته من الخطوة السابقة.

New-AzDataShareSubscription -ResourceGroupName share-rg -AccountName FabrikamDataShareAccount -Name "Fabrikam Solutions" -InvitationId "89abcdef-0123-4567-89ab-cdef01234567"

تكوين المشاركة المستلمة

Portal

اتبع الخطوات أدناه لضبط المكان الذي تريد تلقي البيانات فيه.

1. حدد علامة التبويب مجموعات البيانات . ضع علامة في المربع بجوار مجموعة البيانات التي ترغب في تعيين وجهة لها. حدد + خريطة للاستهداف لاختيار مخزن بيانات مستهدف.

   

2. اختر نوع مخزن البيانات المستهدف الذي تريد أن تصل إليه البيانات. سيتم استبدال أي ملفات بيانات أو جداول في مخزن البيانات الهدف بنفس المسار والاسم. إذا كنت تتلقى بيانات في قاعدة بيانات Azure SQL أو Azure Synapse Analytics (المعروف سابقا باسم Azure SQL DW)، فحدد خانة الاختيار السماح لمشاركة البيانات بتشغيل البرنامج النصي "إنشاء مستخدم" أعلاه نيابة عني.

   للمشاركة الموضعية، حدد مخزن بيانات في الموقع المحدد. الموقع هو مركز بيانات Azure حيث يوجد مخزن البيانات المصدر لموفر البيانات. بمجرد تعيين مجموعة البيانات، يمكنك اتباع الرابط الموجود في المسار المستهدف للوصول إلى البيانات.

   

3. بالنسبة للمشاركة المستندة إلى اللقطات، إذا قام موفر البيانات بإنشاء جدول لقطة لتوفير تحديث منتظم للبيانات، فيمكنك أيضا تمكين جدول اللقطات عن طريق تحديد علامة التبويب جدول اللقطة . حدد المربع بجوار جدول اللقطات وحدد + تمكين. ستبدأ اللقطة المجدولة الأولى في غضون دقيقة واحدة من وقت الجدول وستبدأ اللقطات اللاحقة في غضون ثوان من الوقت المجدول.

   

   لا تستمر البيانات الوصفية للملفات المنسوخة بعد كل تشغيل. وهو كذلك بسبب طبيعة تصميمه.

استخدم هذه الأوامر لتكوين المكان الذي تريد تلقي البيانات فيه.

1. قم بتشغيل الأمر az datashare consumer-source-data-set list للحصول على معرف مجموعة البيانات:

   az datashare consumer-source-data-set list --resource-group "share-rg" \
    --account-name "FabrikamDataShareAccount" \
      --share-subscription-name "fabrikamsolutions" \
   

2. إذا كنت بحاجة إلى حساب تخزين، فقم بتشغيل الأمر az storage account create لإنشاء حساب تخزين لمشاركة البيانات هذه:

   az storage account create --resource-group "share-rg" --name "FabrikamDataShareStorageAccount" \
   

3. استخدم الأمر az storage account show للحصول على معرف حساب التخزين:

   az storage account show --resource-group "share-rg" --name "FabrikamDataShareStorageAccount" \
    --query "id"
   

4. استخدم الأمر التالي للحصول على المعرف الأساسي للحساب:

   az datashare account show --resource-group "share-rg" --name "FabrikamDataShareAccount" \
     --query "identity.principalId"
   

5. استخدم الأمر az role assignment create لإنشاء تعيين دور لكيان الحساب باستخدام معرف كيان الحساب ومعرف حساب التخزين الخاص بك:

   az role assignment create --role "Contributor" \
     --assignee-object-id aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb 
     --assignee-principal-type ServicePrincipal --scope "your\storage\account\id\path"
   

6. قم بإنشاء متغير للتعيين استنادا إلى معرف مجموعة البيانات من الخطوة 1:

   $mapping='{\"data_set_id\":\"' + $dataset_id + '\",\"container_name\":\"newcontainer\",
     \"storage_account_name\":\"datashareconsumersa\",\"kind\":\"BlobFolder\",\"prefix\":\"consumer\"}'
   

7. استخدم الأمر az datashare data-set-mapping create لإنشاء تعيين مجموعة البيانات:

   az datashare data-set-mapping create --account-name "FabrikamDataShareAccount" \
    --data-set-mapping-name "datasetmapping" --resource-group "share-rg" \
    --share-subscription-name "fabrikamsolutions" --blob-folder-data-set-mapping $mapping
   

8. قم بتشغيل الأمر az datashare share-subscription synchronize لبدء مزامنة مجموعة البيانات.

   az datashare share-subscription synchronize \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount"  \
     --name "Fabrikam Solutions" --synchronization-mode "Incremental" \
   

   قم بتشغيل الأمر az datashare share-subscription list-synchronization لرؤية قائمة بعمليات المزامنة:

   az datashare share-subscription list-synchronization \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount" \
     --share-subscription-name "Fabrikam Solutions" \
   

   استخدم الأمر az datashare share-subscription list-source-share-synchronization-setting لرؤية إعدادات المزامنة التي تم تعيينها على مشاركتك.

   az datashare share-subscription list-source-share-synchronization-setting \
     --resource-group "share-rg" --account-name "FabrikamDataShareAccount" \
     --share-subscription-name "Fabrikam Solutions"
   

بوويرشيل

استخدم هذه الأوامر لتكوين المكان الذي تريد تلقي البيانات فيه.

1. قم بتشغيل الأمر Get-AzDataShareSourceDataSet للحصول على معرف مجموعة البيانات:

   Get-AzDataShareSourceDataSet -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions"
   

2. إذا لم يكن لديك بالفعل موقع إلكتروني تريد تخزين البيانات المشتركة فيه، يمكنك اتباع هذه الخطوات لإنشاء حساب تخزين. إذا كان لديك مساحة تخزين بالفعل، يمكنك التخطي إلى الخطوات التالية.

   1. قم بتشغيل الأمر New-AzStorageAccount لإنشاء حساب Azure Storage:

      $storageAccount = New-AzStorageAccount -ResourceGroupName "share-rg" -AccountName FabrikamStorageAccount -Location "East US 2" -SkuName Standard_GRS
      
      $ctx = $storageAccount.Context
      

   2. قم بتشغيل الأمر New-AzStorageContainer لإنشاء حاوية في حساب Azure Storage الجديد الذي سيحتوي على بياناتك:

      $containerName = "StorageContainer"
      
      New-AzStorageContainer -Name $containerName -Context $ctx -Permission blob
      

   3. قم بتشغيل الأمر Set-AzStorageBlobContent لتحميل ملف. يقوم المثال التالي بتحميلtextfile.csv من المجلد D:\testFiles على الذاكرة المحلية إلى الحاوية التي قمت بإنشائها.

      Set-AzStorageBlobContent -File "D:\testFiles\textfile.csv" -Container $containerName -Blob "textfile.csv" -Context $ctx
      

   لمزيد من المعلومات حول العمل مع Azure Storage في PowerShell، اتبع دليل Azure Storage PowerShell هذا.

3. استخدم الأمر Get-AzStorageAccount للحصول على معرف حساب التخزين:

   Get-AzStorageAccount -ResourceGroupName "share-rg" -Name FabrikamStorageAccount
   

4. استخدم معرف مجموعة البيانات من الخطوة الأولى، ثم قم بتشغيل الأمر New-AzDataShareDataSetMapping لإنشاء تعيين مجموعة البيانات:

   New-AzDataShareDataSetMapping -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions" -Name "Fabrikam Solutions" -StorageAccountResourceId "aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb"  -DataSetId "0123abcd-ef01-2345-6789-abcdef012345"  -Container "StorageContainer"
   

5. قم بتشغيل الأمر Start-AzDataShareSubscriptionSynchronization لبدء مزامنة مجموعة البيانات.

   Start-AzDataShareSubscriptionSynchronization -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions" -SynchronizationMode "Incremental"
   

   قم بتشغيل الأمر Get-AzDataShareSubscriptionSynchronization لرؤية قائمة بعمليات المزامنة:

   Get-AzDataShareSubscriptionSynchronization -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions"
   

   استخدم الأمر Get-AzDataShareSubscriptionSynchronizationDetail للاطلاع على إعدادات المزامنة التي تم تعيينها على مشاركتك.

   Get-AzDataShareSubscriptionSynchronizationDetail -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -ShareSubscriptionName "fabrikamsolutions" -SynchronizationId "a6ee5c8d-0ce0-485e-b2f2-966b187dc6c7"
   

تشغيل لقطة

Portal

تنطبق هذه الخطوات فقط على المشاركة المستندة إلى اللقطات.

1. يمكنك تشغيل لقطة عن طريق تحديد علامة التبويب التفاصيل متبوعة بلقطة المشغل. هنا ، يمكنك تشغيل لقطة كاملة أو متزايدة لبياناتك. إذا كانت هذه هي المرة الأولى التي تتلقى فيها بيانات من موفر البيانات الخاص بك، فحدد النسخة الكاملة.

   

2. عندما تكون حالة التشغيل الأخيرة ناجحة، انتقل إلى مخزن البيانات المستهدف لعرض البيانات المستلمة. حدد مجموعات البيانات، وحدد الارتباط في المسار الهدف.

   

قم بتشغيل الأمر az datashare trigger create لتشغيل لقطة:

az datashare trigger create --account-name "FabrikamDataShareAccount" --resource-group "share-rg" --share-subscription-name "Fabrikam Solutions" --scheduled-trigger recurrence-interval="Day" synchronization-mode="Incremental" synchronization-time="2018-11-14T04:47:52.9614956Z" --name "Trigger1"

بوويرشيل

تنطبق هذه الخطوات فقط على المشاركة المستندة إلى اللقطات.

قم بتشغيل الأمر New-AzDataShareTrigger لتشغيل لقطة:

New-AzDataShareTrigger -ResourceGroupName "share-rg" -AccountName "FabrikamDataShareAccount" -Name "Fabrikam Solutions" -RecurrenceInterval "Day" -SynchronizationTime "2018-11-14T04:47:52.9614956Z"

عرض السجل

تنطبق هذه الخطوة فقط على المشاركة المستندة إلى اللقطة. لعرض سجل اللقطات الخاصة بك، حدد علامة التبويب المحفوظات . ستجد هنا سجل لجميع اللقطات التي تم إنشاؤها خلال ال 30 يوما الماضية.

تنظيف الموارد

عندما لا تكون هناك حاجة إلى المورد، انتقل إلى صفحة نظرة عامة على مشاركة البيانات، وحدد حذف لإزالته.

الخطوات التالية

في هذا البرنامج التعليمي، تعلمت كيفية قبول مشاركة بيانات Azure وتلقيها. لمعرفة المزيد حول مفاهيم Azure Data Share، تابع إلى مصطلحات مشاركة بيانات Azure.

مفاهيم مشاركة بيانات Azure