مشاركة عبر

التشغيل السريع: تبادل البيانات التفاعلية مع Apache Spark في Azure التعلم الآلي

  • مقالة

للتعامل مع تشابك بيانات دفتر ملاحظات Azure التعلم الآلي التفاعلي، يوفر تكامل Azure التعلم الآلي مع Azure Synapse Analytics وصولا سهلا إلى إطار عمل Apache Spark. يسمح هذا الوصول بتشابك البيانات التفاعلية ل Azure التعلم الآلي Notebook.

في دليل التشغيل السريع هذا، ستتعلم كيفية إجراء تشابك البيانات التفاعلية مع Azure التعلم الآلي حساب Spark بلا خادم وحساب تخزين Azure Data Lake Storage (ADLS) Gen 2 ومرور هوية المستخدم.

المتطلبات الأساسية

  • اشتراك Azure؛ إذا لم يكن لديك اشتراك Azure، فبادر بإنشاء حساب مجاني قبل البدء.
  • مساحة عمل للتعلم الآلي من Microsoft Azure. تفضل بزيارة إنشاء موارد مساحة العمل.
  • حساب تخزين Azure Data Lake Storage (ADLS) Gen 2. تفضل بزيارة إنشاء حساب تخزين Azure Data Lake Storage (ADLS) Gen 2.

تخزين بيانات اعتماد حساب تخزين Azure كأسرار في Azure Key Vault

لتخزين بيانات اعتماد حساب تخزين Azure كأسرار في Azure Key Vault، باستخدام واجهة مستخدم مدخل Microsoft Azure:

  1. انتقل إلى Azure Key Vault في مدخل Microsoft Azure

  2. حدد Secrets من اللوحة اليسرى

  3. حدد + إنشاء/استيراد

    لقطة شاشة تعرض علامة التبويب Azure Key Vault Secrets Generate or Import.

  4. في شاشة إنشاء بيانات سرية، أدخل اسماللبيانات السرية التي تريد إنشاؤها

  5. انتقل إلى Azure Blob Storage Account، في مدخل Microsoft Azure، كما هو موضح في هذه الصورة:

    لقطة شاشة تعرض مفتاح الوصول إلى Azure وشاشة قيم سلسلة الاتصال.

  6. حدد Access keys من اللوحة اليسرى لصفحة Azure Blob Storage Account

  7. حدد إظهار بجوار المفتاح 1، ثم نسخ إلى الحافظة للحصول على مفتاح الوصول إلى حساب التخزين

    إشعار

    حدد الخيارات المناسبة للنسخ

    • الرموز المميزة لتوقيع الوصول المشترك لحاوية تخزين Azure Blob (SAS)
    • بيانات اعتماد كيان خدمة حساب تخزين Azure Data Lake Storage (ADLS) Gen 2
      • معرف المستأجر
      • معرف العميل و
      • سري

    على واجهات المستخدم المعنية أثناء إنشاء أسرار Azure Key Vault لهم

  8. الانتقال مرة أخرى إلى شاشة إنشاء بيانات سرية

  9. في مربع النص Secret value أدخل بيانات اعتماد مفتاح الوصول لحساب تخزين Azure، الذي تم نسخه إلى الحافظة في الخطوة السابقة

  10. حدد إنشاء.

    لقطة شاشة تعرض شاشة إنشاء بيانات Azure السرية.

تلميح

يمكن أيضا لمكتبة العميل السرية Azure CLI وAzure Key Vault ل Python إنشاء أسرار Azure Key Vault.

إضافة تعيينات الأدوار في حسابات تخزين Azure

يجب علينا التأكد من إمكانية الوصول إلى مسارات بيانات الإدخال والإخراج قبل أن نبدأ في تشابك البيانات التفاعلية. أولا، ل

  • هوية المستخدم لمستخدم جلسة عمل دفاتر الملاحظات الذي قام بتسجيل الدخول

    أو

  • كيان الخدمة

تعيين أدوار قارئ البيانات الثنائية كبيرة الحجم لقارئ سعة التخزين إلى هوية المستخدم للمستخدم الذي قام بتسجيل الدخول. ومع ذلك، في بعض السيناريوهات، قد نرغب في كتابة البيانات المتشابكة مرة أخرى إلى حساب تخزين Azure. يوفر دور قارئ بيانات القارئ والتخزين Blob الوصول للقراءة فقط إلى هوية المستخدم أو كيان الخدمة. لتمكين الوصول للقراءة والكتابة، قم بتعيين أدوار المساهم و Storage Blob Data Contributor إلى هوية المستخدم أو كيان الخدمة. لتعيين الأدوار المناسبة لهوية المستخدم:

  1. فتح مدخل Microsoft Azure

  2. البحث عن خدمة حسابات التخزين وتحديدها

    لقطة شاشة قابلة للتوسيع تعرض البحث عن خدمة حسابات التخزين واختيارها في مدخل Microsoft Azure.

  3. في صفحة Storage accounts ، حدد حساب تخزين Azure Data Lake Storage (ADLS) Gen 2 من القائمة. يتم فتح صفحة تعرض نظرة عامة على حساب التخزين

    لقطة شاشة قابلة للتوسيع تعرض تحديد حساب تخزين حساب تخزين Azure Data Lake Storage (ADLS) Gen 2.

  4. حدد Access Control (IAM) من اللوحة اليسرى

  5. حدد "إضافة تعيين دور"

    لقطة شاشة تعرض شاشة مفاتيح الوصول إلى Azure.

  6. البحث عن دور Storage Blob Data Contributor وتحديده

  7. حدد التالي

    لقطة شاشة تعرض شاشة Azure add role assignment.

  8. حدد المستخدم أو المجموعة أو كيان الخدمة

  9. حدد + Select members

  10. البحث عن هوية المستخدم أدناه حدد

  11. حدد هوية المستخدم من القائمة، بحيث تظهر ضمن الأعضاء المحددين

  12. حدد هوية المستخدم المناسبة

  13. حدد التالي

    لقطة شاشة تعرض علامة التبويب

  14. حدد Review + Assign

    لقطة شاشة تعرض مراجعة شاشة تعيين دور Azure وتعيين علامة التبويب.

  15. كرر الخطوات من 2 إلى 13 لتعيين دور المساهم

بمجرد تعيين الأدوار المناسبة لهوية المستخدم، يجب أن تصبح البيانات في حساب تخزين Azure قابلة للوصول.

إشعار

إذا كان تجمع Synapse Spark المرفق يشير إلى تجمع Synapse Spark، في مساحة عمل Azure Synapse، التي تحتوي على شبكة ظاهرية مدارة مقترنة به، يجب تكوين نقطة نهاية خاصة مدارة إلى حساب تخزين لضمان الوصول إلى البيانات.

ضمان الوصول إلى الموارد لوظائف Spark

للوصول إلى البيانات والموارد الأخرى، يمكن لمهام Spark استخدام هوية مدارة أو مرور هوية المستخدم. يلخص الجدول التالي الآليات المختلفة للوصول إلى الموارد أثناء استخدام Azure التعلم الآلي حساب Spark بلا خادم وتجمع Synapse Spark المرفق.

تجمع Spark الهويات المدعومة الهوية الافتراضية
حساب Spark بلا خادم هوية المستخدم، الهوية المدارة المعينة من قبل المستخدم والمرفقة بمساحة العمل هوية المستخدم
تجمع Synapse Spark المرفق هوية المستخدم، الهوية المدارة المعينة من قبل المستخدم المرفقة بتجمع Synapse Spark المرفق، الهوية المدارة المعينة من قبل النظام لتجمع Synapse Spark المرفق الهوية المدارة المعينة من قبل النظام لتجمع Synapse Spark المرفق

إذا كان رمز CLI أو SDK يحدد خيارا لاستخدام الهوية المدارة، فإن حساب Azure التعلم الآلي Spark بلا خادم يعتمد على هوية مدارة يعينها المستخدم ومرفقة بمساحة العمل. يمكنك إرفاق هوية مدارة معينة من قبل المستخدم إلى مساحة عمل Azure التعلم الآلي موجودة باستخدام Azure التعلم الآلي CLI v2، أو مع ARMClient.

الخطوات التالية