مشاركة عبر

حزم مساحة العمل

  • مقالة

يمكن أن تكون حزم مساحة العمل ملفات عجلة مخصصة أو خاصة (Python) أو jar (Scala/Java) أو tar.gz (R). يمكنك تحميل هذه الحزم إلى مساحة العمل الخاصة بك وتعيينها لاحقًا إلى تجمع Spark معين.

لإضافة حزم مساحة العمل:

  1. انتقل إلى علامة التبويب إدارة>حزم مساحة العمل.
  2. قم بتحميل ملفات العجلة باستخدام محدد الملفات.
  3. بمجرد تحميل الملفات إلى مساحة عمل Azure Synapse، يمكنك إضافة هذه الحزم إلى تجمع Apache Spark معين.

لقطة شاشة تركز على حزم مساحة العمل.

تحذير

  • داخل Azure Synapse، يمكن لتجمع Apache Spark الاستفادة من المكتبات المخصصة التي يتم تحميلها إما كحزم مساحة عمل أو تحميلها داخل مسار Azure Data Lake Storage معروف. ومع ذلك، لا يمكن استخدام كلا الخيارين في وقت واحد داخل نفس تجمع Apache Spark. إذا تم توفير الحزم باستخدام كلتا الطريقتين، فسيتم تثبيت ملفات العجلة المحددة في قائمة حزم مساحة العمل فقط.

  • بمجرد استخدام حزم مساحة العمل لتثبيت الحزم على تجمع Apache Spark معين، هناك قيود على أنه لم يعد بإمكانك تحديد الحزم باستخدام مسار حساب التخزين على نفس التجمع.

ملاحظة

يوصى بعدم وجود حزم عجلات متعددة بنفس الاسم في مساحة العمل. إذا كنت ترغب في استخدام إصدار مختلف من حزمة العجلة نفسها، يجب عليك حذف الإصدار الحالي وتحميل الإصدار الجديد.

حساب التخزين

يمكن تثبيت حزم العجلات المصممة خصيصًا على تجمع Apache Spark عن طريق تحميل جميع ملفات العجلة في حساب Azure Data Lake Storage (Gen2) المرتبط بمساحة عمل Synapse.

يجب تحميل الملفات إلى المسار التالي في الحاوية الافتراضية لحساب التخزين:

abfss://<file_system>@<account_name>.dfs.core.windows.net/synapse/workspaces/<workspace_name>/sparkpools/<pool_name>/libraries/python/

تحذير

  • في بعض الحالات، قد تحتاج إلى إنشاء مسار الملف استنادًا إلى البنية أعلاه إذا لم يكن موجودًا بالفعل. على سبيل المثال، قد تحتاج إلى إضافة المجلد python داخل المجلد libraries إذا لم يكن موجودًا بالفعل.
  • لن يتم دعم هذه الطريقة لإدارة ملفات العجلة المخصصة في وقت تشغيل Azure Synapse لـ Apache Spark 3.0. يرجى الرجوع إلى ميزة حزم مساحة العمل لإدارة ملفات العجلة المخصصة.

هام

لتثبيت مكتبات مخصصة باستخدام أسلوب Azure DataLake Storage، يجب أن تكون لديك أذونات مساهم بيانات Storage Blob أو مالك بيانات Storage Blob على حساب تخزين الجيل الثاني الأساسي المرتبط بمساحة عمل Azure Synapse Analytics.

الخطوات التالية