تشغيل البرامج النصية U-SQL على جهازك المحلي
هام
تم إيقاف Azure Data Lake Analytics في 29 فبراير 2024. تعرف على المزيد من خلال هذا الإعلان.
بالنسبة لتحليلات البيانات، يمكن لمؤسستك استخدام Azure Synapse Analytics أو Microsoft Fabric.
عند تطوير البرامج النصية U-SQL، يمكنك توفير الوقت والنفقات عن طريق تشغيل البرامج النصية محليا. تدعم Azure Data Lake Tools ل Visual Studio تشغيل البرامج النصية U-SQL على جهازك المحلي.
المفاهيم الأساسية للشواط المحلية
يوضح المخطط التالي مكونات التشغيل المحلي وكيفية تعيين هذه المكونات إلى تشغيل السحابة.
| المكونات | تشغيل داخلي | تشغيل السحابة |
|---|---|---|
| التخزين | مجلد جذر البيانات المحلية | حساب Azure Data Lake Store الافتراضي |
| Compute | محرك التشغيل المحلي U-SQL | خدمة Azure Data Lake Analytics |
| تشغيل البيئة | دليل العمل على الجهاز المحلي | مجموعة Azure Data Lake Analytics |
توفر الأقسام التالية مزيدا من المعلومات حول مكونات التشغيل المحلية.
مجلدات جذر البيانات المحلية
مجلد جذر البيانات المحلية هو مخزن محلي لحساب الحساب المحلي. يمكن أن يكون أي مجلد في نظام الملفات المحلي على جهازك المحلي مجلد جذر بيانات محلي. إنه نفس حساب Azure Data Lake Store الافتراضي لحساب Data Lake Analytics. يعد التبديل إلى مجلد جذر بيانات مختلف تماما مثل التبديل إلى حساب مخزن افتراضي مختلف.
يتم استخدام مجلد جذر البيانات كما يلي:
- تخزين بيانات التعريف. ومن الأمثلة على ذلك قواعد البيانات والجداول والوظائف ذات القيمة الجدولية والتجميعات.
- ابحث عن مسارات الإدخال والإخراج التي تم تعريفها على أنها مسارات نسبية في البرامج النصية U-SQL. باستخدام المسارات النسبية، من الأسهل نشر البرامج النصية U-SQL إلى Azure.
محركات التشغيل المحلية U-SQL
محرك التشغيل المحلي U-SQL هو حساب حساب محلي لوظائف U-SQL. يمكن للمستخدمين تشغيل وظائف U-SQL محليا من خلال Azure Data Lake Tools ل Visual Studio. يتم دعم عمليات التشغيل المحلية أيضا من خلال سطر أوامر Azure Data Lake U-SQL SDK وواجهات البرمجة. تعرف على المزيد حول Azure Data Lake U-SQL SDK.
دلائل العمل
عند تشغيل برنامج نصي U-SQL، يلزم وجود مجلد دليل عامل لتخزين نتائج التحويل البرمجي مؤقتا وتشغيل السجلات وتنفيذ وظائف أخرى. في Azure Data Lake Tools ل Visual Studio، دليل العمل هو دليل عمل مشروع U-SQL. إنه يقع ضمن <U-SQL project root path>/bin/debug>. يتم تنظيف دليل العمل في كل مرة يتم فيها تشغيل جديد.
عمليات التشغيل المحلية في Microsoft Visual Studio
تحتوي Azure Data Lake Tools ل Visual Studio على محرك تشغيل محلي مضمن. تظهر الأدوات المحرك كحساب حساب محلي. لتشغيل برنامج نصي U-SQL محليا، حدد حساب Local-machine أو Local-project في القائمة المنسدلة هامش محرر البرنامج النصي. ثم حدد إرسال.
تشغيل محلي باستخدام حساب جهاز محلي
حساب الجهاز المحلي هو حساب حساب محلي مشترك مع مجلد جذر بيانات محلي واحد كحساب مخزن محلي. بشكل افتراضي، يوجد مجلد جذر البيانات في C:\Users<username>\AppData\Local\USQLDataRoot. كما أنه قابل للتكوين من خلال Tools>Data Lake>Options and Settings.
مطلوب مشروع U-SQL للتشغيل المحلي. يتم استخدام دليل عمل مشروع U-SQL لدليل عمل التشغيل المحلي U-SQL. يتم إنشاء نتائج التحويل البرمجي وسجلات التشغيل والملفات الأخرى المتعلقة بتشغيل الوظيفة وتخزينها ضمن مجلد دليل العمل أثناء التشغيل المحلي. في كل مرة تقوم فيها بإعادة تشغيل البرنامج النصي، يتم تنظيف جميع الملفات في دليل العمل وإعادة إنشائها.
عمليات التشغيل المحلية باستخدام حساب مشروع محلي
حساب المشروع المحلي هو حساب حساب محلي معزول عن المشروع لكل مشروع مع مجلد جذر بيانات محلي معزول. يحتوي كل مشروع U-SQL نشط يفتح في مستكشف الحلول في Visual Studio على حساب مطابق(Local-project: <project name>). يتم سرد الحسابات في كل من Server Explorer في Visual Studio وهامش محرر البرنامج النصي U-SQL.
يوفر حساب المشروع المحلي بيئة تطوير نظيفة ومعزولة. يحتوي حساب الجهاز المحلي على مجلد جذر بيانات محلي مشترك يخزن بيانات التعريف وبيانات الإدخال والإخراج لجميع الوظائف المحلية. ولكن حساب مشروع محلي ينشئ مجلد جذر بيانات محلي مؤقت ضمن دليل عمل مشروع U-SQL في كل مرة يتم فيها تشغيل برنامج نصي U-SQL. يتم تنظيف مجلد جذر البيانات المؤقت هذا عند حدوث إعادة إنشاء أو إعادة تشغيل.
يدير مشروع U-SQL بيئة التشغيل المحلية المعزولة من خلال مرجع المشروع وخاصية . يمكنك تكوين مصادر بيانات الإدخال للنصوص U-SQL في كل من المشروع وبيئات قاعدة البيانات المشار إليها.
إدارة مصدر بيانات الإدخال لحساب مشروع محلي
يقوم مشروع U-SQL بإنشاء مجلد جذر بيانات محلي وإعداد البيانات لحساب مشروع محلي . يتم تنظيف مجلد جذر البيانات المؤقت وإعادة إنشائه ضمن دليل عمل مشروع U-SQL في كل مرة تحدث فيها إعادة إنشاء وتشغيل محلي. يتم نسخ جميع مصادر البيانات التي تم تكوينها بواسطة مشروع U-SQL إلى مجلد جذر البيانات المحلي المؤقت هذا قبل تشغيل المهمة المحلية.
يمكنك تكوين المجلد الجذر لمصادر البيانات الخاصة بك. انقر بزر الماوس الأيمن فوق U-SQL project>Property>Test Data Source. عند تشغيل برنامج نصي U-SQL على حساب مشروع محلي ، يتم نسخ جميع الملفات والمجلدات الفرعية في مجلد مصدر بيانات الاختبار إلى مجلد جذر البيانات المحلية المؤقتة. يتم تضمين الملفات ضمن المجلدات الفرعية. بعد تشغيل مهمة محلية، يمكن أيضا العثور على نتائج الإخراج ضمن مجلد جذر البيانات المحلية المؤقتة في دليل عمل المشروع. يتم حذف كل هذا الإخراج وتنظيفه عند إعادة بناء المشروع وتنظيفه.
إدارة بيئة قاعدة بيانات مرجعية لحساب مشروع محلي
إذا كان استعلام U-SQL يستخدم أو يستعلم مع كائنات قاعدة بيانات U-SQL، فيجب عليك جعل بيئات قاعدة البيانات جاهزة محليا قبل تشغيل البرنامج النصي U-SQL محليا. بالنسبة لحساب مشروع محلي ، يمكن إدارة تبعيات قاعدة بيانات U-SQL بواسطة مراجع مشروع U-SQL. يمكنك إضافة مراجع مشروع قاعدة بيانات U-SQL إلى مشروع U-SQL الخاص بك. قبل تشغيل البرامج النصية U-SQL على حساب مشروع محلي ، يتم نشر جميع قواعد البيانات المشار إليها إلى مجلد جذر البيانات المحلية المؤقت. وبالنسبة لكل تشغيل، يتم تنظيف مجلد جذر البيانات المؤقت كبيئة معزولة جديدة.
راجع هذه المقالة ذات الصلة:
- تعرف على كيفية إدارة تعريفات ومراجع قاعدة بيانات U-SQL في مشاريع قاعدة بيانات U-SQL.
الفرق بين حسابات الجهاز المحليوالمشروع المحلي
يحاكي حساب الجهاز المحلي حساب Azure Data Lake Analytics على الأجهزة المحلية للمستخدمين. وهو يشارك نفس التجربة مع حساب Azure Data Lake Analytics. يوفر حساب المشروع المحلي بيئة تطوير محلية سهلة الاستخدام. تساعد هذه البيئة المستخدمين على نشر مراجع قاعدة البيانات وبيانات الإدخال قبل تشغيل البرامج النصية محليا. يوفر حساب الجهاز المحلي بيئة دائمة مشتركة يمكن الوصول إليها من خلال جميع المشاريع. يوفر حساب المشروع المحلي بيئة تطوير معزولة لكل مشروع. يتم تحديثه لكل تشغيل. يوفر حساب المشروع المحلي تجربة تطوير أسرع من خلال تطبيق تغييرات جديدة بسرعة.
يتم عرض المزيد من الاختلافات بين حسابات الجهاز المحليوالمشروع المحلي في الجدول التالي:
| زاوية الفرق | الجهاز المحلي | مشروع محلي |
|---|---|---|
| الوصول المحلي | يمكن الوصول إليها من قبل جميع المشاريع. | يمكن فقط للمشروع المقابل الوصول إلى هذا الحساب. |
| مجلد جذر البيانات المحلية | مجلد محلي دائم. تم تكوينه من خلال Tools>Data Lake>Options and Settings. | مجلد مؤقت تم إنشاؤه لكل تشغيل محلي ضمن دليل عمل مشروع U-SQL. يتم تنظيف المجلد عند حدوث إعادة إنشاء أو إعادة تشغيل. |
| إدخال البيانات لبرنامج نصي U-SQL | المسار النسبي ضمن مجلد جذر البيانات المحلية الدائمة. | تعيين من خلال خاصية >مشروع U-SQLاختبار مصدر البيانات. يتم نسخ جميع الملفات والمجلدات الفرعية إلى مجلد جذر البيانات المؤقت قبل التشغيل المحلي. |
| بيانات الإخراج لبرنامج نصي U-SQL | المسار النسبي ضمن المجلد الجذر للبيانات المحلية الدائمة. | الإخراج إلى مجلد جذر البيانات المؤقت. يتم تنظيف النتائج عند حدوث إعادة إنشاء أو إعادة تشغيل. |
| نشر قاعدة البيانات المشار إليها | لا يتم نشر قواعد البيانات المشار إليها تلقائيا عند التشغيل مقابل حساب جهاز محلي . الأمر نفسه بالنسبة إلى الإرسال إلى حساب Azure Data Lake Analytics. | يتم نشر قواعد البيانات المشار إليها إلى حساب المشروع المحلي تلقائيا قبل التشغيل المحلي. يتم تنظيف جميع بيئات قاعدة البيانات وإعادة توزيعها عند حدوث إعادة إنشاء أو إعادة تشغيل. |
تشغيل محلي باستخدام U-SQL SDK
يمكنك تشغيل البرامج النصية U-SQL محليا في Visual Studio واستخدام Azure Data Lake U-SQL SDK لتشغيل البرامج النصية U-SQL محليا باستخدام سطر الأوامر وواجهات البرمجة. من خلال هذه الواجهات، يمكنك أتمتة عمليات التشغيل والاختبارات المحلية U-SQL.
تعرف على المزيد حول Azure Data Lake U-SQL SDK.