إشعار
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تسجيل الدخول أو تغيير الدلائل.
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تغيير الدلائل.
ينطبق على:
Azure Data Factory 
Azure Synapse Analytics
تلميح
Data Factory في Microsoft Fabric هو الجيل القادم من Azure Data Factory، مع بنية أبسط، وذكاء اصطناعي مدمج، وميزات جديدة. إذا كنت جديدا في تكامل البيانات، ابدأ مع Fabric Data Factory. يمكن لأعباء عمل ADF الحالية الترقية إلى Fabric للوصول إلى قدرات جديدة في علوم البيانات، والتحليلات اللحظية، والتقارير.
التكامل المستمر هو ممارسة اختبار كل تغيير يتم إجراؤه على قاعدة التعليمات البرمجية الخاصة بك تلقائيًا وفي وقت مبكر قدر الإمكان. يتبع التسليم المستمر الاختبار الذي يحدث في أثناء التكامل المستمر ويدفع التغييرات إلى نظام تشغيل مرحلي أو إنتاج.
في Azure Data Factory، يعني التكامل المستمر والتسليم (CI/CD) نقل خطوط أنابيب Data Factory من بيئة إلى أخرى. يستخدم Azure Data Factory قوالب Azure Resource Manager لتخزين تكوين الكيانات المختلفة لنظام ADF الخاص بك (خطوط الأنابيب، مجموعات البيانات، تدفقات البيانات، وما إلى ذلك). هناك طريقتان مقترحتان لتعزيز مصنع البيانات إلى بيئة أخرى:
- النشر الآلي باستخدام تكامل Data Factory مع Azure Pipelines
- رفع قالب Resource Manager يدويا باستخدام تكامل Data Factory UX مع Azure Resource Manager.
إشعار
نوصي باستخدام وحدة Azure Az PowerShell للتفاعل مع Azure. للبدء، راجع تثبيت Azure PowerShell. لتعلم كيفية الترحيل إلى وحدة Az PowerShell، راجع Migrationate Azure PowerShell من AzureRM إلى Az.
دورة حياة CI/CD
إشعار
لمزيد من المعلومات، راجع تحسينات التوزيع المستمر.
فيما يلي نظرة عامة نموذجية على دورة حياة CI/CD في مصنع بيانات Azure تم تكوينه باستخدام مستودعات Azure Git. لمزيد من المعلومات حول كيفية تكوين مستودع Git، راجع Source control في Azure Data Factory.
يتم إنشاء مصنع بيانات تطوير وتهيئة باستخدام مستودعات Azure Git. ويجب أن يكون لدى جميع المطورين إذن لتأليف موارد Data Factory مثل المسارات ومجموعات البيانات.
ينشئ المطور فرع ميزة لإجراء تغيير. الالتزامات الموقعة غير مدعومة في مصنع البيانات. ويصحح المسارات الخاصة به طبقًا لأحدث التغييرات. لمزيد من المعلومات حول كيفية تصحيح تشغيل خط الأنابيب، راجع التطوير التكراري والتصحيح باستخدام Azure Data Factory.
بعد أن يكون المطور راضياً عن تغييراته، فإنه ينشئ طلب سحب من فرع الميزة إلى الفرع الرئيسي أو فرع التعاون ليقوم الأقران بمراجعة تغييراته.
بعد الموافقة على طلب السحب ودمج التغييرات في الفرع الرئيسي، تُنشر التغييرات في مصنع التطوير.
عندما يكون الفريق جاهزا لنشر التغييرات في مصنع اختبار أو UAT (اختبار قبول المستخدم)، ينتقل الفريق إلى إصدار Azure Pipelines الخاص بهم وينشر النسخة المطلوبة من مصنع التطوير على UAT. يتم هذا النشر كجزء من مهمة Azure Pipelines ويستخدم معلمات قالب Resource Manager لتطبيق التكوين المناسب.
بعد أن يتم التحقق من التغييرات في مصنع الاختبار، قم بنشرها إلى مصنع الإنتاج باستخدام المهمة التالية لإصدار المسارات.
إشعار
يقترن مصنع التطوير فقط بمستودع Git. يجب ألا يكون لدى مصانع الاختبار والإنتاج مستودع git مرتبط بها، ويجب تحديثها فقط عبر خط أنابيب Azure DevOps أو عبر قالب إدارة الموارد.
توضح الصورة أدناه الخطوات المختلفة لدورة الحياة هذه.
أفضل الممارسات لـ CI/CD
إذا كنت تستخدم تكامل Git مع مصنع البيانات لديك وكان لديك مسار تكامل مستمر/تسليم مستمر CI/CD ينقل التغييرات من التطوير إلى الاختبار ثم إلى الإنتاج، نوصي بأفضل الممارسات التالية:
تكامل Git. قم بتكوين Development Data Factory الخاص بك فقط باستخدام تكامل Git. يتم توزيع التغييرات في الاختبار والتشغيل عبر التكامل المستمر/التسليم المستمر ولا تحتاج إلى تكامل Git.
البرنامج النصي قبل النشر وما بعده. قبل خطوة نشر Resource Manager في CI/CD، تحتاج إلى إكمال مهام معينة، مثل إيقاف وإعادة تشغيل المحفزات وتنفيذ التنظيف. من المستحسن استخدام البرامج النصية PowerShell قبل وبعد مهمة النشر. لمزيد من المعلومات، راجع تحديث المشغلات النشطة. أتاح فريق مصنع البيانات نصّاً برمجيّاً لاستخدامه في أسفل هذه الصفحة.
إشعار
استخدم PrePostDeploymentScript.Ver2.ps1 إذا كنت ترغب في إيقاف/تشغيل فقط المشغلات التي تم تعديلها بدلا من إيقاف أو تشغيل جميع الزنادجات أثناء CI/CD.
تحذير
تأكد من استخدام PowerShell Core في مهمة ADO لتشغيل البرنامج النصي.
تحذير
إذا كنت لا تستخدم أحدث إصدارات PowerShell والوحدة النمطية لـ Data Factory، فقد تتعرض لأخطاء إلغاء التسلسل أثناء تشغيل الأوامر.
أوقات تشغيل التكامل والمشاركة. لا تتغير غالبًا أوقات تشغيل التكامل وهي متشابهة عبر جميع المراحل في التكامل المستمر/التسليم المستمر (CI/CD). لذلك يتوقع Data Factory أن يكون لديك نفس الاسم والنوع والنوع الفرعي لوقت تشغيل التكامل عبر جميع مراحل CI/CD. إذا كنت ترغب في مشاركة وقت تشغيل التكامل عبر جميع المراحل، ففكر في استخدام مصنع ثلاثي فقط لاحتواء عمليات تشغيل التكامل المشتركة. يمكنك استخدام هذا المصنع المشترك في جميع البيئات لديك كنوع وقت تشغيل تكامل مرتبط.
إشعار
تتوفر مشاركة وقت تشغيل التكامل فقط لأوقات تشغيل التكامل المستضافة ذاتيًا. أوقات تشغيل تكامل Azure-SSIS لا تدعم المشاركة.
نشر نقطة النهاية الخاصة المدارة. إذا كانت هناك نقطة نهاية خاصة موجودة بالفعل في مصنع وتحاول توزيع قالب ARM يحتوي على نقطة نهاية خاصة بنفس الاسم ولكن ذات خصائص معدلة، فسيفشل التوزيع. بمعنى آخر، يمكنك توزيع نقطة نهاية خاصة بنجاح طالما أن لها نفس الخصائص الموجودة بالفعل في المصنع. إذا كانت هناك أي خاصية مختلفة بين البيئات، يمكنك تجاوزها بواسطة تحديد معلمات تلك الخاصية وتوفير القيمة الخاصة في أثناء التوزيع.
Key Vault. عند استخدام خدمات مرتبطة يتم تخزين معلومات الاتصال فيها في Azure Key Vault، ينصح بالاحتفاظ بخزائن مفاتيح منفصلة لبيئات مختلفة. يمكنك أيضًا تكوين مستويات أذونات منفصلة لكل مخزن رئيسي. على سبيل المثال، قد لا ترغب في أن يكون لدى أعضاء الفريق أذونات إلى البيانات السرية للتشغيل. إذا اتبعت هذا النهج، نوصيك بالاحتفاظ بنفس أسماء البيانات السرية عبر جميع المراحل. إذا احتفظت بنفس الأسماء السرية، فلن تحتاج إلى تمثيل كل سلسلة الاتصال عبر بيئات CI/CD لأن الشيء الوحيد الذي يتغير هو اسم خزنة المفاتيح، وهو معلمة منفصلة.
تسمية المورد. بسبب قيود قالب ARM، قد تنشأ مشاكل في النشر إذا كانت الموارد الخاصة بك تحتوي على مسافات في الاسم. يوصي فريق Azure Data Factory باستخدام أحرف '_' أو '-' بدلا من المساحات للموارد. على سبيل المثال، سيكون «Pipeline_1» اسمًا مفضلاً لـ «Pipeline 1».
تغيير المستودع. يدير ADF محتوى مستودع GIT تلقائيا. قد يؤدي تغيير الملفات أو المجلدات غير المرتبطة يدويا أو إضافتها إلى أي مكان في مجلد بيانات مستودع ADF Git إلى حدوث أخطاء في تحميل الموارد. على سبيل المثال، يمكن أن يتسبب وجود ملفات .bak في حدوث خطأ ADF CI/CD، لذلك يجب إزالتها لتحميل ADF.
التحكم في التعرض وأعلام المعالم. عند العمل في فريق، هناك مثيلات حيث يمكنك دمج التغييرات، ولكن لا تريد تشغيلها في بيئات مرتفعة مثل PROD و QA. لمعالجة هذا السيناريو، يوصي فريق ADF بمفهوم DevOps حول استخدام علامات الميزة. في ADF، يمكنك ضم المعلمات العمومية ونشاط "if condition" لإخفاء مجموعات من المنطق استناداً إلى علامات البيئة هذه.
لمعرفة كيفية إعداد علامة ميزة، راجع الفيديو التعليمي أدناه:
ميزات غير معتمدة
حسب التصميم، لا يسمح مصنع البيانات بانتقاء الالتزام أو التوزيع الانتقائي للموارد. ستتضمن عمليات النشر جميع التغييرات التي أجريت في مصنع البيانات.
- تعتمد كيانات مصنع البيانات على بعضها. على سبيل المثال، تعتمد المشغلات على المسارات، في حين تعتمد المسارات على مجموعات البيانات والمسارات الأخرى. من الممكن أن يؤدي التوزيع الانتقائي لمجموعة فرعية من الموارد إلى سلوكيات وأخطاء غير متوقعة.
- في مناسبات نادرة عندما تحتاج إلى التوزيع الانتقائي، خذ بعين الاعتبار استخدام إصلاح عاجل. لمزيد من المعلومات، راجع بيئة إنتاج الإصلاح العاجل.
فريق Azure Data Factory لا يوصي بتعيين ضوابط Azure RBAC للكيانات الفردية (خطوط الأنابيب، مجموعات البيانات، إلخ) في مصنع البيانات. على سبيل المثال، إذا كان لدى المطور حق الوصول إلى مسار أو مجموعة بيانات، فيجب أن يكون قادراً على الوصول إلى جميع المسارات أو مجموعات البيانات في مصنع البيانات. إذا شعرت أنك بحاجة لتنفيذ العديد من أدوار Azure داخل مصنع بيانات، فكر في نشر مصنع بيانات ثان.
لا يمكنك النشر من الفروع الخاصة.
لا يمكنك حالياً استضافة المشاريع على Bitbucket.
لا يمكنك حالياً تصدير واستيراد التنبيهات والمصفوفات كمعلمات.
لم تعد قوالب ARM الجزئية في فرع النشر الخاص بك مدعومة اعتبارا من 1 نوفمبر 2021. إذا استخدم مشروعك هذه الميزة، فيرجى التبديل إلى آلية معتمدة للنشر، باستخدام:
ARMTemplateForFactory.jsonأوlinkedTemplatesالملفات.