تصميم وتنفيذ خطوط أنابيب البيانات باستخدام Azure Databricks
متوسط
مهندس بيانات
Azure Databricks
تعلم تصميم وتنفيذ خطوط أنابيب بيانات قوية في Azure Databricks باستخدام دفاتر الدفاتر وخطوط أنابيب Lakeflow Spark التصريحية، التي تغطي التنسيق، والتعامل مع الأخطاء، ومنطق المهام.
الأهداف التعليمية
في نهاية هذه الوحدة، ستتمكن من:
- تصميم ترتيب العمليات لخطوط أنابيب البيانات من الإدخال إلى التقديم.
- اختر بين دفاتر الملاحظات وخطوط أنابيب Lakeflow Spark التصريحية بناء على حالات الاستخدام.
- تصميم منطق المهام، والتبعيات، وأنماط التنفيذ لوظائف Lakeflow.
- نفذ استراتيجيات التعامل مع الأخطاء، بما في ذلك سياسات إعادة المحاولة والتوقعات.
- أنشئ خطوط أنابيب بيانات باستخدام كل من دفاتر الدفاتر وخطوط أنابيب Lakeflow Spark التصريحية.
المتطلبات الأساسية
يجب استكمال المتطلبات المسبقة التالية:
- فهم أساسي لمساحات العمل في Azure Databricks
- الإلمام بأساسيات كتالوج يونيتي ومفاهيم الحوكمة
- معرفة SQL ومبادئ تنظيم البيانات