تنفيذ وإدارة قيود جودة البيانات باستخدام Azure Databricks
متوسط
مهندس بيانات
Azure Databricks
تستكشف هذه الوحدة استراتيجيات للحفاظ على جودة بيانات عالية في Azure Databricks. ستتعلم كيفية تنفيذ فحوصات التحقق، وفرض المخططات، وإدارة انحراف المخطط، واستخدام توقعات خطوط الأنابيب لضمان سلامة البيانات في جميع خطوط أنابيب بياناتك.
الأهداف التعليمية
في نهاية هذه الوحدة، ستتمكن من:
- تنفيذ فحوصات التحقق من الصحة لقيود التعطل، والعددية، والمدى
- تنفيذ فحوصات أنواع البيانات باستخدام تطبيق المخطط والإرسال الصريح
- فرض المخطط وإدارة انحراف المخطط باستخدام Auto Loader وDelta Lake
- إدارة جودة البيانات باستخدام توقعات خطوط الأنابيب في خطوط أنابيب Lakeflow Spark التصريحية
المتطلبات الأساسية
يجب استكمال المتطلبات المسبقة التالية:
- فهم أساسي لمساحات عمل Azure Databricks وكتالوج Unity
- الإلمام بمفاهيم SQL وهندسة البيانات