تحضير ومعالجة البيانات باستخدام Azure Databricks

تشكل النمذجة الفعالة للبيانات أساس منصة بيانات فعالة وقابلة للصيانة. تستكشف هذه الوحدة كيفية تصميم منطق الدخول، واختيار الأدوات وصيغ الجداول المناسبة، وتنفيذ مخططات التقسيم، وإدارة الأبعاد المتغيرة ببطء، واختيار التفصيل المناسب للبيانات، وتحسين أداء الجداول من خلال استراتيجيات التجميع في Azure Databricks مع كتالوج Unity.

استيراد البيانات هو قدرة أساسية لأي منصة بيانات. تستكشف هذه الوحدة المجموعة الشاملة من التقنيات المتاحة في Azure Databricks لتحميل البيانات في جداول فهرس Unity. ستتعلم كيفية استخدام الموصلات المدارة مع Lakeflow Connect، وكتابة كود إدخال مخصص في دفاتر الملاحظات، وتطبيق أوامر SQL لتحميل الملفات دفعات، ومعالجة تغذيات تغيير البيانات، وتكوين تدفق الرسائل من ناقلات الرسائل، وإعداد Auto Loader للكشف التلقائي عن الملفات، وتنظيم سير عمل الإدخال باستخدام خطوط أنابيب Lakeflow Spark الإعلانية.

تتطلب هندسة البيانات تحويل البيانات الخام إلى صيغ نظيفة ومنظمة جيدا جاهزة للتحليل. تستكشف هذه الوحدة تقنيات تحليل جودة البيانات، واختيار أنواع الأعمدة المناسبة، وحل التكرارات والقيم الفارغة، وتطبيق التحويلات والتجميع، ودمج مجموعات البيانات مع الروابط ومشغلي المجموعات، وإعادة تشكيل البيانات من خلال التحويل وإزالة التطبيع، وتحميل البيانات المحولة باستخدام استراتيجيات الإضافة، والكتابة فوق الكتابة، والدمج.

تستكشف هذه الوحدة استراتيجيات للحفاظ على جودة بيانات عالية في Azure Databricks. ستتعلم كيفية تنفيذ فحوصات التحقق، وفرض المخططات، وإدارة انحراف المخطط، واستخدام توقعات خطوط الأنابيب لضمان سلامة البيانات في جميع خطوط أنابيب بياناتك.