هندسة البيانات باستخدام Databricks
يوفر Databricks مجموعة غنية من ميزات هندسة البيانات التي تتضمن بيئة قوية للتعاون بين علماء البيانات والمهندسين والمحللين. من خلال مركزه، توجد المسارات التي ت استيعاب البيانات وتحويلها. لتمكين الهندسة السهلة للبنية الأساسية لبرنامج ربط العمليات التجارية الأكثر كفاءة، تقدم Databricks تدفقا منظما وجداول Delta Live Tables. راجع البث على Azure Databricks وما هي جداول Delta Live؟.
للحصول على نظرة عامة حول سبب كون معالجة الدفق التزايدي للبيانات التي يوفرها Structured Streaming وData Live Tables هو الخيار الأفضل لمسارات البيانات، راجع لماذا معالجة الدفق التزايدي؟.
موارد إضافية لهندسة البيانات
يوفر Databricks ميزات لمهام هندسة البيانات للعديد من السيناريوهات الإضافية:
- دفاتر ملاحظات Databricks هي أداة شائعة للتعاون.
- جدولة مهام سير العمل وتنسيقها باستخدام وظائف Databricks.
- راجع Databricks Mosaic الذكاء الاصطناعي إذا كنت تقوم بهندسة حلول التعلم الآلي.
إشعار
إذا كنت تعمل بشكل أساسي مع استعلامات SQL وأدوات BI، فشاهد Databricks SQL.
لبدء البرامج التعليمية وإعلام تمهيدي، راجع بدء استخدام Azure Databricks وما هو Azure Databricks؟.
الاسم | استخدم هذا عندما تريد... |
---|---|
Delta Live Tables | تعرف على كيفية إنشاء مسارات البيانات لاستيعابها وتحويلها باستخدام Databricks Delta Live Tables. |
دفق منظم | تعرف على أحمال العمل المتدفقة والتزايدية وفي الوقت الحقيقي التي يتم تشغيلها بواسطة Structured Streaming على Databricks. |