مشاركة عبر

الدفق على Azure Databricks

  • مقالة

يمكنك استخدام Azure Databricks لاستيعاب البيانات في الوقت الفعلي تقريبا ومعالجتها والتعلم الآلي الذكاء الاصطناعي لتدفق البيانات.

يقدم Azure Databricks العديد من التحسينات للتدفق والمعالجة المتزايدة، بما في ذلك ما يلي:

يوفر Delta Lake طبقة التخزين لهذه التكاملات. راجع قراءات وكتابات دفق جدول Delta.

لخدمة النموذج في الوقت الحقيقي، راجع خدمة النموذج مع Azure Databricks.

  • تعليمي

    تعرف على أساسيات المعالجة في الوقت الفعلي تقريبا والمعالجة المتزايدة باستخدام Structured Streaming على Azure Databricks.

  • المفاهيم

    تعرف على المفاهيم الأساسية لتكوين أحمال العمل التزايدية والتقريبية في الوقت الحقيقي باستخدام Structured Streaming.

  • دفق ذي حالة

    يمكن أن تساعد إدارة معلومات الحالة المتوسطة من استعلامات الدفق المنظم ذات الحالة في منع حدوث مشكلات غير متوقعة في زمن الانتقال والإنتاج.

  • اعتبارات الإنتاج

    تحتوي هذه المقالة على توصيات لتكوين أحمال عمل المعالجة المتزايدة للإنتاج باستخدام Structured Streaming على Azure Databricks لتلبية متطلبات زمن الانتقال والتكلفة للتطبيقات في الوقت الفعلي أو الدفعات.

  • مراقبة التدفقات

    تعرف على كيفية مراقبة تطبيقات الدفق المنظم على Azure Databricks.

  • تكامل كتالوج Unity

    تعرف على كيفية الاستفادة من كتالوج Unity بالاقتران مع Structured Streaming على Azure Databricks.

  • الدفق باستخدام Delta

    تعرف على كيفية استخدام جداول Delta Lake كمصادر تدفق ومتلقين.

  • الأمثلة

    راجع أمثلة على استخدام Spark Structured Streaming مع Cassandra وAzure Synapse Analytics ودفاتر ملاحظات Python ودفاتر ملاحظات Scala في Azure Databricks.

يحتوي Azure Databricks على ميزات محددة للعمل مع حقول البيانات شبه المنظمة المضمنة في Avro والمخازن المؤقتة للبروتوكول وحمولة بيانات JSON. لمعرفة المزيد، راجع:

الموارد الإضافية

يوفر Apache Spark دليل برمجة دفق منظم يحتوي على مزيد من المعلومات حول الدفق المنظم.

للحصول على معلومات مرجعية حول Structured Streaming، توصي Databricks بمراجع Apache Spark API التالية: