تكوين تدفقات البيانات في عمليات Azure IoT
هام
تتضمن هذه الصفحة إرشادات لإدارة مكونات عمليات Azure IoT باستخدام بيانات توزيع Kubernetes، وهي قيد المعاينة. يتم توفير هذه الميزة مع العديد من القيود، ولا يجب استخدامها لأحمال عمل الإنتاج.
للحصول على الشروط القانونية التي تنطبق على ميزات Azure الموجودة في الإصدار التجريبي، أو المعاينة، أو التي لم يتم إصدارها بعد في التوفر العام، راجع شروط الاستخدام التكميلية لمعاينات Microsoft Azure.
تدفق البيانات هو المسار الذي تأخذه البيانات من المصدر إلى الوجهة مع التحويلات الاختيارية. يمكنك تكوين تدفق البيانات عن طريق إنشاء مورد مخصص لتدفق البيانات أو باستخدام مدخل Azure IoT Operations Studio. يتكون تدفق البيانات من ثلاثة أجزاء: المصدر والتحويل والوجهة.
لتعريف المصدر والوجهة، تحتاج إلى تكوين نقاط نهاية تدفق البيانات. التحويل اختياري ويمكن أن يتضمن عمليات مثل إثراء البيانات وتصفية البيانات وتعيين البيانات إلى حقل آخر.
هام
يجب أن يحتوي كل تدفق بيانات على نقطة النهاية الافتراضية لوسيط MQTT المحلي لعمليات Azure IoT كمصدر أو وجهة.
يمكنك استخدام تجربة العمليات في عمليات Azure IoT لإنشاء تدفق بيانات. توفر تجربة العمليات واجهة مرئية لتكوين تدفق البيانات. يمكنك أيضا استخدام Bicep لإنشاء تدفق بيانات باستخدام ملف قالب Bicep، أو استخدام Kubernetes لإنشاء تدفق بيانات باستخدام ملف YAML.
تابع القراءة لمعرفة كيفية تكوين المصدر والتحويل والوجهة.
المتطلبات الأساسية
يمكنك نشر تدفقات البيانات بمجرد أن يكون لديك مثيل لعمليات Azure IoT باستخدام ملف تعريف تدفق البيانات الافتراضي ونقطة النهاية. ومع ذلك، قد تحتاج إلى تكوين ملفات تعريف تدفق البيانات ونقاط النهاية لتخصيص تدفق البيانات.
ملف تعريف تدفق البيانات
إذا لم تكن بحاجة إلى إعدادات تحجيم مختلفة لتدفقات البيانات، فاستخدم ملف تعريف تدفق البيانات الافتراضي الذي توفره عمليات Azure IoT. لمعرفة كيفية تكوين ملف تعريف تدفق البيانات، راجع تكوين ملفات تعريف تدفق البيانات.
نقاط نهاية تدفق البيانات
نقاط نهاية تدفق البيانات مطلوبة لتكوين المصدر والوجهة لتدفق البيانات. للبدء بسرعة، يمكنك استخدام نقطة نهاية تدفق البيانات الافتراضية لوسيط MQTT المحلي. يمكنك أيضا إنشاء أنواع أخرى من نقاط نهاية تدفق البيانات مثل Kafka أو Event Hubs أو Azure Data Lake Storage. لمعرفة كيفية تكوين كل نوع من نقاط نهاية تدفق البيانات، راجع تكوين نقاط نهاية تدفق البيانات.
الشروع في العمل
بمجرد أن يكون لديك المتطلبات الأساسية، يمكنك البدء في إنشاء تدفق بيانات.
لإنشاء تدفق بيانات في تجربة العمليات، حدد تدفق>البيانات إنشاء تدفق البيانات. ثم ترى الصفحة حيث يمكنك تكوين المصدر والتحويل والوجهة لتدفق البيانات.
راجع الأقسام التالية لمعرفة كيفية تكوين أنواع عمليات تدفق البيانات.
المصدر
لتكوين مصدر لتدفق البيانات، حدد مرجع نقطة النهاية وقائمة بمصادر البيانات لنقطة النهاية. اختر أحد الخيارات التالية كمصدر لتدفق البيانات.
إذا لم يتم استخدام نقطة النهاية الافتراضية كمصدر، فيجب استخدامها كوجهة. لمعرفة المزيد حول، راجع يجب أن تستخدم تدفقات البيانات نقطة نهاية وسيط MQTT المحلية.
الخيار 1: استخدام نقطة نهاية وسيط الرسائل الافتراضية كمصدر
ضمن Source details، حدد Message broker.
أدخل الإعدادات التالية لمصدر وسيط الرسائل:
الإعدادات الوصف نقطة نهاية تدفق البيانات حدد default لاستخدام نقطة نهاية وسيط رسائل MQTT الافتراضية. الموضوع عامل تصفية الموضوع للاشتراك فيه للرسائل الواردة. استخدام الموضوع (المواضيع)> إضافة صف لإضافة مواضيع متعددة. لمزيد من المعلومات حول الموضوعات، راجع تكوين مواضيع MQTT أو Kafka. مخطط الرسائل المخطط الذي يجب استخدامه لإلغاء تسلسل الرسائل الواردة. راجع تحديد مخطط لإلغاء تسلسل البيانات. حدد تطبيق.
الخيار 2: استخدام الأصل كمصدر
يمكنك استخدام أصل كمصدر لتدفق البيانات. لا يتوفر استخدام أحد الأصول كمصدر إلا في تجربة العمليات.
ضمن Source details، حدد Asset.
حدد الأصل الذي تريد استخدامه كنقطة نهاية المصدر.
حدد Proceed.
يتم عرض قائمة بنقاط البيانات للأصل المحدد.
حدد Apply لاستخدام الأصل كنقطة نهاية المصدر.
عند استخدام أصل كمصدر، يتم استخدام تعريف الأصل للاستدلال على مخطط تدفق البيانات. يتضمن تعريف الأصل مخطط نقاط بيانات الأصل. لمعرفة المزيد، راجع إدارة تكوينات الأصول عن بعد.
بمجرد التكوين، تصل البيانات من الأصل إلى تدفق البيانات عبر وسيط MQTT المحلي. لذلك، عند استخدام أصل كمصدر، يستخدم تدفق البيانات نقطة النهاية الافتراضية ل وسيط MQTT المحلي كمصدر في الواقع.
الخيار 3: استخدام نقطة نهاية تدفق بيانات MQTT أو Kafka المخصصة كمصدر
إذا قمت بإنشاء نقطة نهاية تدفق بيانات MQTT أو Kafka مخصصة (على سبيل المثال، لاستخدامها مع Event Grid أو Event Hubs)، يمكنك استخدامها كمصدر لتدفق البيانات. تذكر أنه لا يمكن استخدام نقاط نهاية نوع التخزين، مثل Data Lake أو Fabric OneLake، كمصدر.
ضمن Source details، حدد Message broker.
أدخل الإعدادات التالية لمصدر وسيط الرسائل:
الإعدادات الوصف نقطة نهاية تدفق البيانات استخدم الزر Reselect لتحديد نقطة نهاية تدفق بيانات MQTT أو Kafka مخصصة. لمزيد من المعلومات، راجع تكوين نقاط نهاية تدفق بيانات MQTT أو تكوين مراكز أحداث Azure ونقاط نهاية تدفق بيانات Kafka. الموضوع عامل تصفية الموضوع للاشتراك فيه للرسائل الواردة. استخدام الموضوع (المواضيع)> إضافة صف لإضافة مواضيع متعددة. لمزيد من المعلومات حول الموضوعات، راجع تكوين مواضيع MQTT أو Kafka. مخطط الرسائل المخطط الذي يجب استخدامه لإلغاء تسلسل الرسائل الواردة. راجع تحديد مخطط لإلغاء تسلسل البيانات. حدد تطبيق.
تكوين مصادر البيانات (موضوعات MQTT أو Kafka)
يمكنك تحديد مواضيع MQTT أو Kafka متعددة في مصدر دون الحاجة إلى تعديل تكوين نقطة نهاية تدفق البيانات. تعني هذه المرونة أنه يمكن إعادة استخدام نفس نقطة النهاية عبر تدفقات بيانات متعددة، حتى إذا كانت الموضوعات تختلف. لمزيد من المعلومات، راجع إعادة استخدام نقاط نهاية تدفق البيانات.
موضوعات MQTT
عندما يكون المصدر نقطة نهاية MQTT (مضمنة في شبكة الأحداث)، يمكنك استخدام عامل تصفية موضوع MQTT للاشتراك في الرسائل الواردة. يمكن أن يتضمن عامل تصفية الموضوع أحرف بدل للاشتراك في مواضيع متعددة. على سبيل المثال، thermostats/+/telemetry/temperature/#
يشترك في جميع رسائل القياس عن بعد لدرجة الحرارة من منظمات الحرارة. لتكوين عوامل تصفية موضوع MQTT:
في تفاصيل مصدر تدفق البيانات لتجربة العمليات، حدد وسيط الرسائل، ثم استخدم حقل الموضوع (المواضيع) لتحديد عوامل تصفية موضوع MQTT للاشتراك فيها للرسائل الواردة. يمكنك إضافة مواضيع MQTT متعددة عن طريق تحديد إضافة صف وإدخال موضوع جديد.
الاشتراكات المشتركة
لاستخدام الاشتراكات المشتركة مع مصادر وسيط الرسائل، يمكنك تحديد موضوع الاشتراك المشترك في شكل $shared/<GROUP_NAME>/<TOPIC_FILTER>
.
في تجربة العمليات تفاصيل مصدر تدفق البيانات، حدد وسيط الرسالة واستخدم حقل الموضوع لتحديد مجموعة الاشتراك المشترك والموضوع.
إذا كان عدد المثيلات في ملف تعريف تدفق البيانات أكبر من واحد، يتم تمكين الاشتراك المشترك تلقائيا لجميع تدفقات البيانات التي تستخدم مصدر وسيط الرسائل. في هذه الحالة، تتم إضافة البادئة $shared
ويتم إنشاء اسم مجموعة الاشتراك المشترك تلقائيا. على سبيل المثال، إذا كان لديك ملف تعريف تدفق بيانات مع عدد مثيلات 3، ويستخدم تدفق البيانات نقطة نهاية وسيط رسالة كمصدر تم تكوينه مع الموضوعات topic1
و topic2
، يتم تحويلها تلقائيا إلى اشتراكات مشتركة ك $shared/<GENERATED_GROUP_NAME>/topic1
و $shared/<GENERATED_GROUP_NAME>/topic2
.
يمكنك إنشاء موضوع مسمى $shared/mygroup/topic
في التكوين بشكل صريح. ومع ذلك، لا يوصى بإضافة $shared
الموضوع بشكل صريح نظرا لإضافة البادئة $shared
تلقائيا عند الحاجة. يمكن أن تجري تدفقات البيانات تحسينات مع اسم المجموعة إذا لم يتم تعيينها. على سبيل المثال، $share
لم يتم تعيين وتدفقات البيانات يجب أن تعمل فقط عبر اسم الموضوع.
هام
تدفقات البيانات التي تتطلب اشتراكا مشتركا عندما يكون عدد المثيلات أكبر من واحد مهم عند استخدام وسيط MQTT لشبكة الأحداث كمصدر لأنه لا يدعم الاشتراكات المشتركة. لتجنب فقدان الرسائل، قم بتعيين عدد مثيلات ملف تعريف تدفق البيانات إلى واحد عند استخدام وسيط MQTT لشبكة الأحداث كمصدر. وذلك عندما يكون تدفق البيانات هو المشترك ويتلقى الرسائل من السحابة.
موضوعات Kafka
عندما يكون المصدر نقطة نهاية Kafka (مضمنة في مراكز الأحداث)، حدد مواضيع Kafka الفردية للاشتراك فيها للرسائل الواردة. أحرف البدل غير معتمدة، لذلك يجب تحديد كل موضوع بشكل ثابت.
إشعار
عند استخدام مراكز الأحداث عبر نقطة نهاية Kafka، يكون كل مركز أحداث فردي داخل مساحة الاسم هو موضوع Kafka. على سبيل المثال، إذا كان لديك مساحة اسم لمراكز الأحداث مع مركزي أحداث، وhumidifiers
، thermostats
يمكنك تحديد كل مركز أحداث كموضوع Kafka.
لتكوين مواضيع Kafka:
في تفاصيل مصدر تدفق البيانات لتجربة العمليات، حدد وسيط الرسائل، ثم استخدم حقل الموضوع لتحديد عامل تصفية موضوع Kafka للاشتراك فيه للرسائل الواردة.
إشعار
يمكن تحديد عامل تصفية موضوع واحد فقط في تجربة العمليات. لاستخدام عوامل تصفية مواضيع متعددة، استخدم Bicep أو Kubernetes.
تحديد مخطط المصدر
عند استخدام MQTT أو Kafka كمصدر، يمكنك تحديد مخطط لعرض قائمة نقاط البيانات في مدخل تجربة العمليات. استخدام مخطط لإلغاء تسلسل الرسائل الواردة والتحقق من صحتها غير مدعوم حاليا.
إذا كان المصدر أحد الأصول، يتم استنتاج المخطط تلقائيا من تعريف الأصل.
تلميح
لإنشاء المخطط من نموذج ملف بيانات، استخدم Schema Gen Helper.
لتكوين المخطط المستخدم لإلغاء تسلسل الرسائل الواردة من مصدر:
في العمليات تجربة تفاصيل مصدر تدفق البيانات، حدد وسيط الرسالة واستخدم حقل مخطط الرسالة لتحديد المخطط. يمكنك استخدام الزر Upload لتحميل ملف مخطط أولا. لمعرفة المزيد، راجع فهم مخططات الرسائل.
لمعرفة المزيد، راجع فهم مخططات الرسائل.
التحويل
عملية التحويل هي المكان الذي يمكنك فيه تحويل البيانات من المصدر قبل إرسالها إلى الوجهة. التحويلات اختيارية. إذا لم تكن بحاجة إلى إجراء تغييرات على البيانات، فلا تقم بتضمين عملية التحويل في تكوين تدفق البيانات. يتم ربط تحويلات متعددة معا على مراحل بغض النظر عن الترتيب الذي يتم تحديدها به في التكوين. ترتيب المراحل هو دائما:
- إثراء: إضافة بيانات إضافية إلى البيانات المصدر نظرا لمجموعة بيانات وشرط لمطابقتها.
- عامل التصفية: تصفية البيانات استنادا إلى شرط.
- تعيين خاصية جديدة أو حسابها أو إعادة تسميتها أو إضافتها: نقل البيانات من حقل إلى آخر مع تحويل اختياري.
هذا القسم هو مقدمة لتحويلات تدفق البيانات. لمزيد من المعلومات التفصيلية، راجع تعيين البيانات باستخدام تدفقات البيانات، وتحويل البيانات باستخدام تحويلات تدفق البيانات، وإثراء البيانات باستخدام تدفقات البيانات.
في تجربة العمليات، حدد Data flow>Add transform (اختياري) .
إثراء: إضافة بيانات مرجعية
لإثراء البيانات، أضف أولا مجموعة بيانات مرجعية في مخزن حالة عمليات Azure IoT. يتم استخدام مجموعة البيانات لإضافة بيانات إضافية إلى بيانات المصدر استنادا إلى شرط. يتم تحديد الشرط ك حقل في البيانات المصدر التي تطابق حقلا في مجموعة البيانات.
يمكنك تحميل بيانات نموذجية في مخزن الحالة باستخدام CLI لمخزن الولاية. تتوافق الأسماء الرئيسية في مخزن الحالة مع مجموعة بيانات في تكوين تدفق البيانات.
حاليا، مرحلة الإثراء غير مدعومة في تجربة العمليات.
إذا كانت مجموعة البيانات تحتوي على سجل مع asset
الحقل، على غرار:
{
"asset": "thermostat1",
"location": "room1",
"manufacturer": "Contoso"
}
تحتوي البيانات من المصدر مع deviceId
مطابقة thermostat1
الحقل على location
الحقلين و manufacturer
المتوفرين في مرحلتي التصفية والخريطة.
لمزيد من المعلومات حول بناء جملة الشرط، راجع إثراء البيانات باستخدام تدفقات البيانات وتحويل البيانات باستخدام تدفقات البيانات.
عامل التصفية: تصفية البيانات استنادا إلى شرط
لتصفية البيانات على شرط، يمكنك استخدام filter
المرحلة. يتم تحديد الشرط ك حقل في البيانات المصدر التي تطابق قيمة.
ضمن Transform (اختياري)، حدد Filter>Add.
أدخل الإعدادات المطلوبة.
الإعدادات الوصف شرط عامل التصفية شرط تصفية البيانات استنادا إلى حقل في البيانات المصدر. الوصف توفير وصف لحالة عامل التصفية. في حقل شرط عامل التصفية، أدخل
@
أو حدد Ctrl + مسافة لاختيار نقاط البيانات من القائمة المنسدلة.يمكنك إدخال خصائص بيانات تعريف MQTT باستخدام التنسيق
@$metadata.user_properties.<property>
أو@$metadata.topic
. يمكنك أيضا إدخال $metadata الرؤوس باستخدام التنسيق@$metadata.<header>
.$metadata
بناء الجملة مطلوب فقط لخصائص MQTT التي تعد جزءا من رأس الرسالة. لمزيد من المعلومات، راجع مراجع الحقول.يمكن للشرط استخدام الحقول في البيانات المصدر. على سبيل المثال، يمكنك استخدام شرط عامل تصفية مثل
@temperature > 20
تصفية البيانات الأقل من أو تساوي 20 استنادا إلى حقل درجة الحرارة.حدد تطبيق.
الخريطة: نقل البيانات من حقل إلى آخر
لتعيين البيانات إلى حقل آخر مع تحويل اختياري، يمكنك استخدام map
العملية. يتم تحديد التحويل كصيغة تستخدم الحقول في البيانات المصدر.
في تجربة العمليات، يتم دعم التعيين حاليا باستخدام تحويلات الحوسبة وإعادة التسمية والخصائص الجديدة.
Compute
يمكنك استخدام تحويل الحساب لتطبيق صيغة على البيانات المصدر. يتم استخدام هذه العملية لتطبيق صيغة على البيانات المصدر وتخزين حقل النتيجة.
ضمن Transform (اختياري) ، حدد Compute>Add.
أدخل الإعدادات المطلوبة.
الإعدادات الوصف تحديد صيغة اختر صيغة موجودة من القائمة المنسدلة أو حدد مخصص لإدخال صيغة يدويا. المخرجات حدد اسم عرض الإخراج للنتيجة. الصيغة أدخل الصيغة التي سيتم تطبيقها على البيانات المصدر. الوصف توفير وصف للتحويل. القيمة الأخيرة المعروفة اختياريا، استخدم آخر قيمة معروفة إذا لم تكن القيمة الحالية متوفرة. يمكنك إدخال صيغة أو تحريرها في حقل الصيغة. يمكن للصيغة استخدام الحقول في البيانات المصدر. أدخل
@
أو حدد Ctrl + مسافة لاختيار نقاط البيانات من القائمة المنسدلة. بالنسبة للصيغ المضمنة، حدد<dataflow>
العنصر النائب لمشاهدة قائمة نقاط البيانات المتوفرة.يمكنك إدخال خصائص بيانات تعريف MQTT باستخدام التنسيق
@$metadata.user_properties.<property>
أو@$metadata.topic
. يمكنك أيضا إدخال $metadata الرؤوس باستخدام التنسيق@$metadata.<header>
.$metadata
بناء الجملة مطلوب فقط لخصائص MQTT التي تعد جزءا من رأس الرسالة. لمزيد من المعلومات، راجع مراجع الحقول.يمكن للصيغة استخدام الحقول في البيانات المصدر. على سبيل المثال، يمكنك استخدام
temperature
الحقل في البيانات المصدر لتحويل درجة الحرارة إلى درجة مئوية وتخزينها فيtemperatureCelsius
حقل الإخراج.حدد تطبيق.
إعادة تسمية
يمكنك إعادة تسمية نقطة بيانات باستخدام تحويل إعادة تسمية . يتم استخدام هذه العملية لإعادة تسمية نقطة بيانات في البيانات المصدر باسم جديد. يمكن استخدام الاسم الجديد في المراحل اللاحقة من تدفق البيانات.
ضمن Transform (اختياري)، حدد Rename>Add.
أدخل الإعدادات المطلوبة.
الإعدادات الوصف نقطة البيانات حدد نقطة بيانات من القائمة المنسدلة أو أدخل عنوان $metadata. اسم نقطة بيانات جديدة أدخل الاسم الجديد لنقطة البيانات. الوصف توفير وصف للتحويل. يمكنك إدخال خصائص بيانات تعريف MQTT باستخدام التنسيق
@$metadata.user_properties.<property>
أو@$metadata.topic
. يمكنك أيضا إدخال $metadata الرؤوس باستخدام التنسيق@$metadata.<header>
.$metadata
بناء الجملة مطلوب فقط لخصائص MQTT التي تعد جزءا من رأس الرسالة. لمزيد من المعلومات، راجع مراجع الحقول.حدد تطبيق.
خاصية جديدة
يمكنك إضافة خاصية جديدة إلى البيانات المصدر باستخدام تحويل الخاصية New. يتم استخدام هذه العملية لإضافة خاصية جديدة إلى البيانات المصدر. يمكن استخدام الخاصية الجديدة في المراحل اللاحقة من تدفق البيانات.
ضمن Transform (اختياري) ، حدد New property>Add.
أدخل الإعدادات المطلوبة.
الإعدادات الوصف مفتاح الخاصية أدخل مفتاح الخاصية الجديدة. قيمة الخاصية أدخل قيمة الخاصية الجديدة. الوصف توفير وصف للخاصية الجديدة. حدد تطبيق.
لمعرفة المزيد، راجع تعيين البيانات باستخدام تدفقات البيانات وتحويل البيانات باستخدام تدفقات البيانات.
تسلسل البيانات وفقا لمخطط
إذا كنت تريد تسلسل البيانات قبل إرسالها إلى الوجهة، فستحتاج إلى تحديد تنسيق مخطط وتسلسل. وإلا، يتم تسلسل البيانات في JSON مع الأنواع المستنتجة. تتطلب نقاط نهاية التخزين مثل Microsoft Fabric أو Azure Data Lake مخططا لضمان تناسق البيانات. تنسيقات التسلسل المدعومة هي Parquet و Delta.
تلميح
لإنشاء المخطط من نموذج ملف بيانات، استخدم Schema Gen Helper.
بالنسبة لتجربة العمليات، يمكنك تحديد تنسيق المخطط والتسلسل في تفاصيل نقطة نهاية تدفق البيانات. نقاط النهاية التي تدعم تنسيقات التسلسل هي Microsoft Fabric OneLake وAzure Data Lake Storage Gen 2 وAzure Data Explorer والتخزين المحلي. على سبيل المثال، لتسلسل البيانات بتنسيق Delta، تحتاج إلى تحميل مخطط إلى سجل المخطط والإشارة إليه في تكوين نقطة نهاية وجهة تدفق البيانات.
لمزيد من المعلومات حول سجل المخطط، راجع فهم مخططات الرسائل.
الوجهة
لتكوين وجهة لتدفق البيانات، حدد مرجع نقطة النهاية ووجهة البيانات. يمكنك تحديد قائمة وجهات البيانات لنقطة النهاية.
لإرسال البيانات إلى وجهة أخرى غير وسيط MQTT المحلي، قم بإنشاء نقطة نهاية تدفق البيانات. لمعرفة كيفية إجراء ذلك، راجع تكوين نقاط نهاية تدفق البيانات. إذا لم تكن الوجهة وسيط MQTT المحلي، فيجب استخدامها كمصدر. لمعرفة المزيد حول، راجع يجب أن تستخدم تدفقات البيانات نقطة نهاية وسيط MQTT المحلية.
هام
تتطلب نقاط نهاية التخزين مخططا للتسلسل. لاستخدام تدفق البيانات مع Microsoft Fabric OneLake أو Azure Data Lake Storage أو Azure Data Explorer أو التخزين المحلي، يجب تحديد مرجع مخطط.
حدد نقطة نهاية تدفق البيانات لاستخدامها كوجهة.
تتطلب نقاط نهاية التخزين مخططا للتسلسل. إذا اخترت Microsoft Fabric OneLake أو Azure Data Lake Storage أو Azure Data Explorer أو نقطة نهاية وجهة التخزين المحلي، يجب تحديد مرجع مخطط. على سبيل المثال، لتسلسل البيانات إلى نقطة نهاية Microsoft Fabric بتنسيق Delta، تحتاج إلى تحميل مخطط إلى سجل المخطط والإشارة إليه في تكوين نقطة نهاية وجهة تدفق البيانات.
حدد متابعة لتكوين الوجهة.
أدخل الإعدادات المطلوبة للوجهة، بما في ذلك الموضوع أو الجدول لإرسال البيانات إليه. راجع تكوين وجهة البيانات (موضوع أو حاوية أو جدول) لمزيد من المعلومات.
تكوين وجهة البيانات (موضوع أو حاوية أو جدول)
على غرار مصادر البيانات، فإن وجهة البيانات هي مفهوم يستخدم للحفاظ على نقاط نهاية تدفق البيانات قابلة لإعادة الاستخدام عبر تدفقات بيانات متعددة. بشكل أساسي، يمثل الدليل الفرعي في تكوين نقطة نهاية تدفق البيانات. على سبيل المثال، إذا كانت نقطة نهاية تدفق البيانات هي نقطة نهاية تخزين، فإن وجهة البيانات هي الجدول في حساب التخزين. إذا كانت نقطة نهاية تدفق البيانات هي نقطة نهاية Kafka، فإن وجهة البيانات هي موضوع Kafka.
نوع نقطة النهاية | معنى وجهة البيانات | الوصف |
---|---|---|
MQTT (أو شبكة الأحداث) | الموضوع | موضوع MQTT حيث يتم إرسال البيانات. يتم دعم الموضوعات الثابتة فقط، ولا توجد أحرف بدل. |
Kafka (أو مراكز الأحداث) | الموضوع | موضوع Kafka حيث يتم إرسال البيانات. يتم دعم الموضوعات الثابتة فقط، ولا توجد أحرف بدل. إذا كانت نقطة النهاية عبارة عن مساحة اسم لمراكز الأحداث، فإن وجهة البيانات هي مركز الأحداث الفردي داخل مساحة الاسم. |
Azure Data Lake Storage Gen2 | الحاوية | الحاوية في حساب التخزين. ليس الجدول. |
Microsoft Fabric OneLake | جدول أو مجلد | يتوافق مع نوع المسار المكون لنقطة النهاية. |
Azure Data Explorer (Kusto) | جدول | الجدول في قاعدة بيانات Azure Data Explorer. |
التخزين المحلي | مجلد | اسم المجلد أو الدليل في تحميل وحدة التخزين الثابتة للتخزين المحلي. عند استخدام Azure Container Storage الذي تم تمكينه بواسطة Azure Arc Cloud Ingest Edge Volumes، يجب أن يتطابق هذا مع spec.path المعلمة للوحدة الفرعية التي قمت بإنشائها. |
لتكوين وجهة البيانات:
عند استخدام تجربة العمليات، يتم تفسير حقل وجهة البيانات تلقائيا استنادا إلى نوع نقطة النهاية. على سبيل المثال، إذا كانت نقطة نهاية تدفق البيانات هي نقطة نهاية تخزين، فستطالبك صفحة تفاصيل الوجهة بإدخال اسم الحاوية. إذا كانت نقطة نهاية تدفق البيانات هي نقطة نهاية MQTT، فستطالبك صفحة تفاصيل الوجهة بإدخال الموضوع، وهكذا.
مثال
المثال التالي هو تكوين تدفق البيانات الذي يستخدم نقطة نهاية MQTT للمصدر والوجهة. يقوم المصدر بتصفية البيانات من موضوع azure-iot-operations/data/thermostat
MQTT . يحول التحويل درجة الحرارة إلى فهرنهايت ويصفي البيانات حيث تكون درجة الحرارة مضروبة في الرطوبة أقل من 100000. ترسل الوجهة البيانات إلى موضوع factory
MQTT .
لمشاهدة المزيد من الأمثلة على تكوينات تدفق البيانات، راجع Azure REST API - تدفق البيانات وBicep التشغيل السريع.
التحقق من عمل تدفق البيانات
اتبع البرنامج التعليمي: جسر MQTT ثنائي الاتجاه إلى Azure Event Grid للتحقق من عمل تدفق البيانات.
تصدير تكوين تدفق البيانات
لتصدير تكوين تدفق البيانات، يمكنك استخدام تجربة العمليات أو عن طريق تصدير المورد المخصص لتدفق البيانات.
حدد تدفق البيانات الذي تريد تصديره وحدد تصدير من شريط الأدوات.
تكوين تدفق البيانات المناسب
للتأكد من أن تدفق البيانات يعمل كما هو متوقع، تحقق مما يلي:
- يجب استخدام نقطة نهاية تدفق بيانات MQTT الافتراضية كمصدر أو وجهة.
- ملف تعريف تدفق البيانات موجود ومشار إليه في تكوين تدفق البيانات.
- المصدر هو إما نقطة نهاية MQTT أو نقطة نهاية Kafka أو أصل. لا يمكن استخدام نقاط نهاية نوع التخزين كمصدر.
- عند استخدام Event Grid كمصدر، يتم تعيين عدد مثيلات ملف تعريف تدفق البيانات إلى 1 لأن وسيط Event Grid MQTT لا يدعم الاشتراكات المشتركة.
- عند استخدام Event Hubs كمصدر، يكون كل مركز أحداث في مساحة الاسم موضوع Kafka منفصل ويجب تحديده كمصدر بيانات.
- يتم تكوين التحويل، إذا تم استخدامه، مع بناء جملة مناسب، بما في ذلك الهروب المناسب من الأحرف الخاصة.
- عند استخدام نقاط نهاية نوع التخزين كوجهة ، يتم تحديد مخطط.