تحديث تزايدي لمصادر بيانات Data Lake Storage

يوفر التحديث التزايدي لمصادر البيانات استنادا إلى Azure Data Lake Storage المزايا التالية:

• تحديثات أسرع - يتم تحديث البيانات التي تم تغييرها فقط. على سبيل المثال، قد تقوم بتحديث الأيام الخمسة الماضية فقط من مجموعة بيانات تاريخية.
• زيادة الموثوقية - مع التحديثات الأصغر، لا تحتاج إلى الحفاظ على الاتصالات بأنظمة المصدر المتطايرة لفترة طويلة، ما يقلل من مخاطر مشكلات الاتصال.
• تقليل استهلاك الموارد - يؤدي تحديث مجموعة فرعية فقط من إجمالي بياناتك إلى استخدام موارد الحوسبة بشكل أكثر كفاءة ويقلل من البصمة البيئية.

إعداد التحديث التزايدي لمصادر بيانات Azure Data Lake Storage

توصي Microsoft بتنسيق Delta Lake للحصول على أفضل أداء ونتائج للعمل مع مجموعات البيانات الكبيرة. Customer Insights - توفر البيانات موصلا محسنا للبيانات المنسقة في Delta Lake. يتم تحسين العمليات الداخلية مثل التوحيد لمعالجة البيانات المتغيرة فقط بشكل متزايد، ما يؤدي إلى أوقات معالجة أقصر.

لاستخدام الاستيعاب والتحديث التزايدي لجدول مستودع بيانات، قم بتكوين هذا الجدول عند إضافة مصدر بيانات Azure Data Lake أو تحريره. يجب أن يحتوي مجلد بيانات الجدول على المجلدات التالية:

• FullData: مجلد يحتوي على ملفات بيانات تحتوي على سجلات أولية
• IncrementalData: مجلد به مجلدات التسلسل الهرمي للتاريخ/الوقت بتنسيق yyyy/mm/dd/hh يحتوي على التحديثات المتزايدة. من المتوقع أن تكون مجلدات السنة والشهر واليوم والساعة أربعة أرقام ورقمين على التوالي. يمثل hh ساعة التوقيت العالمي المتفق عليه للتحديثات ويحتوي على مجلدي UpsertsوDeletes. تحتوي Upserts على ملفات بيانات مع تحديثات للسجلات الموجودة أو السجلات الجديدة. تحتوي عمليات الحذف على ملفات بيانات مع سجلات لإزالتها.

ترتيب معالجة البيانات المتزايدة

يعالج النظام الملفات في مجلد IncrementalDataبعد انتهاء ساعة UTC المحددة. على سبيل المثال، إذا بدأ النظام في معالجة التحديث التزايدي في 21 يناير 2023 في الساعة 8:15 صباحا، تتم معالجة جميع الملفات الموجودة في المجلد 2023/01/21/07 (تمثل ملفات البيانات المخزنة من 7 صباحا إلى 8 صباحا). لا تتم معالجة أي ملفات في المجلد 2023/01/21/08 (تمثل الساعة الحالية حيث لا تزال الملفات قيد الإنشاء) حتى التشغيل التالي.

إذا كان هناك سجلان لمفتاح أساسي، هما upsert وdelete، Customer Insights - تستخدم البيانات السجل مع تاريخ التعديل الأخير. على سبيل المثال، إذا كان الطابع الزمني للحذف هو 2023-01-21T08:00:00 وكان الطابع الزمني upsert هو 2023-01-21T08:30:00، فإنه يستخدم سجل upsert. إذا حدث الحذف بعد upsert، يفترض النظام حذف السجل.

تكوين التحديث التزايدي لمصادر بيانات Azure Data Lake

1. عند إضافة مصدر بيانات أو تحريره، انتقل إلى جزء السمات للجدول.

2. راجع السمات. تأكد من أن سمة تاريخ الإنشاء أو آخر تحديث مُعدّة باستخدام dateTimeتنسيق البيانات وCalendar.Dateالنوع الدلالي. قم بتحرير السمة إذا لزم الأمر وحدد تم.

3. من جزء تحديد الجداول ، قم بتحرير الجدول. خانة الاختيار الاستيعاب التزايدي محددة.

   

   1. انتقل إلى المجلد الجذر الذي يحتوي على ملفات ‎.csv أو ‎.parquet الخاصة بالبيانات الكاملة، وعمليات الإدراج أو التحديث التزايدية للبيانات، وعمليات حذف البيانات التزايدية.
   2. أدخل الامتداد الخاص بالبيانات الكاملة وكلا الملفين التزايديين (.csv أو .parquet).
   3. بالنسبة للملفات .csv، حدد محدد العمود وإذا كنت تريد الصف الأول من الملف كرأس عمود.
   4. حدد حفظ.

4. بالنسبة لآخر تحديث، حدد سمة الطابع الزمني للتاريخ.

5. إذا لم يتم تحديد المفتاح الأساسي ، فحدد المفتاح الأساسي. المفتاح الأساسي هو سمة فريدة من نوعها للجدول. لكي تكون السمة مفتاحا أساسيا صالحا، يجب ألا تتضمن قيما مكررة أو قيما مفقودة أو قيما خالية. يتم دعم سمات نوع بيانات السلسلة والعدد الصحيح و GUID كمفاتيح أساسية.

6. حدد إغلاق لحفظ الجزء وإغلاقه.

7. تابع إضافة مصدر البيانات أو تحريره.

تشغيل تحديث كامل لمرة واحدة لمصادر بيانات Azure Data Lake

بعد تكوين تحديث تزايدي لمصادر بيانات Azure Data Lake، هناك أوقات تحتاج فيها البيانات إلى المعالجة بتحديث كامل. يجب أن يحتوي مجلد البيانات الكامل الذي تم إعداده للتحديث التزايدي على موقع البيانات الكاملة.

1. عند تحرير مصدر البيانات، انتقل إلى جزء تحديد الجداول وقم بتحرير الجدول الذي تريد تحديثه.

2. في جزء تحرير الجدول ، قم بالتمرير إلى خانة الاختيار تشغيل التحديث الكامل لمرة واحدة وحدده.

   

3. لمعالجة الملفات المتزايدة من، حدد التاريخ والوقت للاحتفاظ بالملفات التزايدية. البيانات الكاملة بالإضافة إلى البيانات المتزايدة التي تبدأ المعالجة بعد التاريخ والوقت المحددين. على سبيل المثال، إذا كنت تريد إجراء تحديث جزئي للبيانات/إعادة تعبئة البيانات حتى نهاية نوفمبر مع الاحتفاظ بالبيانات المتزايدة من بداية ديسمبر إلى اليوم (30 ديسمبر)، أدخل 1 ديسمبر. لاستبدال كافة البيانات وتجاهل البيانات في المجلد التزايدي، حدد تاريخا مستقبليا.

4. حدد إغلاق لحفظ الجزء وإغلاقه.

5. حدد حفظ لتطبيق التغييرات والعودة إلى صفحة مصادر البيانات . مصدر البيانات في حالة التحديث ، حيث يقوم بإجراء تحديث كامل.