الحصول على البيانات وإعدادها

مكتمل

البيانات هي أساس التعلم الآلي. تؤثر كل من كمية البيانات وجودة البيانات على دقة النموذج.

لتدريب نموذج التعلم الآلي، تحتاج إلى:

• تحديد مصدر البيانات وتنسيقها.
• اختر كيفية تقديم البيانات.
• تصميم حل استيعاب البيانات.

للحصول على البيانات التي تستخدمها لتدريب نموذج التعلم الآلي وإعدادها، تحتاج إلى استخراج البيانات من مصدر وإتاحتها لخدمة Azure التي تريد استخدامها لتدريب النماذج أو إجراء تنبؤات.

تحديد مصدر البيانات وتنسيقها

أولا، تحتاج إلى تحديد مصدر البيانات وتنسيق البيانات الحالي الخاص به.

تحديد	الأمثلة
مصدر البيانات	على سبيل المثال، يمكن تخزين البيانات في نظام إدارة علاقات العملاء (CRM)، في قاعدة بيانات المعاملات مثل قاعدة بيانات SQL، أو إنشاؤها بواسطة جهاز إنترنت الأشياء (IoT).
تنسيق البيانات	تحتاج إلى فهم التنسيق الحالي للبيانات، والتي يمكن أن تكون بيانات جدولية أو منظمة أو بيانات شبه منظمة أو بيانات غير منظمة.

بعد ذلك، تحتاج إلى تحديد البيانات التي تحتاجها لتدريب النموذج الخاص بك، وبأي تنسيق تريد تقديم تلك البيانات إلى النموذج.

تصميم حل استيعاب البيانات

بشكل عام، من أفضل الممارسات استخراج البيانات من مصدرها قبل تحليلها. سواء كنت تستخدم البيانات لهندسة البيانات أو تحليل البيانات أو علم البيانات، فأنت تريد استخراج البيانات من مصدرها وتحويلها وتحميلها إلى طبقة خدمة. يشار إلى هذه العملية أيضا باسم الاستخراج والتحويل والتحميل (ETL) أو الاستخراج والتحميل والتحويل (ELT). تجعل طبقة العرض بياناتك متاحة للخدمة التي تستخدمها لمزيد من معالجة البيانات مثل تدريب نماذج التعلم الآلي.

لنقل البيانات وتحويلها، يمكنك استخدام مسار استيعاب البيانات. خط أنابيب استيعاب البيانات هو سلسلة من المهام التي تنقل البيانات وتحولها. من خلال إنشاء مسار، يمكنك اختيار تشغيل المهام يدويا أو جدولة المسار عندما تريد أتمتة المهام. يمكن إنشاء هذه المسارات باستخدام خدمات Azure مثل Azure Synapse Analytics وAzure Databricks وأيضا Azure التعلم الآلي.

يتمثل النهج الشائع لحل استيعاب البيانات في:

1. استخراج البيانات الأولية من مصدرها (مثل نظام CRM أو جهاز IoT).
2. نسخ البيانات وتحويلها باستخدام Azure Synapse Analytics.
3. تخزين البيانات المعدة في مساحة تخزين Azure Blob.
4. تدريب النموذج باستخدام Azure التعلم الآلي.

استكشاف مثال

تخيل أنك تريد تدريب نموذج التنبؤ بالطقس. تفضل جدولا واحدا يتم فيه دمج جميع قياسات درجة الحرارة لكل جهاز. تريد إنشاء تجميعات من البيانات وأن يكون لديك جدول متوسط درجة الحرارة لكل جهاز في الدقيقة. لإنشاء الجدول، تريد تحويل البيانات شبه المنظمة التي تم تناولها من جهاز IoT الذي يقيس درجة الحرارة على فترات زمنية، إلى بيانات جدولية.

على سبيل المثال، لإنشاء مجموعة بيانات يمكنك استخدامها لتدريب نموذج التنبؤ، يمكنك:

1. استخراج قياسات البيانات ككائنات JSON من أجهزة IoT.
2. تحويل كائنات JSON إلى جدول.
3. تحويل البيانات للحصول على درجة الحرارة لكل جهاز في الدقيقة.

بعد ذلك، دعونا نستكشف الخدمات التي يمكننا استخدامها لتدريب نماذج التعلم الآلي.