مشاركة عبر

تصميم بنية الذكاء الاصطناعي (AI)

  • مقالة

الذكاء الاصطناعي (الذكاء الاصطناعي) هي تقنية تسمح للآلات بتقليد السلوك البشري الذكي. باستخدام الذكاء الاصطناعي، يمكن للأجهزة:

  • تحليل البيانات لإنشاء الصور ومقاطع الفيديو.
  • تحليل الكلام وتجميعه.
  • التفاعل اللفظي بطرق طبيعية.
  • قم بإجراء تنبؤات وإنشاء بيانات جديدة.

يصمم المهندسون المعماريون أحمال العمل التي تستخدم الذكاء الاصطناعي لأداء الوظائف أو اتخاذ القرارات حيث يكون تنفيذ المنطق أو المعالجة التقليدية محظورا أو حتى شبه مستحيل. كمهندس معماري يصمم حلا، من المهم فهم مشهد الذكاء الاصطناعي والتعلم الآلي وكيف يقدم Azure حلولا للتكامل في تصميم حمل العمل الخاص بك.

مفاهيم الذكاء الاصطناعي

الخوارزميات

الخوارزميات أو خوارزميات التعلم الآلي هي أجزاء من التعليمات البرمجية التي تساعد البشر على استكشاف وتحليل والعثور على معنى في مجموعات البيانات المعقدة. كل خوارزمية هي مجموعة محدودة من التعليمات المفصلة خطوة بخطوة التي يمكن للجهاز اتباعها لتحقيق هدف معين. في نموذج التعلم الآلي، الهدف هو إنشاء أو اكتشاف الأنماط التي يمكن للبشر استخدامها لإجراء تنبؤات أو تصنيف المعلومات. قد تصف الخوارزمية كيفية تحديد ما إذا كان الحيوان الأليف قطة أو كلباً أو سمكة أو طائراً أو سحلية. قد تصف خوارزمية أخرى أكثر تعقيداً كيفية تحديد اللغة المكتوبة أو المنطوقة، وتحليل كلماتها، وترجمتها إلى لغة مختلفة، ثم التحقق من الدقة في الترجمة.

عند تصميم حمل عمل، ستحتاج إلى تحديد مجموعة خوارزمية مناسبة لمهمتك وتقييم الخوارزميات المختلفة المتاحة للعثور على المناسب.

التعلّم الآلي

التعلم الآلي هو تقنية الذكاء الاصطناعي تستخدم الخوارزميات لإنشاء نماذج تنبؤية. تستخدم الخوارزمية لتحليل حقول البيانات و"التعلم" من تلك البيانات باستخدام الأنماط الموجودة داخلها لإنشاء نماذج. ثم يتم استخدام هذه النماذج لإجراء تنبؤات أو قرارات مستنيرة حول البيانات الجديدة.

يتم التحقق من صحة النماذج التنبؤية مقابل البيانات المعروفة، ويتم قياسها بمقاييس الأداء المحددة لسيناريوهات عمل محددة، ثم تعديلها حسب الحاجة. تسمى عملية التعلم والتحقق من الصحة هذه بالتدريب. من خلال إعادة التدريب الدوري، يتم تحسين نماذج التعلم الآلي بمرور الوقت.

عندما يتعلق الأمر بتصميم حمل العمل، يمكنك التفكير في استخدام التعلم الآلي عندما يكون لديك موقف يمكن فيه استخدام الملاحظات السابقة بشكل موثوق للتنبؤ بالمواقف المستقبلية. يمكن أن تكون هذه الملاحظات حقائق عالمية مثل رؤية الكمبيوتر التي تكتشف شكلا من أشكال من آخر، أو يمكن أن تكون هذه الملاحظات خاصة بوضعك مثل رؤية الكمبيوتر التي تكشف عن خطأ تجميع محتمل على خطوط التجميع الخاصة بك استنادا إلى بيانات المطالبة بالضمان السابق.

التعلم العميق

التعلم العميق هو نوع من التعلم الآلي يمكنه التعلم من خلال معالجة البيانات الخاصة به. مثل التعلم الآلي، فإنه يستخدم أيضا الخوارزميات لتحليل البيانات، ولكنه يفعل ذلك باستخدام الشبكات العصبية الاصطناعية التي تحتوي على العديد من المدخلات والمخرجات وطبقات المعالجة. يمكن لكل طبقة معالجة البيانات بطريقة مختلفة، ويصبح إخراج طبقة واحدة هو الإدخال للطبقة التالية. وهذا يسمح للتعلم العميق بإنشاء نماذج أكثر تعقيدا من التعلم الآلي التقليدي.

كمصمم حمل العمل، يتطلب هذا الخيار استثمارا كبيرا في إنشاء نماذج مخصصة أو استكشافية للغاية. بشكل عام، ستنظر في الحلول الأخرى المقدمة في هذه المقالة قبل إضافة التعلم العميق إلى حمل العمل الخاص بك.

الذكاء الاصطناعي التوليدي

الذكاء الاصطناعي التوليدي هو شكل من أشكال الذكاء الاصطناعي حيث يتم تدريب النماذج على توليد محتوى أصلي جديد استنادا إلى العديد من أشكال المحتوى مثل اللغة الطبيعية أو رؤية الكمبيوتر أو الصوت أو إدخال الصورة. باستخدام الذكاء الاصطناعي التوليدية، يمكنك وصف الإخراج المطلوب بلغة يومية عادية، ويمكن للنموذج الاستجابة عن طريق إنشاء نص وصورة ورمز مناسب والمزيد. بعض الأمثلة على تطبيقات الذكاء الاصطناعي التوليدية هي:

  • Microsoft Copilot هي في المقام الأول واجهة مستخدم يمكنها مساعدة المستخدمين في كتابة التعليمات البرمجية والمستندات والمحتوى النصي الآخر. وهو يستند إلى نماذج OpenAI الشائعة ويتم دمجه في مجموعة واسعة من تطبيقات Microsoft وتجارب المستخدم.

  • Azure OpenAI هو نظام أساسي للتطوير كخدمة يوفر الوصول إلى نماذج اللغة القوية ل OpenAI مثل o1-preview وo1-mini وGPT-4o وGPT-4o mini وGPT-4 Turbo مع Vision وGPT-4 وGPT-3.5-Turbo وسلسلة نماذج Embeddings. يمكن تكييف هذه النماذج مع مهمتك المحددة مثل:

    • إنشاء المحتوى
    • تلخيص المحتوى
    • فهم الصورة
    • بحث دلالي
    • لغة طبيعية لترجمة التعليمات البرمجية.

نماذج اللغة

نماذج اللغة هي مجموعة فرعية من الذكاء الاصطناعي التوليدية التي تركز على مهام معالجة اللغة الطبيعية (NLP)، مثل إنشاء النص وتحليل التوجه. تمثل هذه النماذج لغة طبيعية استنادا إلى احتمال الكلمات أو تسلسل الكلمات التي تحدث في سياق معين.

استخدمت نماذج اللغة التقليدية في الإعدادات الخاضعة للإشراف لأغراض البحث حيث يتم تدريب النماذج على مجموعات بيانات نصية مصنفة جيدا لمهام محددة. توفر نماذج اللغة المدربة مسبقا طريقة يمكن الوصول إليها للبدء في الذكاء الاصطناعي وأصبحت أكثر استخداما على نطاق واسع في السنوات الأخيرة. يتم تدريب هذه النماذج على مجموعة نصية واسعة النطاق من الإنترنت باستخدام شبكات عصبية للتعلم العميق ويمكن ضبطها على مجموعات بيانات أصغر لمهام محددة.

يتم تحديد حجم نموذج اللغة من خلال عدد المعلمات أو الأوزان التي تحدد كيفية معالجة النموذج لبيانات الإدخال وتوليد الإخراج. يتم تعلم المعلمات أثناء عملية التدريب عن طريق ضبط الأوزان داخل طبقات النموذج لتقليل الفرق بين تنبؤات النموذج والبيانات الفعلية. كلما زاد عدد المعلمات التي يحتوي عليها النموذج، زادت تعقيدا وتعبيرا عن ذلك، ولكن أيضا كلما كان التدريب والاستخدام أكثر تكلفة حسابيا.

بشكل عام، تحتوي نماذج اللغات الصغيرة على أقل من 10 مليارات معلمة، ونماذج اللغات الكبيرة لديها أكثر من 10 مليارات معلمة. على سبيل المثال، تحتوي مجموعة نماذج Microsoft Phi-3 على ثلاثة إصدارات بأحجام مختلفة: صغيرة (3.8 مليار معلمة)، وصغيرة (7 مليارات معلمة)، ومتوسطة (14 مليار معلمة).

أدوات Copilot

أدى توفر نماذج اللغات إلى ظهور طرق جديدة للتفاعل مع التطبيقات والأنظمة من خلال الأقباط الرقميين والوكلاء المتصلين والمخصصين للمجال. Copilots هم مساعدين للذكاء الاصطناعي التوليدي الذين يتم دمجهم في التطبيقات في كثير من الأحيان كواجهات دردشة. ويُوفّرون دعمًا سياقيًا للمهام الشائعة في تلك التطبيقات.

تم دمج Microsoft Copilot في مجموعة واسعة من تطبيقات Microsoft وتجارب المستخدم. وهو يستند إلى بنية مفتوحة تمكن مطوري الجهات الخارجية من إنشاء المكونات الإضافية الخاصة بهم لتوسيع تجربة المستخدم أو تخصيصها باستخدام Microsoft Copilot. بالإضافة إلى ذلك، يمكن لمطوري الجهات الخارجية إنشاء أقباط خاصة بهم باستخدام نفس البنية المفتوحة.

التوليد المعزز بالاسترجاع (RAG)

Retrieval Augmented Generation (RAG) هو نمط بنية يزيد من قدرات نموذج لغة كبير (LLM) مثل ChatGPT، تم تدريبه فقط على البيانات العامة. يسمح لك هذا النمط بإضافة نظام استرداد يوفر بيانات الأساس ذات الصلة في السياق مع طلب المستخدم. تمنحك إضافة نظام استرداد المعلومات التحكم في بيانات الأساس المستخدمة من قبل نموذج اللغة عند صياغة استجابة. تساعدك بنية RAG على تحديد نطاق الذكاء الاصطناعي التوليدية للمحتوى الذي يتم الحصول عليه من المستندات المتجهة والصور وتنسيقات البيانات الأخرى. لا يقتصر RAG على تخزين البحث المتجه، ومع ذلك، فإن النمط قابل للتطبيق بالاقتران مع أي تقنية مخزن بيانات.

التعلم الآلي التلقائي (AutoML)

التعلم الآلي التلقائي، ويشار إليه أيضا باسم التعلم الآلي الآلي أو AutoML، هو عملية أتمتة المهام المتكررة التي تستغرق وقتا طويلا لتطوير نموذج التعلم الآلي. يسمح لعلماء البيانات والمحللين والمطورين ببناء نماذج التعلم الآلي من Microsoft Azure بمقياس وكفاءة وإنتاجية عالية مع الحفاظ على جودة النموذج.

خدمات الذكاء الاصطناعي

باستخدام Azure الذكاء الاصطناعي يمكن لمطوري الخدمات والمؤسسات إنشاء تطبيقات ذكية وجاهزة للسوق ومسؤولة باستخدام واجهات برمجة تطبيقات ونماذج جاهزة ومنشأة مسبقا وقابلة للتخصيص. تشمل الاستخدامات معالجة اللغة الطبيعية للمحادثات والبحث والمراقبة والترجمة والكلام والرؤية واتخاذ القرار.

نماذج الذكاء الاصطناعي Language

  • نماذج اللغة الكبيرة (LLMs)، مثل نماذج GPT الخاصة ب OpenAI، هي أدوات قوية يمكنها توليد لغة طبيعية عبر مجالات ومهام مختلفة. عند التفكير في استخدام هذه النماذج، ضع في اعتبارك عوامل مثل خصوصية البيانات والاستخدام الأخلاقي والدقة والتحيز.

  • نماذج Phi المفتوحة هي نماذج صغيرة وأقل حوسبة مكثفة لحلول الذكاء الاصطناعي التوليدية. قد يكون نموذج لغة صغير (SLM) أكثر كفاءة وقابلية للتفسير وقابلا للتفسير من نموذج لغة كبير.

عند تصميم حمل عمل، يمكنك استخدام نماذج اللغة كحل مستضاف، أو خلف واجهة برمجة تطبيقات محدودة أو للعديد من نماذج اللغات الصغيرة، يمكنك استضافة تلك النماذج قيد المعالجة أو على الأقل على نفس الحساب مثل المستهلك. عند استخدام نماذج اللغة في الحل الخاص بك، ضع في اعتبارك اختيارك لنموذج اللغة وخيارات الاستضافة المتوفرة الخاصة به لضمان استخدامك حلا محسنا لحالة الاستخدام الخاصة بك.

الذكاء الاصطناعي منصات وأدوات التطوير

خدمة Azure Machine Learning

Azure التعلم الآلي هي خدمة تعلم آلي لإنشاء النماذج ونشرها. يوفر Azure التعلم الآلي واجهات ويب وSDKs حتى تتمكن من تدريب ونشر نماذج التعلم الآلي وخطوط الأنابيب على نطاق واسع. استخدم هذه الإمكانات مع أطر عمل Python مفتوحة المصدر، مثل PyTorch وTensorFlow وscikit-learn.

بنيات مرجع التعلم الآلي لـ Azure

التعلم الآلي التلقائي (AutoML)

إنشاء نماذج التعلم الآلي على نطاق واسع باستخدام إمكانية AutoML في Azure التعلم الآلي لأتمتة المهام.

MLflow

مساحات عمل Azure التعلم الآلي متوافقة مع MLflow، ما يعني أنه يمكنك استخدام مساحة عمل Azure التعلم الآلي بنفس الطريقة التي تستخدم بها خادم MLflow. هذا التوافق له المزايا التالية:

  • لا يستضيف Azure التعلم الآلي مثيلات خادم MLflow، ولكن يمكنه استخدام واجهات برمجة تطبيقات MLflow مباشرة.
  • يمكنك استخدام مساحة عمل Azure التعلم الآلي كخادم تعقب لأي رمز MLflow، سواء تم تشغيله في Azure التعلم الآلي أم لا. تحتاج فقط إلى تكوين MLflow للإشارة إلى مساحة العمل حيث يجب أن يحدث التتبع.
  • يمكنك تشغيل أي روتين تدريبي يستخدم MLflow في Azure التعلم الآلي دون إجراء أي تغييرات.

لمزيد من المعلومات، راجع MLflow وAzure التعلم الآلي

أدوات الذكاء الاصطناعي التوليدية

  • التدفق الفوري هو مجموعة من أدوات التطوير المصممة لتبسيط دورة التطوير الشاملة لتطبيقات الذكاء الاصطناعي التوليدية، من الفكرة والنماذج الأولية والاختبار والتقييم إلى نشر الإنتاج ومراقبته. وهو يدعم الهندسة السريعة من خلال التعبير عن الإجراءات في التزامن المعياري ومحرك التدفق.

  • يساعدك Azure الذكاء الاصطناعي Studio على تجربة تطبيقات الذكاء الاصطناعي التوليدية وواجهات برمجة التطبيقات وتطويرها ونشرها بمسؤولية باستخدام نظام أساسي شامل. باستخدام Azure الذكاء الاصطناعي Studio، يمكنك الوصول إلى خدمات Azure الذكاء الاصطناعي والنماذج الأساسية والملعب والموارد لمساعدتك في إنشاء نماذج الذكاء الاصطناعي وتدريبها وضبطها وتوزيعها. يمكنك أيضا تقييم استجابات النموذج وتنسيق مكونات تطبيق المطالبة مع تدفق المطالبة للحصول على أداء أفضل.

  • يتم استخدام Azure Copilot Studio لتوسيع Microsoft Copilot في Microsoft 365 وإنشاء وحدات كوبيلوت مخصصة للسيناريوهات الداخلية والخارجية. باستخدام Copilot Studio، يمكن للمستخدمين تصميم الكوبيلوتس واختبارها ونشرها باستخدام لوحة التأليف الشاملة. يمكن للمستخدمين بسهولة إنشاء محادثات الذكاء الاصطناعي تمكين التوليد، وتوفير مزيد من التحكم في الاستجابات للأقباط الحاليين، وتسريع الإنتاجية مع مهام سير عمل مؤتمتة محددة.

الأنظمة الأساسية للبيانات الذكاء الاصطناعي

Microsoft Fabric

Microsoft Fabric هو نظام أساسي شامل للبيانات والتحليلات مصمم للمؤسسات التي تتطلب حلا موحدا. يمكن منح فرق حمل العمل حق الوصول إلى البيانات في هذه الأنظمة. ويشمل نقل البيانات، والمعالجة، والاستيعاب، والتحويل، وتوجيه الأحداث في الوقت الحقيقي، وبناء التقارير. يقدم مجموعة شاملة من الخدمات بما في ذلك هندسة البيانات ومصنع البيانات وعلوم البيانات والتحليلات في الوقت الحقيقي ومستودع البيانات وقواعد البيانات.

يدمج Microsoft Fabric مكونات منفصلة في مكدس متماسك. بدلا من الاعتماد على قواعد بيانات أو مستودعات بيانات مختلفة، يمكنك مركزية تخزين البيانات باستخدام OneLake. يتم تضمين قدرات الذكاء الاصطناعي داخل Fabric، مما يلغي الحاجة إلى التكامل اليدوي.

الأقباط في النسيج

تتيح لك Copilot وغيرها من ميزات الذكاء الاصطناعي التوليدية تحويل البيانات وتحليلها، وإنشاء رؤى، وإنشاء مرئيات وتقارير في Microsoft Fabric وPower BI. يمكنك إما بناء الكوبيلوت الخاص بك، أو اختيار أحد الأقباط التالية التي تم إنشاؤها مسبقا:

مهارات الذكاء الاصطناعي في النسيج

باستخدام مهارة الذكاء الاصطناعي Microsoft Fabric، يمكنك تكوين نظام الذكاء الاصطناعي إنشاء لإنشاء استعلامات تجيب عن الأسئلة حول بياناتك. بعد تكوين مهارة الذكاء الاصطناعي، يمكنك مشاركتها مع زملائك، الذين يمكنهم بعد ذلك طرح أسئلتهم باللغة الإنجليزية العادية. بناء على أسئلتهم، يقوم الذكاء الاصطناعي بإنشاء استعلامات عبر بياناتك التي تجيب عن هذه الأسئلة.

الأنظمة الأساسية للبيانات المستندة إلى Apache Spark الذكاء الاصطناعي

إن Apache Spark عبارة عن إطار عمل لمعالجة متوازٍ يدعم المعالجة داخل الذاكرة لتعزيز أداء تطبيقات تحليل البيانات الضخمة. يوفر Spark الأوليات للحوسبة العنقودية في الذاكرة. يمكن لوظيفة Spark تحميل البيانات وتخزينها مؤقتا في الذاكرة والاستعلام عنها بشكل متكرر، وهو أسرع من التطبيقات المستندة إلى القرص، مثل Hadoop.

Apache Spark في Azure Fabric

Microsoft Fabric Runtime هو نظام أساسي متكامل من Azure يستند إلى Apache Spark الذي يتيح تنفيذ وإدارة تجارب هندسة البيانات وعلوم البيانات. فهو يجمع بين المكونات الرئيسية من المصادر الداخلية والمصادر المفتوحة، ما يوفر للعملاء حلا شاملا.

المكونات الرئيسية لوقت تشغيل Fabric:

  • Apache Spark - مكتبة حوسبة موزعة مفتوحة المصدر قوية تتيح معالجة البيانات على نطاق واسع ومهام التحليلات. يوفر Apache Spark نظاما أساسيا متعدد الاستخدامات وعالي الأداء لهندسة البيانات وتجارب علوم البيانات.

  • Delta Lake - طبقة تخزين مفتوحة المصدر توفر معاملات ACID وميزات موثوقية البيانات الأخرى إلى Apache Spark. مدمجة ضمن وقت تشغيل Fabric، تعزز Delta Lake قدرات معالجة البيانات وتضمن تناسق البيانات عبر عمليات متزامنة متعددة.

  • حزم المستوى الافتراضي ل Java/Scala وPython وR - الحزم التي تدعم لغات البرمجة والبيئات المتنوعة. يتم تثبيت هذه الحزم وتكوينها تلقائيا، ما يسمح للمطورين بتطبيق لغات البرمجة المفضلة لديهم لمهام معالجة البيانات.

تم بناء Microsoft Fabric Runtime على نظام تشغيل قوي مفتوح المصدر، ما يضمن التوافق مع تكوينات الأجهزة المختلفة ومتطلبات النظام.

وقت تشغيل Azure Databricks من أجل التعلم الآلي

Azure Databricks هو نظام أساسي للتحليلات يستند إلى Apache Spark مع إعداد نقرة واحدة، ومهام سير عمل مبسطة، ومساحة عمل تفاعلية للتعاون بين علماء البيانات والمهندسين ومحللي الأعمال.

يتيح لك Databricks Runtime من أجل التعلم الآلي (Databricks Runtime ML) بدء مجموعة Databricks مع جميع المكتبات المطلوبة للتدريب الموزع. ويوفر بيئة للتعلم الآلي وعلوم البيانات. بالإضافة إلى ذلك، يحتوي على مكتبات شائعة متعددة، بما في ذلك TensorFlow وPyTorch وKeras وXGBoost. كما يدعم التدريب الموزع باستخدام Horovod.

Apache Spark في Azure HDInsight

Apache Spark في Azure HDInsight هو تنفيذ Microsoft لـ Apache Spark في السحابة. تتوافق مجموعات Spark في HDInsight مع تخزين Azure وAzure Data Lake Storage، بحيث يمكنك استخدام مجموعات HDInsight Spark لمعالجة بياناتك المخزنة في Azure.

مكتبة التعلم الآلي من Microsoft ل Apache Spark هي SynapseML (المعروف سابقا باسم MMLSpark). تضيف هذه المكتبة مفتوحة المصدر العديد من أدوات التعلم العميق وعلوم البيانات وقدرات الشبكات والأداء على مستوى الإنتاج إلى نظام Spark البنائي. تعرف على المزيد حول ميزات SynapseML وقدراته.

تخزين البيانات الذكاء الاصطناعي

Microsoft Fabric OneLake

OneLake في Fabric هو مستودع بيانات موحد ومنطقي مصمم خصيصا للمؤسسة بأكملها. وهو بمثابة المركز المركزي لجميع بيانات التحليلات ويتم تضمينه مع كل مستأجر Microsoft Fabric. تم بناء OneLake في Fabric على أساس Data Lake Storage Gen2.

OneLake في Fabric:

  • يدعم أنواع الملفات المنظمة وغير المنظمة.
  • يخزن جميع البيانات الجدولية بتنسيق Delta Parquet.
  • يوفر مستودع بيانات واحدا داخل حدود المستأجر الذي يحكمه افتراضيا.
  • يدعم إنشاء مساحات عمل داخل مستأجر بحيث يمكن للمؤسسة توزيع نهج الملكية والوصول.
  • يدعم إنشاء عناصر بيانات مختلفة، مثل المستودعات والمستودعات، التي يمكنك الوصول منها إلى البيانات.

لمزيد من المعلومات، راجع OneLake، OneDrive للحصول على البيانات.

Azure Data Lake Storage Gen2

Azure Data Lake Storage هو مستودع مركزي واحد حيث يمكنك تخزين جميع بياناتك، سواء كانت منظمة أو غير منظمة. يتيح مستودع البيانات لمؤسستك تخزين مجموعة متنوعة من البيانات والوصول إليها وتحليلها بسرعةٍ وبسهولةٍ أكبر في موقعٍ واحد. باستخدام مستودع البيانات، لا تحتاج إلى مطابقة بياناتك لتلائم بنية موجودة. بدلًا من ذلك، يمكنك تخزين البيانات بتنسيقها الأولي أو الأصلي، عادةً باعتبارها ملفات أو كائنات ثنائية كبيرة (blobs).

يوفر Data Lake Storage Gen2 دلالات نظام الملفات والأمان على مستوى الملف والمقياس. نظرا لأن هذه الإمكانات مبنية على تخزين Blob، فإنك تحصل أيضا على تخزين منخفض التكلفة ومتدرج، مع إمكانات قابلية وصول عالية/استرداد البيانات بعد الكوارث.

Data Lake Storage Gen2 يجعل Azure Storage الأساس لبناء مستودعات بيانات المؤسسة على Azure. تم تصميمها منذ البداية لخدمة عدد من البيتابايت من المعلومات مع الحفاظ على مئات الجيجابت من الإنتاجية، يسمح Data Lake Storage Gen2 لك بإدارة كميات هائلة من البيانات بسهولة.

معالجة البيانات الذكاء الاصطناعي

Microsoft Fabric Data Factory

باستخدام Data Factory، يمكنك استيعاب البيانات وإعدادها وتحويلها من مصادر بيانات متعددة (على سبيل المثال، قواعد البيانات ومستودع البيانات و Lakehouse والبيانات في الوقت الفعلي والمزيد). عند تصميم أحمال العمل، هذه أداة يمكن أن تكون مفيدة في تلبية متطلبات DataOps.

يدعم Data Factory كلا من حلول التعليمات البرمجية وحلول التعليمات البرمجية بدون/انخفاض:

  • تتيح لك مسارات البيانات إنشاء قدرات سير العمل على نطاق السحابة. باستخدام مسارات البيانات، يمكنك استخدام واجهة السحب والإفلات لإنشاء مهام سير عمل يمكنها تحديث تدفق البيانات ونقل البيانات بحجم بيتابايت وتحديد مسارات تدفق التحكم.

  • توفر تدفقات البيانات واجهة منخفضة التعليمات البرمجية لاستيعاب البيانات من مئات مصادر البيانات، وتحويل بياناتك باستخدام أكثر من 300 تحويل بيانات.

انظر أيضا:

Azure Databricks

باستخدام Databricks Data Intelligence Platform، يمكنك كتابة التعليمات البرمجية لإنشاء سير عمل التعلم الآلي باستخدام هندسة الميزات:

  • استيعاب مسارات البيانات للبيانات الأولية، وإنشاء جداول الميزات، وتدريب النماذج، وتنفيذ الاستدلال الدفعي. عند تدريب نموذج وتسجيله باستخدام هندسة الميزات في كتالوج Unity، يتم حزم النموذج ببيانات تعريف الميزة. عند استخدام النموذج لتسجيل الدفعات أو الاستدلال عبر الإنترنت، فإنه يسترد قيم الميزات تلقائيا. لا يحتاج المتصل إلى معرفة ذلك أو تضمين منطق للبحث عن ميزات أو الانضمام إليها لتسجيل بيانات جديدة.
  • تتوفر نقاط نهاية خدمة النموذج والميزات بنقرة واحدة وتوفر ميلي ثانية من زمن الانتقال.
  • مراقبة البيانات والنماذج.

يمكنك أيضا استخدام الفسيفساء الذكاء الاصطناعي Vector Search، والتي تم تحسينها لتخزين التضمينات واستردادها. تعتبر عمليات التضمين ضرورية للتطبيقات التي تتطلب عمليات بحث عن التشابه، مثل RAG (Retrieval Augmented Generation) وأنظمة التوصية والتعرف على الصور.

موصلات البيانات الذكاء الاصطناعي

تدعم البنية الأساسية لبرنامج ربط العمليات التجارية Azure Data Factory وAzure Synapse Analytics العديد من مخازن البيانات وتنسيقاتها عبر أنشطة النسخ وتدفق البيانات والبحث والحصول على بيانات التعريف والحذف. لمشاهدة موصلات مخزن البيانات المتوفرة والقدرات المدعومة والتكوينات المقابلة وخيارات اتصال ODBC العامة، راجع نظرة عامة على Azure Data Factory وموصل Azure Synapse Analytics.

ذكاء الاصطناعي المخصص

Azure Machine Learning  

Azure التعلم الآلي هي خدمة سحابية لتسريع وإدارة دورة حياة مشروع التعلم الآلي (ML). يمكن لمتخصصي التعلم الآلي وعلماء البيانات والمهندسين استخدامه في مهام سير العمل اليومية لتدريب النماذج ونشرها وإدارة عمليات التعلم الآلي (MLOps).

توفر Azure التعلم الآلي الإمكانات التالية:

  • تحديد الخوارزميات تقوم بعض الخوارزميات بافتراضات معينة حول بنية البيانات أو النتائج المطلوبة. إذا تمكنت من العثور على واحد يناسب احتياجاتك، فيمكن أن يمنحك نتائج أكثر فائدة، أو تنبؤات أكثر دقة، أو أوقات تدريب أسرع.

    كيفية تحديد خوارزميات Azure التعلم الآلي

  • ضبط المعلمات الفائقة أو التحسين هو عملية العثور على تكوين المعلمات الفائقة التي تؤدي إلى أفضل أداء. العملية مكلفة حسابيا ويدوية. مقاييس المعلمة الفائقة هي معلمات قابلة للتعديل تتيح لك التحكم في عملية تدريب الطراز. على سبيل المثال، باستخدام الشبكات العصبية، يمكنك تحديد عدد الطبقات المخفية وعدد العقد في كل طبقة. يعتمد أداء النموذج بشكل كبير على المعلمة الفائقة.

    التعلم الآلي من Microsoft Azure يتيح لك أتمتة ضبط المعلمة الفائقة وتشغيل التجارب بالتوازي لتحسين المعلمات الفائقة.

  • تدريب النموذج. باستخدام Azure التعلم الآلي، يمكنك استخدام خوارزمية بشكل متكرر لإنشاء نماذج أو "تعليمها". بمجرد التدريب، يمكن استخدام هذه النماذج لتحليل البيانات التي يمكن إجراء التنبؤات منها. أثناء مرحلة التدريب، يتم وضع علامة على مجموعة نوعية من البيانات المعروفة بحيث يمكن التعرف على الحقول الفردية. يتم تغذية البيانات ذات العلامات إلى خوارزمية تم تكوينها لإجراء تنبؤ معين. عند الانتهاء، تقوم الخوارزمية لإخراج نموذج يصف الأنماط التي وجدها كمعلمات. أثناء التحقق من الصحة، يتم وضع علامة على البيانات الجديدة واستخدامها لاختبار النموذج. يتم تعديل الخوارزمية حسب الحاجة وربما يتم وضعها من خلال مزيد من التدريب. وأخيراً، تستخدم مرحلة الاختبار بيانات العالم الحقيقي دون أي علامات أو أهداف محددة مسبقاً. بافتراض دقة نتائج النموذج، فإنه يعتبر جاهزا للاستخدام ويمكن نشره.

  • التعلم الآلي التلقائي (AutoML) هو عملية أتمتة المهام المتكررة المستهلكة للوقت لتطوير نموذج التعلم الآلي. يمكن أن يقلل بشكل كبير من الوقت المستغرق للحصول على نماذج التعلم الآلي الجاهزة للإنتاج. يمكن أن يساعد التعلم الآلي التلقائي في تحديد النموذج وضبط المعلمات الفائقة وتدريب النموذج والمهام الأخرى، دون الحاجة إلى برمجة واسعة النطاق أو معرفة بالمجال.

    يمكنك استخدام التعلم الآلي التلقائي عندما تريد أن يقوم Azure التعلم الآلي بتدريب نموذج وضبطه لك باستخدام مقياس هدف محدد. يمكن استخدام التعلم الآلي الآلي بغض النظر عن خبرة علوم البيانات لتحديد مسار التعلم الآلي الشامل لأي مشكلة.

    يمكن لمحترفي التعلم الآلي والمطورين عبر الصناعات استخدام التعلم الآلي المؤتمت من أجل:

    • تنفيذ حلول التعلم الآلي دون برمجة واسعة أو معرفة بالتعلم الآلي

    • توفير الوقت والموارد

    • تطبيق أفضل ممارسات علم البيانات

    • تقديم حل سريع للمشكلات

    • ما المقصود بالتعلم الآلي التلقائي؟

  • يسمىالتسجيل أيضاً بـالتنبؤ وهو عملية إنشاء القيم استناداً إلى نموذج التعلم الآلي المدرب، بالنظر إلى بعض بيانات الإدخال الجديدة. يمكن أن تمثل القيم أو الدرجات التي يتم إنشاؤها تنبؤات للقيم المستقبلية، ولكنها قد تمثل أيضاً فئة أو نتيجة مرجحة.

  • هندسة الميزات والتميز. وتتكون بيانات التدريب من صفوف وأعمدة. يعتبر كل صف ملاحظة أو سجل، وأعمدة كل صف هي الميزات التي تصف كل سجل. في العادة ما يتم تحديد الميزات التي تميز الأنماط في البيانات بشكل أفضل لإنشاء نماذج تنبؤية.

على الرغم من أنه يمكن استخدام العديد من حقول البيانات الأولية مباشرة لتدريب نموذج، فإنه غالبا ما يكون من الضروري إنشاء ميزات أخرى (هندسية) توفر معلومات تميز الأنماط في البيانات بشكل أفضل. تسمى هذه العملية هندسة الميزات، حيث يتم استخدام معرفة المجال بالبيانات لإنشاء ميزات تساعد بدورها خوارزميات التعلم الآلي على التعلم بشكل أفضل.

في التعلم الآلي من Microsoft Azure، يتم تطبيق تقنيات تحجيم البيانات والتطبيع لتسهيل هندسة الميزات. بشكل جماعي، تسمى هذه التقنيات وهندسة الميزات هذه المميزة في تجارب التعلم الآلي الآلي (ML).

Azure OpenAI

تتيح لك خدمة Azure OpenAI تخصيص نماذج OpenAI لمجموعات بياناتك الشخصية باستخدام عملية تعرف باسم الضبط الدقيق. تتيح لك خطوة التخصيص هذه الحصول على المزيد من الخدمة من خلال توفير:

  • نتائج ذات جودة أعلى مما يمكنك الحصول عليه فقط من الهندسة الفورية
  • القدرة على التدريب على أمثلة أكثر مما يمكن أن يتناسب مع الحد الأقصى لسياق الطلب للنموذج.
  • توفير الرمز المميز بسبب المطالبات الأقصر
  • طلبات زمن انتقال أقل، خاصة عند استخدام نماذج أصغر.

لمزيد من المعلومات، راجع:

خدمات Azure الذكاء الاصطناعي الذكاء الاصطناعي المخصصة

تقدم خدمات Azure الذكاء الاصطناعي ميزات تتيح لك إنشاء نماذج وتطبيقات الذكاء الاصطناعي مخصصة. يوفر هذا القسم نظرة عامة على بعض هذه الميزات الرئيسية.

Custom Speech

الكلام المخصص هو ميزة لخدمة Azure الذكاء الاصطناعي Speech. باستخدام الكلام المخصص، يمكنك تقييم وتحسين دقة التعرف على الكلام لتطبيقاتك ومنتجاتك. يمكن استخدام نموذج كلام مخصص لتحويل الكلام في الوقت الحقيقي إلى نص وترجمة الكلام والنسخ الدفعي.

يستخدم التعرف على الكلام نموذج اللغة العالمي كنموذج أساسي يتم تدريبه باستخدام البيانات المملوكة ل Microsoft ويعكس اللغة المنطوقة شائعة الاستخدام. يتم تدريب النموذج الأساسي مسبقا مع اللهجات والهاتفية التي تمثل مختلف المجالات الشائعة. عند تقديم طلب التعرف على الكلام، يتم استخدام أحدث نموذج أساسي لكل لغة مدعومة بشكل افتراضي. يعمل النموذج الأساسي بشكل جيد في معظم سيناريوهات التعرف على الكلام.

يمكن استخدام نموذج مخصص لزيادة النموذج الأساسي لتحسين التعرف على المفردات الخاصة بالمجال الخاصة بالتطبيق من خلال توفير بيانات نصية لتدريب النموذج. يمكن استخدامه أيضاً لتحسين التعرف استناداً إلى الظروف الصوتية المحددة للتطبيق من خلال توفير بيانات صوتية مع نسخ مكتوبة مرجعية.

يمكنك أيضا تدريب نموذج مع نص منظم عندما تتبع البيانات نمطا، لتحديد النطق المخصص، وتخصيص تنسيق نص العرض مع تسوية النص المعكوس المخصص وإعادة الكتابة المخصصة وتصفية الألفاظ النابية المخصصة.

تخصيص المترجم

المترجم المخصص هو ميزة لخدمة Azure الذكاء الاصطناعي Translator . باستخدام المترجم المخصص، يمكن للمؤسسات ومطوري التطبيقات وموفري خدمات اللغات إنشاء أنظمة ترجمة آلية عصبية مخصصة (NMT). تتكامل أنظمة الترجمة المخصصة بسلاسة مع التطبيقات الحالية وسير العمل ومواقع الويب.

يمكن النظام الأساسي المستخدمين من إنشاء أنظمة ترجمة مخصصة ونشرها من وإلى اللغة الإنجليزية. يدعم المترجم المخصص أكثر من ثلاث عشرة لغة، ويخصص مباشرة للغات المتوفرة لأنظمة الترجمة الآلية العصبية (NMT). للحصول على قائمة كاملة، راجع دعم لغة المترجم.

يقدم المترجم المخصص الميزات التالية:

ميزة ‏‏الوصف
تطبيق تكنولوجيا الترجمة الآلية العصبية تحسين ترجماتك عن طريق تطبيق الترجمة الآلية العصبية (NMT) التي يقدمها المترجم المخصص.
بناء أنظمة تعرف مصطلحات عملك تخصيص وبناء أنظمة الترجمة باستخدام مستندات متوازية تفهم المصطلحات المستخدمة في عملك وصناعتك.
استخدام قاموس لإنشاء النماذج الخاصة بك إذا لم يكن لديك مجموعة بيانات التدريب، فإنه يمكنك تدريب نموذج ببيانات القاموس فقط.
التعاون مع الآخرين تعاون مع فريقك من خلال مشاركة عملك مع أشخاص مختلفين.
الوصول إلى نموذج الترجمة المخصصة يمكنك الوصول إلى نموذج الترجمة المخصص في أي وقت باستخدام التطبيقات/ البرامج الموجودة عبر المترجم من Microsoft Text API V3.

نماذج مخصصة لذكاء المستند

يستخدم Azure الذكاء الاصطناعي Document Intelligence تقنية التعلم الآلي المتقدمة لتحديد المستندات، واكتشاف المعلومات واستخراجها من النماذج والمستندات، وإرجاع البيانات المستخرجة في إخراج JSON منظم. باستخدام Document Intelligence، يمكنك استخدام نماذج تحليل المستندات، أو التي تم إنشاؤها مسبقا/ تدريبها مسبقا، أو النماذج المخصصة المستقلة المدربة.

تتضمن النماذج المخصصة لذكاء المستند الآن نماذج تصنيف مخصصة للسيناريوهات التي تحتاج فيها إلى تحديد نوع المستند قبل استدعاء نموذج الاستخراج. يمكن إقران نموذج التصنيف بنموذج استخراج مخصص لتحليل واستخراج الحقول من النماذج والمستندات الخاصة بعملك. يمكن دمج نماذج الاستخراج المخصصة المستقلة لإنشاء نماذج مكونة.

أدوات الذكاء الاصطناعي مخصصة

على الرغم من أن نماذج الذكاء الاصطناعي التي تم إنشاؤها مسبقا مفيدة ومرنة بشكل متزايد، فإن أفضل طريقة للحصول على ما تحتاجه من الذكاء الاصطناعي هي بناء نموذج مصمم لتلبية احتياجاتك المحددة. هناك أداتان أساسيتان لإنشاء نماذج الذكاء الاصطناعي مخصصة: الذكاء الاصطناعي التوليدية والتعلم الآلي التقليدي:

Azure Machine Learning Studio

Azure التعلم الآلي studio هي خدمة سحابية لتسريع وإدارة دورة حياة مشروع التعلم الآلي (ML). يمكن لمتخصصي التعلم الآلي وعلماء البيانات والمهندسين استخدامه في مهام سير العمل اليومية لتدريب النماذج ونشرها وإدارة عمليات التعلم الآلي (MLOps).:

  • إنشاء نموذج Azure التعلم الآلي وتدريبه باستخدام أي نوع من الحوسبة بما في ذلك Spark ووحدات معالجة الرسومات لأحمال العمل الذكاء الاصطناعي الكبيرة على نطاق السحابة.
  • تشغيل Azure التعلم الآلي (AutoML) التلقائي وواجهة مستخدم السحب والإفلات ل Azure التعلم الآلي ذات التعليمات البرمجية المنخفضة.
  • تنفيذ Azure من طرف إلى طرف التعلم الآلي Ops وخطوط أنابيب Azure التعلم الآلي القابلة للتكرار.
  • استخدم لوحة معلومات الذكاء الاصطناعي المسؤولة للكشف عن التحيز وتحليل الأخطاء.
  • تنسيق وإدارة الهندسة الفورية وتدفقات LLM.
  • انشر النماذج باستخدام نقاط نهاية REST API، والوقت الحقيقي، والاستدلال الدفعي.
  • استخدم المراكز (معاينة) لمشاركة الحوسبة والحصة النسبية والأمان والاتصال بموارد الشركة مع مجموعة من مساحات العمل، مع مركزية الحوكمة في تكنولوجيا المعلومات. قم بإعداد مركز مرة واحدة، ثم إنشاء مساحات عمل آمنة مباشرة من Studio لكل مشروع. استخدم المراكز لإدارة عمل فريقك في كل من ML Studio و الذكاء الاصطناعي Studio.

استوديو الذكاء الاصطناعي في Azure

تم تصميم Azure الذكاء الاصطناعي Studio لمساعدتك على إنشاء تطبيقات الذكاء الاصطناعي الذكاء الاصطناعي المخصصة وتوزيعها بكفاءة باستخدام قوة عروض الذكاء الاصطناعي الواسعة من Azure:

  • بناء معا كفريق واحد. يوفر مركز الذكاء الاصطناعي Studio أمانا على مستوى المؤسسة، وبيئة تعاونية مع موارد واتصالات مشتركة بالنماذج والبيانات والحوسبة المدربة مسبقا.
  • تنظيم عملك. يساعدك مشروع الذكاء الاصطناعي Studio على حفظ الحالة، مما يسمح لك بالتكرار من الفكرة الأولى، إلى النموذج الأولي الأول، ثم نشر الإنتاج أولا. يمكنك أيضا دعوة الآخرين بسهولة للتعاون في هذه الرحلة.
  • استخدم منصة التطوير وأطر العمل المفضلة لديك، بما في ذلك GitHub وVisual Studio Code وLangChain وKernel الدلالي و AutoGen والمزيد.
  • اكتشاف وقياس من أكثر من 1600 نموذج.
  • توفير نماذج كخدمة (MaaS) من خلال واجهات برمجة التطبيقات بلا خادم والضبط الدقيق المستضاف.
  • دمج نماذج ومصادر بيانات وطرائق متعددة.
  • إنشاء الجيل المعزز للاسترداد (RAG) باستخدام بيانات المؤسسة المحمية دون الحاجة إلى الضبط الدقيق.
  • تنسيق وإدارة تدفقات هندسة المطالبات ونموذج اللغة الكبيرة (LLM).
  • تصميم التطبيقات وواجهات برمجة التطبيقات وواجهات برمجة التطبيقات وحمايتها باستخدام عوامل تصفية وعناصر تحكم قابلة للتكوين.
  • تقييم استجابات النموذج باستخدام تدفقات التقييم المضمنة والمخصصة.
  • نشر ابتكارات الذكاء الاصطناعي على البنية الأساسية المدارة من Azure مع المراقبة المستمرة والحوكمة عبر البيئات.
  • مراقبة التطبيقات المنشورة باستمرار من أجل السلامة والجودة واستهلاك الرمز المميز في الإنتاج.|

للحصول على مقارنة مفصلة بين Azure التعلم الآلي وAzure الذكاء الاصطناعي Studio، راجع Azure التعلم الآلي مقابل Azure الذكاء الاصطناعي Studio.

تدفق المطالبة في Azure الذكاء الاصطناعي Studio

التدفق الفوري في Azure الذكاء الاصطناعي Studio هو أداة تطوير مصممة لتبسيط دورة التطوير بأكملها لتطبيقات الذكاء الاصطناعي التي يتم تشغيلها بواسطة نماذج اللغات الكبيرة (LLMs). يوفر التدفق السريع حلا شاملا يبسط عملية النماذج الأولية واختبارها وتكرارها ونشر تطبيقاتك الذكاء الاصطناعي.

  • تدفق المطالبة هو ميزة يمكن استخدامها لإنشاء تدفق أو تخصيصه أو تشغيله.
  • التدفق هو مجموعة تعليمات قابلة للتنفيذ يمكنها تنفيذ منطق الذكاء الاصطناعي. يمكن إنشاء التدفقات أو تشغيلها عبر أدوات متعددة، مثل لوحة مسبقة البناء، و LangChain، وما إلى ذلك. يمكن حفظ تكرارات التدفق كأصول؛ بمجرد توزيع التدفق يصبح واجهة برمجة تطبيقات. ليست كل التدفقات تدفقات مطالبة؛ بل تدفق المطالبة هو إحدى الطرق لإنشاء تدفق.
  • المطالبة هي حزمة من الإدخالات المرسلة إلى نموذج، تتكون من إدخال المستخدم ورسالة النظام وأي أمثلة. إدخال المستخدم هو نص تم إرساله في نافذة الدردشة. رسالة النظام هي مجموعة من الإرشادات للنموذج لتحديد نطاق سلوكياته ووظائفه.
  • تدفق العينة هو تدفق تزامن بسيط تم إنشاؤه مسبقا يوضح كيفية عمل التدفقات، ويمكن تخصيصه.
  • نموذج المطالبة هو مطالبة محددة لسيناريو معين يمكن نسخه من مكتبة واستخدامه كما هو أو تعديله في تصميم المطالبة.

لغات التعليمات البرمجية الذكاء الاصطناعي المخصصة

المفهوم الأساسي للذكاء الاصطناعي هو استخدام الخوارزميات لتحليل البيانات وإنشاء نماذج لوصفها (أو تسجيلها) بطرق مفيدة. تتم كتابة الخوارزميات من قبل المطورين وعلماء البيانات (وأحياناً بواسطة خوارزميات أخرى) باستخدام التعليمات البرمجية. اثنتان من لغات البرمجة الأكثر شيوعاً لتطوير الذكاء الاصطناعي هما حالياً Python وR.

Python هي لغة برمجة عالية المستوى للأغراض العامة. يحتوي على بناء جملة بسيط وسهل التعلم يؤكد على قابلية القراءة. لا توجد خطوة تجميع. تحتوي Python على مكتبة قياسية كبيرة، ولكنها تدعم أيضاً القدرة على إضافة الوحدات والحزم. وهذا يشجع الوحدات ويتيح لك توسيع القدرات عند الحاجة. هناك نظام بيئي كبير ومتنام من مكتبات الذكاء الاصطناعي وML لـ Python، بما في ذلك العديد منها متاح بسهولة في Azure.

R هي لغة وبيئة للحوسبة الإحصائية والرسومات. ويمكن استخدامها لكل شيء بدءاً من تعيين الاتجاهات الاجتماعية والتسويقية الواسعة عبر الإنترنت إلى تطوير نماذج مالية ومناخية.

تبنت Microsoft لغة برمجة R بالكامل وتوفر العديد من الخيارات المختلفة لمطوري R لتشغيل التعليمات البرمجية الخاصة بهم في Azure.

معلومات عامة حول الذكاء الاصطناعي المخصص على Azure

قصص نجاح العملاء

تطبق مختلف الصناعات الذكاء الاصطناعي بطرق مبتكرة وملهمة. فيما يلي بعض دراسات حالة العملاء وقصص النجاح:

استعراض المزيد من قصص عملاء الذكاء الاصطناعي

معلومات عامة حول الذكاء الاصطناعي من Microsoft

تعرف على المزيد حول الذكاء الاصطناعي من Microsoft، وواكب الأخبار ذات الصلة:

الخطوات التالية