סיור בקטלוג המודלים

הושלם

קטלוג המודלים ב-Microsoft Foundry מספק מאגר מרכזי של מודלים שניתן לעיין בו כדי למצוא את מודל השפה המתאים לשימוש הספציפי שלך בבינה מלאכותית גנרטיבית.

בחירת מודל בסיס עבור יישום הבינה המלאכותית הגנרטיבית שלך חשובה מכיוון שהיא משפיעה על מידת הפעולה של היישום שלך. כדי למצוא את הדגם הטוב ביותר עבור האפליקציה שלך, באפשרותך להשתמש בגישה מובנית על-ידי שאל את עצמך את השאלות הבאות:

• האם בינה יכולה לפתור מקרה השימוש שלי?
• כיצד ניתן לבחור את המתאים ביותר למקרה השימוש שלי?
• האם ניתן את קנה המידה עבור עומסי עבודה מהעולם האמיתי?

בוא נחקור כל אחת מהשאלות האלה.

האם בינה יכולה לפתור מקרה השימוש שלי?

כיום יש לנו אלפי מודלי שפה לבחר. האתגר העיקרי הוא להבין אם קיים מודל מרוצה מהצרכים שלכם ולענה על השאלה: האם בינה מלאכותית יכולה לפתור את מקרה השימוש שלי?

כדי להתחיל לענות על שאלה זו, עליך לגלות, לסנן ולפרוס מודל. באפשרותך לסייר במודלים הזמינים של השפה באמצעות שלושה קטלוגים שונים:

• איתור פנים: קטלוג עצום של מודלים של קוד פתוח בתחומים שונים.
• GitHub: גישה למודלים מגוונים באמצעות GitHub Marketplace ו- GitHub Copilot.
• Microsoft Foundry: קטלוג מקיף עם כלים חזקים לפריסה.

למרות שניתן להשתמש בכל אחד מהקטלוגים האלה כדי לחקור מודלים, קטלוג הדגמים ב-Microsoft Foundry מקל על חקירה ופריסת דגם לבניית אב-הטיפוס שלך, תוך שהוא מציע את מבחר הדגמים הטוב ביותר.

בואו נחקור כמה מהאפשרויות שעליכם לקחת בחשבון בעת חיפוש דגמים מתאימים.

בחירה בין מודלים גדולים ומודלים קטנים של שפה

קודם כל, יש לך אפשרות לבחור בין מודלי שפה גדולים (LLMs) לבין מודלי שפה קטנים (SLMs).

• LLMS כמו GPT-4, Mistral Large, Llama3 70B, Llama 405B ו- Command R+ הם מודלים רבי-עוצמה של בינה מלאכותית המיועדים למשימות הדורשות הגיוניות עמוקות, יצירת תוכן מורכב והבנת הקשר נרחבת.

• SLMs כגון Phi3, מודלים של מערכות הפעלה מיסטראליות ו- Llama3 8B הם יעילים וחסכוניים, תוך טיפול במשימות נפוצות רבות של עיבוד שפה טבעית (NLP). הן מושלמות להפעלה במכשירי חומרה או קצה של קצה שבהם העלות וההירות חשובים יותר מאשר מורכבות המודל.

התמקדות במודאליות, במשימה או בכלי

מודלי שפה כגון GPT-4 ו- Mistral Large ידועים גם כמודלים של השלמת צ'אט, שנועדו ליצור תגובות עקביות ומתאימות להקשר המבוססות על טקסט. כאשר אתה זקוק לרמות ביצועים גבוהות יותר במשימות מורכבות כגון מתמטיקה, קידוד, מדע, אסטרטגיה ולוגיסטיקה, באפשרותך גם להשתמש בהסתמות כמו DeepSeek-R1 ו- o1.

מעבר לבינה מלאכותית מבוססת טקסט, מודלים מסוימים מודלים רב-, כלומר הם יכולים לעבד תמונות, שמע וסוגי נתונים אחרים לצד טקסט. מודלים כמו GPT-4o ו- Phi3-vision מסוגלים לנתח וליבצע גם טקסט וגם תמונות. מודלים רב-מודאליים שימושיים כאשר היישום שלך צריך לעבד ולהבין תמונות, כגון בראייה ממוחשבת או בניתוח מסמכים. או כאשר אתם רוצים לבנות אפליקציית בינה מלאכותית המקיימים אינטראקציה עם תוכן חזותי, כגון מורה דיגיטלי שמסביר תמונות או תרשימים.

אם מקרה השימוש שלך כולל ליצירת תמונות, כלים כגון DALL· E 3 ו- Stability AI יכולים ליצור פריטים חזותיים מציאותיים מהנחיות טקסט. מודלים ליצירת תמונות הם דרך נהדרת לעיצוב חומרים שיווקיים, איורים או אמנות דיגיטלית.

קבוצה נוספת של מודלים ספציפיים למשימה מודלים כגון Ada ו- Cohere. מודלים של הטבעה ממירים טקסט לייצוגים מספריים ומשמשים לשיפור הרלוונטיות של החיפוש על-ידי הבנת המשמעות סמנטית. מודלים אלה מיושמים לעתים קרובות בתרחישי Retrieval Augmented Generation (RAG) לשיפור מנועי המלצות על-ידי קישור תוכן דומה.

כאשר ברצונך לבנות יישום ה מקיים אינטראקציה עם כלי תוכנה אחרים באופן דינאמי, באפשרותך להוסיף שיחות פונקציות וJSON. יכולות אלה מאפשרות למודלים של בינה מלאכותית לעבוד ביעילות עם נתונים מובנים, מה שהופך אותם לשימושיים עבור הפיכת קריאות API לאוטומטיות, שאילתות מסד נתונים לעיבוד נתונים מובנים.

התמחות במודלים אזוריים ומודלים ספציפיים לתחום

מודלים מסוימים מיועדים לשפות, אזורים או תעשיות ספציפיים. מודלים אלה יכולים ליצור בינה מלאכותית גנאית למטרות כלליות בתחומים המתאימים להם. לדוגמה:

• Core42 JAIS היא LLM בשפה הערבית, מה שהופך אותה לבחירה הטובה ביותר עבור אפליקציות הממקדות משתמשים דוברי ערבית.
• Mistral Large מתמקדת בשפות אירופאיות ומבטיחה דיוק לשוני טוב יותר עבור יישומים רב-לשוניים.
• Nixtla TimeGEN-1 מתמחה בחיזוי סדרות זמן, מה שהופך אותו לא אידיאלי לתחזיות פיננסיות, מיטוב שרשרת אספקה ותחזית ביקוש.

אם הפרוייקט שלך כולל צרכים אזוריים, לשוניים או ספציפיים לתעשייה, מודלים אלה יכולים לספק תוצאות רלוונטיות יותר מאשר בינה מלאכותית למטרות כלליות.

איזון גמישות וביצועים עם מודלים פתוחים לעומת מודלים קנייניים

בנוסף, עליך להחליט אם להשתמש במודלים של קוד פתוח או במודלים קנייניים, שכל אחד מהם כולל יתרונות משלו.

קנייניים המתאימים ביותר לביצועים ולשימוש ארגוני חדשניים. Azure מציעה מודלים כגון GPT-4 של OpenAI, Mistral Large ו- Cohere Command R+, המספקים יכולות בינה מלאכותית מובילות בתעשייה. מודלים אלה אידיאליים לעסקים הזקוקים לאבטחה, תמיכה ודיוק ברמה ארגונית.

מודלים של קוד פתוח המתאימים ביותר לגמישות וליעילות העלות. ישנם מאות מודלים בקוד פתוח זמינים בקטלוג המודלים של Microsoft Foundry מ-Hugging Face, ודגמים של Meta, Databricks, Snowflake ו-Nvidia. מודלים פתוחים מעניקים למפתחים שליטה רבה יותר ומאפשרים כוונון, התאמה אישית ופריסה מקומית.

לא משנה איזה דגם תבחר, תוכל להשתמש בקטלוג הדגמים של Microsoft Foundry. השימוש במודלים באמצעות קטלוג המודלים עומד בדרישות הארגוניות הבסיסיות לשימוש:

• נתונים ופרטיות: אתה מקבל להחליט מה קורה עם הנתונים שלך.
• אבטחה ותאימות: אבטחה מוכללת.
• יישום אחראי של בינה מלאכותית ובטיחות: הערכות ובטיחות תוכן.

עכשיו אתם מכירים את מודלי השפות הזמינים לכם, אתם צריכים להבין אם בינה מלאכותית אכן יכולה לפתור את מקרה השימוש שלכם. אם אתה סבור שמודל שפה יעשיר את היישום שלך, תצטרך לבחור את המודל הספציפי שברצונך לפרוס ולשלב.

כיצד ניתן לבחור את המתאים ביותר למקרה השימוש שלי?

כדי לבחור את מודל השפה הטוב ביותר למקרה השימוש שלך, עליך להחליט באילו קריטריונים אתה משתמש כדי לסנן את המודלים. הקריטריונים הם המאפיינים הנחוצים שאתה מזהה עבור מודל. ארבעה מאפיינים שניתן לשקול הם:

• סוגמשימה : איזה סוג משימה דרוש לך כדי שהמודל יבצע? האם היא כוללת הבנה של טקסט בלבד, או גם שמע, וידאו או אפשרויות מרובות?
• דיוק: האם מודל הבסיס מספיק טוב או שדרוש לך מודל מכוון המיומן במיומנות או בערכות נתונים ספציפיות?
• פתיחה: האם ברצונך להיות מסוגל לכוונן את המודל בעצמך?
• פריסה: האם ברצונך לפרוס את המודל באופן מקומי, בנקודות קצה ללא שרת או לנהל את תשתית הפריסה?

כבר חקרת את סוגי המודלים השונים הזמינים בסעיף הקודם. כעת, נבחן ביתר פירוט את מידת הדיוק והביצועים של מסננים חשובים בעת בחירת מודל.

סינון מודלים לקבלת דיוק

בבינה מלאכותית גנטית, דיוק מתייחס לדיוק של המודל ביצירת פלטים נכונים ורלוונטיים. היא מודדת את היחס בין התוצאות החיוביות האמיתיות (פלטים נכונים) בין כל הפלט שנוצר. דיוק גבוה פירושו פחות תוצאות לא רלוונטיות או שגויות, מה שהופך את המודל למהימן יותר.

בעת שילוב מודל שפה ביישום, באפשרותך לבחור בין מודל בסיס או מודל מכוון. מודל בסיס, כגון GPT-4, מאומן מראש על ערכת נתונים גדולה, והוא יכול לטפל בפעילויות שונות, אך אינו יכול להיות מדויק בתחומים ספציפיים. טכניקות כגון הנדסת בקשות יכולות לשפר זאת, אך לפעמים יש צורך בכוונון עדין.

מודל עדין מתרגל עוד יותר בערכות נתונים קטנות וספציפית למשימה כדי לשפר את הדיוק שלו ואת היכולת ליצור פלטים רלוונטיים עבור יישומים ספציפיים. באפשרותך להשתמש במודל מכוון או לכוונן מודל בעצמך.

סינון מודלים לקבלת ביצועים

באפשרותך להעריך את ביצועי המודל בשלבים שונים, תוך שימוש במגוון גישות הערכה.

כשאתה חוקר מודלים דרך קטלוג המודלים של Microsoft Foundry, תוכל להשתמש במדדי מודלים כדי להשוות מדדים זמינים לציבור כמו קוהרנטיות ודיוק בין מודלים ומאגרי נתונים. מבחני ביצועים אלה יכולים לעזור לך בשלב הגילוי הראשוני, אך הם מספקים מעט מידע על האופן שבו המודל יתבצע במקרה השימוש הספציפי שלך.

אמת מידה	תיאור
דיוק	משווה טקסט שנוצר על ידי המודל עם תשובה נכונה בהתאם למערך הנתונים. התוצאה היא טקסט אחד אם הטקסט שנוצר תואם לתשובה בדיוק, ואפס אחרת.
עקביות	מודדת אם פלט המודל זורם בצורה חלקה, קורא באופן טבעי ודומה לשפה דמויה אנושית.
Fluency	הערכת האופן שבו הטקסט שנוצר מציית לכללי דקדוק, למבנים תחביריים ולשימוש מתאים באוצר המילים, והתוצאה היא תגובות נכונות וטבעיות.
הארקעות	מודד יישור בין התשובות שנוצרו על ידי המודל לבין נתוני הקלט.
דמיון GPT	כימת את הדמיון המנטטי בין משפט אמת קרקע (או מסמך) לבין משפט החיזוי שנוצר על-ידי מודל בינה מלאכותית.
מדד איכות	ציון מצטבר השוואתי בין 0 ל- 1, כאשר מודלים בעלי ביצועים טובים יותר מקבלים ערך גבוה יותר
עלות	עלות השימוש במודל מבוססת על מחיר לאסימון. עלות היא מדד שימושי להשוואת איכות, המאפשר לך לקבוע פשרה מתאימה לצרכים שלך.

כדי להעריך את הביצועים של מודל שנבחר בנוגע לדרישות הספציפיות שלך, באפשרותך לשקול לבצע ידניות או אוטומטיות אוטומטיות. הערכות ידניות מאפשרות לך לדרג את התגובות של המודל שלך. ההערכות האוטומטיות כוללות מדדים מסורתיים של למידת מכונה ומדדים עם סיוע בבינה מלאכותית המחושבים ולהפיק עבורך.

בעת הערכת ביצועי מודל, קל להתחיל בהערכות ידניות, מכיוון שהוא מעריך במהירות את איכות תגובות המודל. עבור השוואות שיטתיות יותר, הערכות אוטומטיות המשתמשות במדדים כגון דיוק, אחזור ותוצאות F1 בהתבסס על האמת היסודית שלך מציעות גישה מהירה יותר, מדרגית ומטרה יותר.

האם ניתן את קנה המידה עבור עומסי עבודה מהעולם האמיתי?

בחרת מודל למקרה השימוש שלך ובססת בהצלחה אב-טיפוס. עכשיו, אתה צריך להבין איך לשנות את קנה המידה עבור עומסי עבודה מהעולם האמיתי.

השיקולים להרחבת פתרון בינה מלאכותית גנרטיבית כוללים:

• פריסת מודל: היכן תפרוס את המודל לאיזון הטוב ביותר בין ביצועים ועלות?
• ניטור ואופטימיזציה של מודלים: כיצד תנטר, תעריך ותייעל את ביצועי המודל?
• ניהול הנחיות: כיצד תתאם ותמטב הנחיות כדי למקסם את הדיוק והרלוונטיות של התגובות שנוצרו?
• מחזור חיים של מודל: כיצד תנהל עדכוני מודל, נתונים וקוד כחלק ממחזור חיים מתמשך של Generative AI Operations (GenAIOps)?

Microsoft Foundry מספקת כלים ויזואליים וקודיים שיכולים לעזור לכם לבנות ולתחזק פתרון בינה מלאכותית גנרטיבי שניתן להרחבה.