פריסת מודלים לנקודות קצה

הושלם

לאחר בחירת מודל מהקטלוג, אתה מפרסם אותו כדי להפוך אותו לנגיש דרך נקודות קצה שהאפליקציות שלך יכולות להשתמש בהן. פורטל Microsoft Foundry guides אותך בתהליך הפריסה ומספק כלים לבדיקת המודל המופעל שלך מיד.

הבנת סוגי פריסה

Microsoft Foundry תומכת במספר סוגי פריסה, שכל אחד מהם מציע מאפיינים שונים של מגורי נתונים, קנה מידה וחיוב:

• פריסת מודלים גלובלית סטנדרט יכולה להשתמש בכל אזור Azure על בסיס תשלום לפי טוקן. הם הכי מתאימים לעומסי עבודה כלליים, ומספקים את המכסה הגבוהה ביותר.
• פריסות Global Provisioned יכולות להשתמש בכל אזור Azure, והשימוש בהן מבוסס על יחידות העברת אספקה שמורות (PTU) כדי לספק תפוקה גבוהה וצפויה.
• פריסות Global Batch יכולות להשתמש בכל אזור Azure בהנחה של 50% למשימות אסינכרוניות גדולות בתוך 24 שעות.
• פריסות תקני אזור הנתונים מבטיחות שהנתונים יישארו בתוך אזור נתונים מסוים על בסיס תשלום לפי טוקן. הם הכי מתאימים לתרחישים שבהם נדרש עמידה באזורי נתונים של האיחוד האירופי/ארה"ב.
• פריסות ב-Data Zone Provisioned מספקות קצב העברת נתונים צפוי בהתבסס על PTUs שמורים בתוך אזור נתונים.
• פריסות אצווה של אזור נתונים מיועדות למשימות אצווה אסינכרוניות גדולות בתוך אזור נתונים.
• פריסות סטנדרטיות נפרסות בתוך אזור אחד על בסיס תשלום לפי טוקן. הם מצוינים כשצריך עמידה בדרישות מגורים אזוריות או בתרחישים עם נפח נמוך.
• פריסות מוקצות אזוריות מספקות PTU שמורות בתוך אזור אחד.
• מפתח פריסות מפתחים משתמשות בכל אזור Azure על בסיס תשלום לפי טוקן ומיועדות רק להערכת מודלים מדויקת.

כל דגם בקטלוג מציין אילו סוגי פריסה הוא תומך בהם. הפורטל בוחר אוטומטית את אפשרות הפריסה הטובה ביותר בהתאם לדרישות הסביבה והמודל שלך. יש להשתמש בפריסות תקן גלובלי במשאבי Foundry ככל האפשר למקסימום יכולות.

פריסת מודל

לפריסת מודל מפורטל Microsoft Foundry:

ראשית, עבור לדגם שבחרת בקטלוג הדגם. מדף הבית של פורטל Foundry, בחר ב-Discover בניווט, ואז Models בחלון השמאלי. פתח את כרטיס הדגם כדי לבדוק את המפרטים שלו וסוגי הפריסה הנתמכים.

בחר פריסה כדי להתחיל את תהליך הפריסה. אתה יכול לבחור:

• הגדרות ברירת מחדל לפריסה מהירה עם הגדרות מומלצות
• הגדרות מותאמות אישית לאפשרויות הפריסה שלך

אם המודל דורש מנוי ל-Azure Marketplace (נפוץ במודלים של שותפים והקהילה), אתה רואה תנאי שימוש. בדוק את התנאים הללו ובחר בהסכמה ולהמשיך לקבלם. דגמים הנמכרים ישירות על ידי Azure, כמו דגמי Azure OpenAI כמו GPT-4o-mini, אינם דורשים מנוי לשוק.

הגדר את הגדרות הפריסה שלך:

• שם פריסה: כברירת מחדל, המערכת משתמשת בשם הדגם. ניתן לשנות זאת כדי ליצור שמות משמעותיים לפריסות מרובות של אותו מודל. במהלך ההסקה, הקוד שלך משתמש בשם model הפריסה הזה בפרמטר כדי לנתב בקשות.
• סוג פריסה: הפורטל בוחר אוטומטית את סוג הפריסה המתאים בהתאם למודל ולסביבה שלך. כל מודל תומך בסוגי פריסה שונים, המספקים הבטחות שונות למגורים או לקצב העברה.

לפריסות חישוב מנוהל, אתה גם מגדיר:

• SKU של מכונה וירטואלית: בחר מתוך סוגי מכונות וירטואליות נתמכים. אתה צריך את מכסת החישוב של Azure Machine Learning עבור ה-SKU שבחרת במנוי שלך.
• מספר מופעים: ציין כמה מופעים לפרוס לצורך חלוקת עומס ויתירות.

לאחר הגדרת כל ההגדרות, בחר ב-Deploy. כאשר הפריסה מסתיימת, אתה נוחת ב-Foundry Playground שם תוכל לבדוק את המודל באופן אינטראקטיבי. ודא שסטטוס הפריסה מציג 'הצליח' ברשימת הפריסה שלך.

ניהול מודלים פרוסים

לאחר הפריסה, אתה מנהל את המודלים שלך מחלק הבנייה בפורטל Microsoft Foundry. בחר ב-Build בניווט, ואז Models בחלונית השמאלית כדי לראות את רשימת הפריסות במשאב שלך.

מרשימת הפריסה, בחר מודל מסוים כדי לצפות בפרטיו:

• תצורת פריסה וסטטוס
• כתובת נקודת קצה עבור access ל-API
• מפתחות או אסימונים לאימות
• מדדי ניטור ושימוש
• אפשרות להתאים את הגדרות הפריסה או למחוק את הפריסה

דף פרטי הפריסה מספק את המידע שהיישומים שלך צריכים כדי להתחבר אליו ולהשתמש במודל.

מבחן במגרש המשחקים

פורטל Microsoft Foundry כולל מגרשי משחקים אינטראקטיביים שבהם אתה בודק מיד מודלים שמוצבים, מבלי לכתוב קוד. לאחר סיום הפריסה, אתה נוחת אוטומטית במגרש המשחקים, או שאתה יכול לבחור פריסה מרשימת המודלים שלך כדי לפתוח את המגרש.

המגרש בוחר מראש את הפריסה שלך, כך שתוכל להתחיל לבדוק מיד. בממשק הצ'אט:

הזן הנחיות בתיבת ההודעות וצפה בתגובות. המגרש מציג גם את הקלט שלך וגם את הפלט שנוצר על ידי המודל, ועוזר לך להבין התנהגות ואיכות.

נסה סוגים שונים של פרומפטים כדי לבדוק יכולות שונות:

• שאלות פשוטות לאימות ההבנה הבסיסית
• בעיות הסקה מרובות שלבים מורכבות
• בקשות לפורמטים או סגנונות ספציפיים
• מקרים קיצניים שעשויים לחשוף מגבלות

כוון את הודעות המערכת כדי להנחות את התנהגות המודלים. הודעות מערכת קובעות הקשר, טון והוראות החלים על כל קלט המשתמש. לדוגמה, תוכל להורות למודל "להגיב כנציג customer service" או "לספק הסברים טכניים ותמציתיים."

שנו פרמטרים כמו טמפרטורה (יצירתיות מול עקביות), טוקנים מקסימליים (מגבלות אורך תגובה) ו-top-p (דגימת גרעין) כדי לכוונן את התנהגות היצירה.

בחר את לשונית הקוד כדי לראות דוגמאות כיצד לקרוא למודל המופעל שלך באופן תכנותי. דוגמאות הקוד מציגות אימות, קונפיגורציית נקודות קצה ועיצוב בקשות בשפות כמו Python, C# ו-JavaScript. אתה יכול להעתיק את הדגימות הללו ישירות לטופס הבקשה שלך.

המגרש משמש כסביבת פיתוח להנדסת ההוראות ובדיקות לפני שילוב המודל באפליקציה שלך.

מודלים של Access מבחינה פרוגרמטית

כשאתה מוכן לשלב את המודל באפליקציה שלך, אתה צריך שלושה פרטים מרכזיים מתוך פרטי הפריסה:

כתובת URL לנקודת קצה: נקודת ה-API שבה האפליקציה שלך שולחת בקשות. Microsoft Foundry תומכת בנקודות קצה לפרויקטים עבור פונקציונליות ייחודית ל-Foundry, ובנקודות קצה OpenAI v1 לתאימות רחבה עם ממשקי API של מודל OpenAI.

מפתח אימות: המפתח הסודי או האסימון שהאפליקציה שלך מציגה לאימות בקשות. חלופה נוספת היא להשתמש באימות Microsoft Entra ID ולגרום לאפליקציה להציג אסימון אימות המבוסס על זהותו. מומלץ לאימות Entra ID לתרחישי ייצור.

שם הפריסה: השם שציינת במהלך הפריסה, המשמש בפרמטר model של בקשות API לניתוב לפריסה הספציפית שלך.

האפליקציה שלך משתמשת בפרטים האלה כדי לבנות בקשות API. פורטל Microsoft Foundry מספק SDKs ותיעוד API של REST לשפות תכנות שונות, יחד עם דוגמאות קוד המציגות עיצוב בקשות, אימות וטיפול בתגובה.

עם המודל שלך שנפרס ונבדק, אתה מוכן לשלב אותו ביישומים או להמשיך להערכה מקיפה יותר באמצעות מדדים אוטומטיים ומאגרי בדיקה.