ניהול אסימון
- 5 דקות
דמיין שאתה מקבל קפיצה פתאומית בתעבורה לכיוון ה- API שלך, אולי יש מכירה או סיבה אחרת. כדי להימנע מצריכה והפרעות אפשריות בשירות, עליך לברר כיצד לנהל זאת.
מדיניות מגבלת אסימון OpenAI של Azure
כפי שצוין בתחילת יחידה זו, קפיצה פתאומית היא משהו, אתה צריך לטפל. החדשות הטובות הן של- Azure API Management יש משהו שנקרא מדיניות מגבלת אסימון.
מדיניות זו מאפשרת ללקוחות להגדיר מגבלות על צריכת אסימון, המובעות באסימונים לדקה (TPM) ומבטיחה שימוש הוגן ויעיל במשאבי OpenAI.
תכונות עיקריות
התכונות מרכזיות של מדיניות זו הן:
- שליטה מדויקת: לקוחות יכולים להקצות מגבלות מבוססות אסימון על מפתחות מונה שונים, כגון מפתח מנוי או כתובת IP, תוך התאמה של האכיפה למקרי שימוש ספציפיים.
- Real-Time ניטור: המדיניות מסתמכת על מדדי השימוש באסימונים המוחזרים נקודת הקצה של OpenAI, ומאפשרת ניטור ואכיפה מדויקים של מגבלות בזמן אמת.
- מראש של אסימונים: הוא מאפשר חישוב מראש של אסימוני בקשה בצד של ניהול API של Azure, מזעור בקשות מיותרות בקצה העורפי של OpenAI אם המגבלה כבר חורגת.
- התאמה אישית משופרת: לקוחות יכולים להחיל כותרות ומשתנים כגון אסימונים שנצרכות ואסימונים נותרים בתוך פריטי מדיניות כדי לקבל שליטה והתאמה אישית טובות יותר.
SS אתה יכול לראות, יש לא מעט תכונות שיעזרו לך לנהל את העלויות והודות לניטור בזמן אמת אתה יכול לוודא שאתה לא חורג מהמגבלות.
כיצד להשתמש בו
כדי להשתמש במדיניות זו, עליך להוסיף אותה לצינור העיבוד הנכנס של פעולת ה- API. כך תוכל לעשות זאת:
<azure-openai-token-limit counter-key="key value"
tokens-per-minute="number"
estimate-prompt-tokens="true | false"
retry-after-header-name="custom header name, replaces default 'Retry-After'"
retry-after-variable-name="policy expression variable name"
remaining-tokens-header-name="header name"
remaining-tokens-variable-name="policy expression variable name"
tokens-consumed-header-name="header name"
tokens-consumed-variable-name="policy expression variable name" />
יש לא מעט תכונות שבאפשרותך להגדיר, אך החשובות ביותר הן:
- מפתח: המפתח לשימוש לספירה של אסימונים. ערך זה יכול להיות מפתח מנוי או כתובת IP.
- אסימונים לדקה: מספר האסימונים המותר בדקה.
- אסימוני הנחיה: אם להעריך אסימוני בקשה או לא.
מדיניות מדדית של אסימון Emit של Azure OpenAI
מדיניות זו מתייחסת לצורך בניטור מפורט של וניתוח של שימוש באסימונים ביישומים המשתמשים במודלים של Azure OpenAI.
על-ידי מתן מדדים מקיפים, היא עוזרת לארגונים:
- מיטוב הקצאת משאבים: הבן ונהל צריכת אסימון ביעילות.
- לשפר את קבלת ההחלטות: קבל תובנות לגבי דפוסי שימוש כדי לקבל החלטות מושכלות לגבי שינוי קנה מידה וניהול משאבים.
- שיפור הביצועים בניטור: עקוב אחר השימוש באסימונים ונתח אותו כדי לזהות ול לטפל בבעיות פוטנציאליות באופן יזום
כיצד להשתמש במדיניות מדדית של Emit Token
כדי להשתמש במדיניות זו, עליך להוסיף אותה לצינור העיבוד הנכנס של פעולת ה- API. כך מקודדים אותו ב- XML:
<azure-openai-emit-token-metric
namespace="metric namespace" >
<dimension name="dimension name" value="dimension value" />
...additional dimensions...
</azure-openai-emit-token-metric>
להלן דוגמה המשתמשת בכמה ממדים:
<policies>
<inbound>
<azure-openai-emit-token-metric
namespace="AzureOpenAI">
<dimension name="User ID" />
<dimension name="Client IP" value="@(context.Request.IpAddress)" />
<dimension name="API ID" />
</azure-openai-emit-token-metric>
</inbound>
<outbound>
</outbound>
</policies>
בדוגמה הקודמת:
- המדיניות מוגדרת לה פולט מדדי אסימון למרווח השמות של AzureOpenAI עם ממדים עבור מזהה משתמש, IP של לקוח ומזהה API.
- הערך של ממד ה- IP של הלקוח מוגדר לכתובת ה- IP של הלקוח השולח את הבקשה.
דמיין כעת שבאפשרותך להציג מדדים אלה בלוח מחוונים ובאפשרותך לנטר את השימוש ב- API בזמן אמת. לדוגמה, באפשרותך לראות כמה אסימונים נמצאים בשימוש על-ידי משתמש מסוים או כמה אסימונים נמצאים בשימוש על-ידי API ספציפי. תכונה רבת-עוצמה זו יכולה לעזור לך למטב את המשאבים שלך ולהחליט החלטות מושכלות לגבי שינוי קנה מידה וניהול משאבים.