Generování metrik pro využití tokenů Azure OpenAI

PLATÍ PRO: Všechny úrovně služby API Management

Tato azure-openai-emit-token-metric zásada odesílá metriky do aplikace Přehledy o spotřebě velkých tokenů jazykového modelu prostřednictvím rozhraní API služby Azure OpenAI. Mezi metriky počtu tokenů patří celkový počet tokenů, tokeny výzvy a tokeny dokončení.

Poznámka:

Nastavte prvky zásad a podřízené prvky v pořadí uvedeném v prohlášení o zásadách. Přečtěte si další informace o tom, jak nastavit nebo upravit zásady služby API Management.

Požadavky

• Do instance služby API Management je potřeba přidat jedno nebo více rozhraní API služby Azure OpenAI. Další informace najdete v tématu Přidání rozhraní API služby Azure OpenAI do služby Azure API Management.
• Vaše instance služby API Management musí být integrovaná se službou Application Insights. Další informace najdete v tématu Integrace služby Azure API Management s Aplikace Azure Přehledy.
• Povolte protokolování Přehledy aplikací pro vaše rozhraní API Azure OpenAI.
• Povolte vlastní metriky s dimenzemi v Přehledy aplikace. Další informace najdete v tématu Generování vlastních metrik.

Prohlášení o zásadách

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Atributy

Atribut	Popis	Povinní účastníci	Default value
namespace	Řetězec. Obor názvů metriky Výrazy zásad nejsou povolené.	No	API Management
hodnota	Hodnota metriky vyjádřená dvojitou hodnotou Výrazy zásad jsou povolené.	No	0

Elementy

Element (Prvek)	Popis	Povinní účastníci
Dimenze	Přidejte jeden nebo více těchto prvků pro každou dimenzi, která je součástí metriky.	Ano

atributy dimenze

Atribut	Popis	Povinní účastníci	Default value
name	Řetězcový výraz nebo výraz zásad. Název dimenze.	Yes	–
hodnota	Řetězcový výraz nebo výraz zásad. Hodnota dimenze Tuto možnost je možné vynechat, pouze pokud name odpovídá jedné z výchozích dimenzí. Pokud ano, je hodnota zadaná podle názvu dimenze.	No	–

Výchozí názvy dimenzí, které lze použít bez hodnoty

• API ID
• ID operace
• ID produktu
• ID uživatele
• Subscription ID
• Umístění
• ID brány

Využití

• Oddíly zásad: příchozí
• Obory zásad: globální, pracovní prostor, produkt, rozhraní API, operace
• Brány: Classic, v2

Poznámky k využití

• Tuto zásadu je možné použít vícekrát pro každou definici zásady.
• Pro tuto zásadu můžete nakonfigurovat maximálně 10 vlastních definic.
• Tyto zásady je možné volitelně nakonfigurovat při přidávání rozhraní API ze služby Azure OpenAI pomocí portálu.

Příklad

Následující příklad odešle metriky počtu tokenů Azure OpenAI do služby Application Přehledy spolu s ID uživatele, IP adresou klienta a ID rozhraní API jako dimenzemi.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Související zásady

• Protokolování
• zásady emit-metric
• azure-openai-token-limit policy

Související obsah

Další informace o práci se zásadami najdete v tématech:

• Kurz: Transformace a ochrana rozhraní API
• Referenční informace o zásadách pro úplný seznam prohlášení o zásadách a jejich nastavení
• Výrazy zásad
• Nastavení nebo úprava zásad
• Opakované použití konfigurací zásad
• Úložiště fragmentů zásad
• Vytváření zásad pomocí Microsoft Copilotu pro Azure