Sdílet prostřednictvím

Protokolování využití tokenu, výzvy a dokončení pro rozhraní API LLM

V tomto článku se dozvíte, jak nastavit protokolování služby Azure Monitor pro požadavky a odpovědi rozhraní LLM API ve službě Azure API Management.

Správce služby API Management může použít protokoly požadavků a odpovědí rozhraní LLM společně s protokoly brány služby API Management pro scénáře, jako jsou například:

  • Výpočet využití pro fakturaci – Výpočet metrik využití pro fakturaci na základě počtu tokenů spotřebovaných jednotlivými aplikacemi nebo příjemcem rozhraní API (například segmentované PODLE ID předplatného nebo IP adresy).

  • Kontrola zpráv – Kontrola a analýza výzev a dokončení, které vám pomůžou s laděním, auditem a vyhodnocením modelu.

Další informace o:

Požadavky

  • Instance služby Azure API Management.
  • Spravované rozhraní API pro dokončování chatu LLM integrované se službou Azure API Management Můžete například importovat rozhraní API Microsoft Foundry.
  • Přístup k pracovnímu prostoru Služby Azure Log Analytics
  • Odpovídající oprávnění ke konfiguraci nastavení diagnostiky a protokolů přístupu ve službě API Management

Povolení nastavení diagnostiky pro protokoly rozhraní LLM API

Povolte nastavení diagnostiky pro protokolování požadavků, které brána zpracovává pro velká rozhraní REST API jazykového modelu. Pro každou žádost azure Monitor přijímá data o využití tokenů (výzvy, tokeny dokončení a celkové tokeny), název použitého modelu a volitelně zprávy žádosti a odpovědi (výzva a dokončení). Velké požadavky a odpovědi se v případě potřeby rozdělí do více položek protokolu s pořadovými čísly pro pozdější obnovení.

Následuje stručný postup povolení nastavení diagnostiky, které směruje protokoly rozhraní LLM API do pracovního prostoru služby Log Analytics. Další informace najdete v tématu Povolení nastavení diagnostiky pro protokoly služby Azure Monitor.

  1. Na webu Azure Portal přejděte k vaší instanci služby Azure API Management.
  2. V nabídce vlevo v části Monitorování vyberte Nastavení>diagnostiky+ Přidat nastavení diagnostiky.
  3. Nakonfigurujte nastavení pro odesílání protokolů brány AI do pracovního prostoru služby Log Analytics:
    • V části Protokoly vyberte Protokoly související s generováním brány AI.
    • V části Podrobnosti o cíli vyberte Možnost Odeslat do pracovního prostoru služby Log Analytics.
  4. Zkontrolujte nebo nakonfigurujte jiná nastavení a v případě potřeby proveďte změny.
  5. Vyberte Uložit.

Snímek obrazovky s nastavením diagnostiky pro protokoly brány AI na portálu

Povolení protokolování požadavků nebo odpovědí pro rozhraní LLM API

Můžete povolit nastavení diagnostiky pro všechna rozhraní API nebo přizpůsobit protokolování pro konkrétní rozhraní API. Následuje stručný postup pro protokolování požadavků LLM i zpráv odpovědí pro rozhraní API. Další informace najdete v tématu Úprava nastavení protokolování rozhraní API.

  1. V levé nabídce instance služby API Management vyberte rozhraní API > a pak vyberte název rozhraní API.
  2. V horním panelu vyberte kartu Nastavení .
  3. Posuňte se dolů do části Diagnostické protokoly a vyberte kartu Azure Monitor .
  4. V protokolu LLM zprávy vyberte Povoleno.
  5. Vyberte výzvy protokolu a zadejte velikost v bajtech, například 32768.
  6. Vyberte dokončení protokolu a zadejte velikost v bajtech, například 32768.
  7. Zkontrolujte další nastavení a v případě potřeby proveďte změny. Vyberte Uložit.

Snímek obrazovky s povolením protokolování LLM pro rozhraní API na portálu

Poznámka:

Pokud povolíte shromažďování, odešlou se zprávy požadavku LLM nebo odpovědi o velikosti až 32 kB v jedné položce. Zprávy větší než 32 kB jsou rozděleny a protokolovány do bloků 32 kB s pořadovými čísly pro pozdější obnovení. Žádosti o zprávy a odpovědi nesmí překročit 2 MB.

Kontrola analytického sešitu pro rozhraní API LLM

Řídicí panel Analýzy založený na službě Azure Monitor poskytuje přehled o využití a spotřebě tokenů rozhraní LLM s využitím dat agregovaných v pracovním prostoru služby Log Analytics. Přečtěte si další informace o analýze ve službě API Management.

  1. V levé nabídce vaší instance služby API Management vyberte Analýzy monitorování>.
  2. Vyberte kartu Jazykové modely .
  3. Zkontrolujte metriky a vizualizace pro spotřebu tokenů rozhraní LLM API a požadavky ve vybraném časovém rozsahu.

Snímek obrazovky s analýzou rozhraní API jazykového modelu na portálu

Kontrola požadavků a odpovědí v protokolech služby Azure Monitor

V protokolu ApiManagementGatewayLlmLog najdete podrobnosti o požadavcích a odpovědích LLM, včetně spotřeby tokenů, využitého nasazení modelu a dalších podrobností v konkrétních časových rozsahech.

Žádosti a odpovědi (včetně blokovaných zpráv pro velké požadavky a odpovědi) se zobrazují v samostatných položkách protokolu, které můžete korelovat pomocí CorrelationId pole.

Pro účely auditování použijte dotaz Kusto podobný následujícímu dotazu, abyste připojili každý požadavek a odpověď v jednom záznamu. Upravte dotaz tak, aby zahrnoval pole, která chcete sledovat.

ApiManagementGatewayLlmLog
| extend RequestArray = parse_json(RequestMessages)
| extend ResponseArray = parse_json(ResponseMessages)
| mv-expand RequestArray
| mv-expand ResponseArray
| project
    CorrelationId,
    RequestContent = tostring(RequestArray.content),
    ResponseContent = tostring(ResponseArray.content)
| summarize
    Input = strcat_array(make_list(RequestContent), " . "),
    Output = strcat_array(make_list(ResponseContent), " . ")
    by CorrelationId
| where isnotempty(Input) and isnotempty(Output)

Snímek obrazovky s výsledky dotazu pro protokoly LLM na portálu

Nahrání dat do Microsoft Foundry pro vyhodnocení modelu

Data protokolování LLM můžete exportovat jako datovou sadu pro vyhodnocení modelu v Microsoft Foundry. Pomocí vyhodnocení modelu můžete vyhodnotit výkon generovaných modelů AI a aplikací na základě testovacího modelu nebo datové sady pomocí předdefinovaných nebo vlastních metrik vyhodnocení.

Použití protokolů LLM jako datové sady pro vyhodnocení modelu:

  1. Připojte se k žádostem LLM a odpovědím do jednoho záznamu pro každou interakci, jak je znázorněno v předchozí části. Zahrňte pole, která chcete použít k vyhodnocení modelu.
  2. Exportujte datovou sadu do formátu CSV, který je kompatibilní s Microsoft Foundry.
  3. Na portálu Microsoft Foundry vytvořte nové vyhodnocení pro nahrání a vyhodnocení datové sady.

Podrobnosti o vytvoření a spuštění vyhodnocení modelu v Microsoft Foundry najdete v tématu Vyhodnocení generativních modelů AI a aplikací pomocí Microsoft Foundry.

Související obsah

  • Last updated on