Az Azure OpenAI szolgáltatás figyelése
Ha vannak olyan kritikus fontosságú alkalmazásai és üzleti folyamatai, amelyek Azure-erőforrásokra támaszkodnak, akkor figyelni kell ezen erőforrások rendelkezésre állását, teljesítményét és működését.
Ez a cikk az Azure OpenAI Szolgáltatás által létrehozott monitorozási adatokat ismerteti. Az Azure OpenAI az Azure Monitort használó Azure AI-szolgáltatások része. Ha nem ismeri az Azure Monitor azon funkcióit, amelyek a szolgáltatást használó összes Azure-szolgáltatásra jellemzőek, olvassa el az Azure-erőforrások monitorozása az Azure Monitorral című témakört.
Irányítópultok
Az Azure OpenAI minden Egyes Azure OpenAI-erőforráshoz beépített irányítópultokat biztosít. A monitorozási irányítópultok bejelentkezéséhez https://portal.azure.com és az Azure OpenAI-erőforrások áttekintési paneljének kiválasztásához.
Az irányítópultok négy kategóriába vannak csoportosítva: HTTP-kérések, jogkivonatalapú használat, PTU-kihasználtság és finomhangolás
Adatgyűjtés és útválasztás az Azure Monitorban
Az Azure OpenAI ugyanazokat a monitorozási adatokat gyűjti, mint más Azure-erőforrások. Az Azure Monitor konfigurálható úgy, hogy tevékenységnaplókban, erőforrásnaplókban, virtuálisgép-naplókban és platformmetrikákban hozzon létre adatokat. További információt az Azure-erőforrások adatainak monitorozása című témakörben talál.
A platformmetrikákat és az Azure Monitor-tevékenységnaplót a rendszer automatikusan összegyűjti és tárolja. Ezek az adatok diagnosztikai beállítással más helyekre irányíthatók. Az Azure Monitor erőforrásnaplói nem gyűjthetők és tárolhatók, amíg létre nem hoz egy diagnosztikai beállítást, majd átirányítja a naplókat egy vagy több helyre.
Diagnosztikai beállítás létrehozásakor meg kell adnia, hogy milyen kategóriájú naplókat kíván gyűjteni. A diagnosztikai beállítások Azure Portal, Azure CLI vagy PowerShell használatával történő létrehozásáról további információt a platformnaplók és metrikák Azure-beli gyűjtéséhez készült diagnosztikai beállítás létrehozása című témakörben talál.
Ne feledje, hogy a diagnosztikai beállítások használata és az adatok Azure Monitor-naplókba való küldése más költségekkel jár. További információkért tekintse meg az Azure Monitor-naplók költségszámításait és lehetőségeit.
Az összegyűjthető metrikákat és naplókat az alábbi szakaszok ismertetik.
Metrikák elemzése
Az Azure OpenAI-szolgáltatás erőforrásaihoz tartozó metrikákat az Azure Portal Azure Monitor-eszközeivel elemezheti. Az Azure OpenAI-erőforrás Áttekintés lapján válassza a Metrika lehetőséget a figyelés alatt a bal oldali panelen. További információ: Ismerkedés az Azure Monitor metrikák kezelőjével.
Az Azure OpenAI az Azure AI-szolgáltatások egy részhalmazával közös. Az Azure OpenAI-hoz és az Azure Monitorhoz hasonló Azure AI-szolgáltatásokhoz gyűjtött összes platformmetrika listájáért tekintse meg a Microsoft.CognitiveServices/-fiókok támogatott metrikáit.
Cognitive Services-metrikák
Ezek örökölt metrikák, amelyek az Összes Azure AI Services-erőforrásra jellemzőek. A továbbiakban nem javasoljuk, hogy ezeket a metrikákat az Azure OpenAI-val használja.
Azure OpenAI-metrikák
Feljegyzés
A kiépített felügyelt kihasználtság metrika elavult, és már nem ajánlott. Ezt a metrikát a kiépített felügyelt V2-kihasználtság metrikája váltotta fel.
Az alábbi táblázat az Azure OpenAI-ban elérhető metrikák aktuális részhalmazát foglalja össze.
| Metrika | Kategória | Összesítés | Leírás | Dimenziók |
|---|---|---|---|---|
Azure OpenAI Requests |
HTTP | Count | Az Azure OpenAI API-ra irányuló hívások teljes száma egy adott időszakban. A PayGo, a PTU és a PTU által felügyelt termékváltozatokra vonatkozik. | ApiName, ModelDeploymentName,ModelName,ModelVersion, OperationName, Region, StatusCodeStreamType |
Generated Completion Tokens |
Használat | Sum | Az Azure OpenAI-modellből létrehozott jogkivonatok (kimenetek) száma. PayGo, PTU és PTU-alapú termékváltozatokra vonatkozik | ApiName, ModelDeploymentName,ModelName, Region |
Processed FineTuned Training Hours |
Használat | Sum | Az Azure OpenAI finomhangolt modellben feldolgozott betanítási órák száma. | ApiName, ModelDeploymentName,ModelName, Region |
Processed Inference Tokens |
Használat | Sum | Az Azure OpenAI-modell által feldolgozott következtetési jogkivonatok száma. Parancssori jogkivonatok (bemenet) + létrehozott jogkivonatokként számítva. PayGo, PTU és PTU-alapú termékváltozatokra vonatkozik. | ApiName, ModelDeploymentName,ModelName, Region |
Processed Prompt Tokens |
Használat | Sum | Az Azure OpenAI-modellen feldolgozott parancssori jogkivonatok (bemenetek) teljes száma. A PayGo, a PTU és a PTU által felügyelt termékváltozatokra vonatkozik. | ApiName, ModelDeploymentName,ModelName, Region |
Provision-managed Utilization V2 |
Használat | Átlag | A kiépített felügyelt kihasználtság egy adott kiépített felügyelt üzemelő példány kihasználtságának százalékos aránya. Számított érték (felhasznált PTU-k/üzembe helyezett PTU-k)*100. Ha a kihasználtság eléri vagy meghaladja a 100%-ot, a hívások szabályozva lesznek, és 429 hibakódot adnak vissza. | ModelDeploymentName,ModelName,ModelVersion, , RegionStreamType |
Diagnosztikai beállítások konfigurálása
Az összes metrika exportálható az Azure Monitor diagnosztikai beállításaival. A naplók és metrikák adatainak az Azure Monitor Log Analytics-lekérdezésekkel való elemzéséhez konfigurálnia kell az Azure OpenAI-erőforrás és a Log Analytics-munkaterület diagnosztikai beállításait.
Az Azure OpenAI-erőforráslap Figyelés területén válassza a diagnosztikai beállításokat a bal oldali panelen. A Diagnosztikai beállítások lapon válassza a Diagnosztikai beállítás hozzáadása lehetőséget.
A Diagnosztikai beállítások lapon konfigurálja a következő mezőket:
- Válassza a Küldés a Log Analytics-munkaterületre lehetőséget.
- Válassza ki Az Azure-fiók előfizetését.
- Válassza ki a Log Analytics-munkaterületet.
- A Naplók területen válassza ki az összes naplót.
- A Metrikák területen válassza az AllMetrics lehetőséget.
A konfiguráció mentéséhez adjon meg egy diagnosztikai beállításnevet .
Válassza a Mentés lehetőséget.
A diagnosztikai beállítások konfigurálása után metrikákkal és naplóadatokkal dolgozhat az Azure OpenAI-erőforráshoz a Log Analytics-munkaterületen.
Naplók elemzése
Az Azure Monitor-naplók adatai olyan táblákban vannak tárolva, amelyekben minden tábla saját egyedi tulajdonságokkal rendelkezik.
Az Azure Monitor összes erőforrásnaplója ugyanazokkal a mezőkkel rendelkezik, amelyeket szolgáltatásspecifikus mezők követnek. A gyakori sémával kapcsolatos információkért tekintse meg az Azure-erőforrásnaplók általános és szolgáltatásspecifikus sémáit.
A tevékenységnapló egy olyan platformnapló az Azure-ban, amely betekintést nyújt az előfizetési szintű eseményekbe. Ezt a naplót egymástól függetlenül tekintheti meg, vagy átirányíthatja az Azure Monitor-naplókba. Az Azure Portalon az Azure Monitor-naplók tevékenységnaplójával összetett lekérdezéseket futtathat a Log Analytics használatával.
Az Azure OpenAI-hoz és hasonló Azure AI-szolgáltatásokhoz elérhető erőforrásnaplók típusainak listáját a Microsoft.CognitiveServices Azure erőforrás-szolgáltatói műveleteiben találja.
Kusto-lekérdezések használata
Az Azure OpenAI-modell üzembe helyezése után az Azure AI Studióban található játszótéri környezet használatával küldhet néhány befejezési hívást.
A Befejezések játszótéren vagy a Csevegés befejezések játszótéren megadott szövegek metrikákat és naplóadatokat hoznak létre az Azure OpenAI-erőforráshoz. Az erőforrás Log Analytics-munkaterületén a Kusto lekérdezési nyelv használatával kérdezheti le a figyelési adatokat.
Fontos
Az Azure OpenAI-erőforrásoldalOn található Open query lehetőség az Azure Resource Graphot böngészi, amelyről ebben a cikkben nem olvashat. Az alábbi lekérdezések a Log Analytics lekérdezési környezetét használják. A Log Analytics-munkaterület előkészítéséhez mindenképpen kövesse a Diagnosztikai beállítások konfigurálása című témakörben leírt lépéseket.
Az Azure OpenAI-erőforráslapon a bal oldali panel Monitorozás területén válassza a Naplók lehetőséget.
Válassza ki az Azure OpenAI-erőforrás diagnosztikával konfigurált Log Analytics-munkaterületét.
A Log Analytics-munkaterület lapjánakÁttekintés csoportjában válassza a Naplók lehetőséget.
Az Azure Portal alapértelmezés szerint egy Lekérdezések ablakot jelenít meg minta lekérdezésekkel és javaslatokkal. Ezt az ablakot bezárhatja.
Az alábbi példákhoz írja be a Kusto-lekérdezést a Lekérdezés ablak tetején található szerkesztési régióba, majd válassza a Futtatás lehetőséget. A lekérdezés eredményei a lekérdezés szövege alatt jelennek meg.
Az alábbi Kusto-lekérdezés hasznos az Azure Diagnostics (AzureDiagnostics) erőforrással kapcsolatos adatainak kezdeti elemzéséhez:
AzureDiagnostics
| take 100
| project TimeGenerated, _ResourceId, Category, OperationName, DurationMs, ResultSignature, properties_s
Ez a lekérdezés 100 bejegyzésből álló mintát ad vissza, és megjeleníti a naplókban elérhető adatoszlopok egy részhalmazát. A lekérdezés eredményei között a tábla neve melletti nyílra kattintva megtekintheti az összes elérhető oszlopot és a hozzá tartozó adattípust.
Az összes elérhető adatoszlop megtekintéséhez eltávolíthatja a hatókörkezelési paraméterek sorát | project ... a lekérdezésből:
AzureDiagnostics
| take 100
Az erőforrás Azure Metrics(AzureMetrics) adatainak vizsgálatához futtassa a következő lekérdezést:
AzureMetrics
| take 100
| project TimeGenerated, MetricName, Total, Count, Maximum, Minimum, Average, TimeGrain, UnitName
A lekérdezés 100 bejegyzésből álló mintát ad vissza, és megjeleníti az Azure Metrics-adatok elérhető oszlopainak egy részét:
Feljegyzés
Amikor az erőforrás Azure OpenAI menüjében a Figyelési>naplók lehetőséget választja, a Log Analytics megnyílik az aktuális erőforrásra beállított lekérdezési hatókörrel. A látható napló lekérdezések csak az adott erőforrásból származó adatokat tartalmazzák. Ha olyan lekérdezést szeretne futtatni, amely más erőforrásokból vagy más Azure-szolgáltatásokból származó adatokat tartalmaz, válassza a Naplók lehetőséget az Azure Portal Azure Monitor menüjében. További információkért tekintse meg az Azure Monitor Log Analytics napló lekérdezési hatókörét és időtartományát.
Riasztások beállítása
Az Azure Monitor-riasztások proaktívan értesítik arról, ha a monitorozási adatok megfelelnek bizonyos lényeges feltételeknek. Lehetővé teszik a rendszer problémáinak azonosítását és kezelését, mielőtt a felhasználók észrevennénk őket. Riasztásokat állíthat be a metrikákra, naplókra és a tevékenységnaplóra vonatkozóan. A különböző típusú riasztások különböző előnyökkel és hátrányokkal rendelkeznek.
Minden szervezet riasztási igényei eltérőek lehetnek, és idővel változhatnak. Általában minden riasztásnak végrehajthatónak kell lennie, és adott szándékú válasznak kell lennie, ha a riasztás bekövetkezik. Ha egy riasztás nem igényel azonnali választ, a feltételt a riasztás helyett egy jelentésben rögzítheti. Egyes használati esetek riasztást igényelhetnek, ha bizonyos hibafeltételek léteznek. Más esetekben szükség lehet riasztásokra olyan hibák esetén, amelyek túllépnek egy meghatározott küszöbértéket egy meghatározott időszakban.
A bizonyos küszöbértékek alatti hibák gyakran kiértékelhetők az Azure Monitor-naplók adatainak rendszeres elemzésével. A naplóadatok időbeli elemzése során előfordulhat, hogy egy bizonyos feltétel nem fordul elő a várt ideig. Ezt a feltételt riasztásokkal követheti nyomon. Néha a naplóban lévő esemény hiánya ugyanolyan fontos jel, mint hiba.
Attól függően, hogy milyen típusú alkalmazást fejleszt az Azure OpenAI használatával, az Azure Monitor alkalmazás Elemzések több monitorozási előnyt kínálhat az alkalmazásrétegben.