Vyhodnocení v Microsoft Foundry

Hodnocení vám pomůže měřit kvalitu, bezpečnost a spolehlivost modelů a agentů v průběhu vývoje a produkce. V Microsoft Foundry můžete vyhodnotit existující výstupy v testovací datové sadě, generovat odpovědi z modelu nebo agenta pomocí testovacích vstupů nebo vyhodnotit produkční trasy.

Při vyhodnocení se na vaše data nebo aplikaci použije jeden nebo více vyhodnocovačů. Vyhodnocovače vytvářejí metriky a, jsou-li podporována, i vysvětlení, která vám pomůžou porovnat verze, najít problémy s kvalitou a rozhodnout se, jestli je aplikace připravená k nasazení.

Vytvořit pracovní postup vyhodnocení

Většina pracovních postupů vyhodnocení se řídí těmito kroky:

  1. Zvolte, co se má vyhodnotit. Vyberte jednotlivou repliku nebo úplnou konverzaci a použijte existující datovou sadu, vygenerované odpovědi, simulované konverzace nebo produkční záznamy trasování.
  2. Vyberte hodnotitele. Zvolte metriky kvality a bezpečnosti, které jsou důležité pro vaši aplikaci, jako je například dokončení úkolů, relevance, ukotvenost, podobnost nebo bezpečnost obsahu.
  3. Spusťte vyhodnocení. Spusťte ho jednou během vývoje, přidejte ho do CI/CD nebo nakonfigurujte opakované vyhodnocení pro produkční prostředí.
  4. Zkontrolujte a vylepšete. Analyzujte agregované metriky a jednotlivé výsledky, porovnejte verze a řešte opakující se vzorce selhání.

Vyber si, kde začít

Note

Než začnete, zkontrolujte oprávnění pro pracovní postupy vyhodnocení, podporované oblasti a omezení rychlosti a požadavky na virtuální síť.

Volba přístupu k vyhodnocení

Před výběrem vyhodnocovačů vyberte jednotku hodnocení. Hodnocení na úrovni replik hodnotí jednotlivé odpovědi. Hodnocení na úrovni konverzace vyhodnotí úplnou vícekolovou interakci a může měřit výsledky, jako je dokončení úkolu napříč několika kroky. Vyhodnocovače podporují konkrétní úrovně hodnocení.

Chci Začněte tady
Vyhodnotit hostovaného agenta poprvé Rychlý úvod: Vyhodnoťte svého hostovaného agenta
Vyhodnotit existující testovací data dotaz–odpověď Vyhodnocení datových sad odpovědí na dotazy
Generování a vyhodnocení odpovědí z testovacích vstupů Vyhodnocení odpovědí modelu a agenta
Vyhodnoťte jednotlivé interakce zachycené z nasazeného modelu nebo agenta Vyhodnotit nasazené interakce
Vyhodnoťte datovou sadu úplných konverzací Vyhodnocení datových sad konverzací
Vyhodnocení kompletních konverzací zachycených v produkčních trasováních Vyhodnotit nasazené konverzace
Simulujte chování agenta ve více krocích před nasazením Simulace konverzací agentů
Generování scénářů a konverzací bez ručního vytváření testovacích dat Generování a vyhodnocování syntetických konverzací
Provádění adverzních testů bezpečnosti a zabezpečení Informace o red teamingu umělé inteligence

Zvolte způsob spouštění vyhodnocení

Chci Začněte tady
Spusťte vyhodnocení na portálu Foundry Provádějte hodnocení z portálu Microsoft Foundry
Spouštění vyhodnocení programově Úvod do cloudového hodnocení pomocí sady Microsoft Foundry SDK
Spuštění vyhodnocení agenta z příkazového řádku Spuštění vyhodnocení agenta pomocí rozhraní příkazového řádku azd
Pravidelně vyhodnocujte produkční provoz Monitorujte agenty a nastavte průběžné hodnocení
Přidání vyhodnocení do kanálu nasazení Spouštění vyhodnocení v GitHub Actions nebo Azure DevOps

Najděte potřebné komponenty

  • Poslední aktualizace v