Shrnutí
V tomto modulu jste prozkoumali kompletní pracovní postup pro výběr, nasazení a vyhodnocení modelů Foundry. Dozvěděli jste se, jak provádět informovaná rozhodnutí o výběru modelu pomocí srovnávacích testů, jak nasazovat modely do koncových bodů a jak vyhodnotit jejich výkon pomocí různých přístupů hodnocení.
Klíčové poznatky
Katalog modelů portálu Microsoft Foundry model poskytuje access více než 1 900 modelů od poskytovatelů, mezi které patří Microsoft, OpenAI, Meta, Mistral a Hugging Face. Efektivní filtrování podle kolekcí, schopností, možností nasazení a dalších atributů vám pomůže zúžit katalog na modely odpovídající vašim požadavkům.
Srovnávací testy modelů nabízejí porovnání cílů v různých dimenzích kvality, bezpečnosti, nákladů a výkonu. Metriky kvality, jako je přesnost, soudržnost a plynulost, vyhodnocují, jak dobře modely generují vhodné odpovědi. Bezpečnostní metriky identifikují rizika související se škodlivým obsahem. Srovnávací testy nákladů pomáhají vyrovnávat kvalitu s rozpočtovými omezeními. Metriky výkonu, jako je latence a propustnost, označují rychlost odezvy pro aplikace v reálném čase.
Mezi možnosti nasazení patří bezserverové rozhraní API pro flexibilitu s platbami za volání, zřízená nasazení pro konzistentní úlohy s velkým objemem, spravované výpočetní prostředky pro hostování založené na virtuálních počítačích a dávkové zpracování pro neinteraktivní úlohy optimalizované pro náklady. Každá možnost nabízí různé charakteristiky škálování, fakturace a řízení.
Testování v dětském hřišti poskytuje okamžitou zpětnou vazbu k chování modelu bez psaní kódu. Před integrací do aplikací můžete experimentovat s výzvami, upravit parametry a sledovat odpovědi, abyste porozuměli možnostem modelu.
Přístupy k vyhodnocení se liší od ručního testování až po automatizované metriky. Ruční hodnocení zachycuje subjektivní aspekty kvality, jako je spokojenost uživatelů a kontextová vhodnost. AI-asistované metriky automaticky vyhodnocují kvalitu generování a rizika bezpečnosti. Metriky NLP, jako jsou F1-score a ROUGE, poskytují matematické porovnání s údaji základní pravdy.
Komplexní toky hodnocení na portálu Microsoft Foundry umožňují spouštět systematická hodnocení pomocí testovacích datových sad a více metrik. Výsledky identifikují silné stránky, slabá místa a oblasti vyžadující zlepšení, což vede k iterativnímu vývoji aplikací generující umělé inteligence.
Další kroky
U nasazených a vyhodnocených modelů zvažte následující kroky:
Integrujte modely do aplikací pomocí sad SDK, rozhraní REST API a ukázek kódu poskytovaných na portálu Microsoft Foundry. Vaše aplikace teď můžou využívat nasazené modely prostřednictvím ověřených volání rozhraní API.
Implementujte načítání rozšířené generace (RAG) k určení odpovědí modelu v datech vaší organizace. RAG kombinuje modely s možnostmi vyhledávání, které poskytují přesné, kontextově relevantní odpovědi na základě vašich dokumentů a znalostních bází.
Aply Azure AI Content Safety služby pro přidání další vrstvy ochrany proti škodlivému obsahu. Filtry obsahu můžou blokovat nevhodné vstupy a výstupy, které doplňují bezpečnostní funkce na úrovni modelu.
Vyladění modelů (pokud je podporováno) pro konkrétní doménu nebo případ použití, aby se zlepšil výkon ve specializovaných scénářích. Doladění přizpůsobí obecné modely vašim jedinečným požadavkům.
Monitorovat provozní výkon pomocí nástroje Azure Monitor a Application Insights ke sledování využití, latence, nákladů a chyb. Průběžné monitorování zajišťuje, aby vaše aplikace zůstaly v pořádku a fungovaly.
Iterujte na základě zpětné vazby uživatelů shromažďováním dat o využití z reálného světa a prováděním pravidelných opakovaných vyhodnocení. Průběžné vylepšování udržuje vaše aplikace generující AI v souladu s potřebami uživatelů.
Dovednosti, které jste vytvořili v tomto modulu – výběr vhodných modelů, jejich efektivní nasazení a vyhodnocení jejich výkonu – tvoří základ pro vytváření robustních vysoce kvalitních aplikací AI pomocí Microsoft Foundry.