Nasazení modelů do koncových bodů

Dokončeno

Po výběru modelu z katalogu ho nasadíte, aby byl přístupný prostřednictvím koncových bodů, které můžou vaše aplikace používat. Portál Microsoft Foundry vás provede procesem nasazení a poskytne nástroje pro okamžité otestování nasazeného modelu.

Pochopte typy nasazení

Microsoft Foundry podporuje několik typů nasazení, z nichž každá nabízí různé vlastnosti pro rezidenci dat, škálování a fakturaci:

• Nasazení globálního modelu Standard můžou používat libovolnou oblast Azure na základě plateb za token. Jsou nejvhodnější pro obecné úlohy a poskytují nejvyšší kvótu.
• Globální zřízená nasazení můžou používat libovolnou oblast Azure a jejich použití je založeno na vyhrazených jednotkách propustnosti zřizování (PTU) pro zajištění předvídatelné vysoké propustnosti.
• Globální nasazení Batch lze využít v libovolné oblasti Azure s až 50% slevou pro velké asynchronní úkoly v rámci 24 hodin.
• Nasazení služby Data Zone Standard zajišťují, že data zůstanou v rámci konkrétní datové zóny na základě plateb za token. Jsou nejvhodnější pro scénáře, kdy je vyžadováno dodržování předpisů v zóně dat EU/USA.
• Nasažení v rámci zřízené datové zóny poskytují předvídatelnou propustnost na základě rezervovaných PTU v dané datové zóně.
• Nasazení pro Data Zone Batch jsou navržena pro velké asynchronní dávkové úlohy v datové zóně.
• Standardní nasazení se nasazují v rámci jedné oblasti na základě plateb za token. Jsou skvělé, když potřebujete soulad s předpisy o regionální rezidenci dat nebo pro nízkoobjemové scénáře.
• Regionálně přidělená nasazení poskytují rezervované PTU v rámci jedné oblasti.
• Vývojář Nasazení vývojářů používají libovolnou oblast Azure na základě plateb za token a jsou určená pouze pro jemně vyladěné vyhodnocení modelu.

Každý model v katalogu označuje, které typy nasazení podporuje. Portál automaticky vybere nejlepší možnost nasazení na základě vašich požadavků na prostředí a model. Globální nasazení Globálního Standardu v prostředcích Foundry by se mělo používat, kdykoli je to možné pro dosažení maximálních schopností.

Nasazení modelu

Nasazení modelu z portálu Microsoft Foundry:

Nejprve přejděte k modelu, který jste vybrali v katalogu modelů. Na domovské stránce portálu Foundry vyberte Vyhledat v navigaci a pak modely v levém podokně. Otevřete kartu modelu a zkontrolujte její specifikace a podporované typy nasazení.

Výběrem možnosti Nasadit zahájíte proces nasazení. Můžete vybrat:

• Výchozí nastavení pro rychlé nasazení s doporučenými konfiguracemi
• Vlastní nastavení pro přizpůsobení možností nasazení

Pokud model vyžaduje předplatné Azure Marketplace (společné pro modely od partnerů a komunity), zobrazí se podmínky použití. Přečtěte si tyto podmínky a vyberte Možnost Souhlas a Pokračovat a přijměte je. Modely prodané přímo Azure, například modely Azure OpenAI, jako je GPT-4o-mini, nevyžadují předplatná marketplace.

Konfigurace nastavení nasazení:

• Název nasazení: Ve výchozím nastavení systém používá název modelu. Můžete ho upravit a vytvořit smysluplné názvy pro více nasazení stejného modelu. Během odvození váš kód použije tento název nasazení v parametru model ke směrování požadavků.
• Typ nasazení: Portál automaticky vybere příslušný typ nasazení na základě modelu a vašeho prostředí. Každý model podporuje různé typy nasazení, které poskytují různé záruky rezidence dat nebo propustnosti.

U spravovaných výpočetních nasazení nakonfigurujete také:

• Skladová položka virtuálního počítače: Vyberte si z podporovaných typů virtuálních počítačů. Pro vybranou skladovou položku ve vašem předplatném potřebujete Azure Machine Learning kvótu výpočetních prostředků.
• Počet instancí: Určete, kolik instancí nasadit pro distribuci zátěže a redundanci.

Po nakonfigurování všech nastavení vyberte Nasadit. Po dokončení nasazení přejdete na Foundry Playground, kde můžete model interaktivně testovat. Ověřte, že v seznamu nasazení je stav úspěšný.

Správa nasazených modelů

Po nasazení spravujete modely z části Sestavení na portálu Microsoft Foundry. V navigaci vyberte Sestavit a poté v levém podokně Modely zobrazte seznam nasazení ve vašem prostředku.

V seznamu nasazení vyberte konkrétní model, abyste zobrazili jeho podrobnosti:

• Konfigurace a stav nasazení
• Adresa URL koncového bodu pro přístup k rozhraní API
• Ověřovací klíče nebo tokeny
• Monitorování a metriky využití
• Možnost upravit nastavení nasazení nebo odstranit nasazení

Na stránce s podrobnostmi o nasazení najdete informace, které vaše aplikace potřebují pro připojení a používání modelu.

Test v dětském hřišti

Portál Microsoft Foundry obsahuje interaktivní hřiště, ve kterých testujete nasazené modely okamžitě, aniž byste museli psát kód. Po dokončení nasazení se automaticky dostanete do dětského hřiště nebo můžete vybrat nasazení ze seznamu modelů a otevřít tak hřiště.

Dětské hřiště předem vybere vaše nasazení, takže můžete začít testovat okamžitě. V rozhraní chatu:

Do pole se zprávou zadejte výzvy a sledujte odpovědi. Dětské hřiště zobrazuje vstup i vygenerovaný výstup modelu a pomáhá pochopit chování a kvalitu.

Experimentujte s různými typy výzev k otestování různých možností:

• Jednoduché otázky k ověření základního porozumění
• Složité problémy s vícestupňovým odůvodněním
• Požadavky na konkrétní formáty nebo styly
• Hraniční případy, které můžou odhalit omezení

Upravte systémové zprávy tak, aby vodily chování modelu. Systémové zprávy nastavují kontext, tón a pokyny, které platí pro všechny vstupy uživatelů. Můžete například dát modelu pokyn, aby "odpověděl jako customer service zástupce" nebo "poskytnout stručné technické vysvětlení".

Upravte parametry, jako je teplota (kreativita vs. konzistence), maximální počet tokenů (limity délky odezvy) a top-p (vzorkování jádra) a dolaďte chování generování.

Výběrem karty Kód zobrazíte příklady volání nasazeného modelu prostřednictvím kódu programu. Ukázky kódu ukazují ověřování, konfiguraci koncového bodu a formátování požadavků v jazycích, jako je Python, C# a JavaScript. Tyto ukázky můžete zkopírovat přímo do aplikace.

Dětské hřiště slouží jako vývojové prostředí pro rychlé přípravy a testování před integrací modelu do vaší aplikace.

Přistupujte k modelům programově

Až budete připraveni model integrovat do aplikace, potřebujete tři klíčové informace z podrobností o nasazení:

Adresa URL koncového bodu: Koncový bod rozhraní API, ve kterém vaše aplikace odesílá požadavky. Microsoft Foundry podporuje koncové body projektu pro funkce specifické pro Foundry a koncové body OpenAI v1 kvůli široké kompatibilitě s rozhraními API modelu OpenAI.

Ověřovací klíč: Tajný klíč nebo token, který vaše aplikace prezentuje k ověření požadavků. Alternativně můžete použít ověřování Microsoft Entra ID a nechat aplikaci prezentovat ověřovací token na základě identity. Pro produkční scénáře se doporučuje ověřování Entra ID.

Název nasazení: Název, který jste zadali během nasazení, použitý v parametru model požadavků rozhraní API pro směrování do vašeho konkrétního nasazení.

Vaše aplikace tyto podrobnosti používá k vytváření požadavků rozhraní API. Portál Microsoft Foundry poskytuje sady SDK a dokumentaci k rozhraní REST API pro různé programovací jazyky spolu s ukázkami kódu, které znázorňují formátování požadavků, ověřování a zpracování odpovědí.

S nasazeným a otestovaným modelem jste připraveni ho integrovat do aplikací nebo pokračovat k komplexnějšímu vyhodnocení pomocí automatizovaných metrik a testovacích datových sad.