Nasazení toku pro odvozování v reálném čase

Poznámka:

Azure AI Studio je aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Jakmile vytvoříte tok výzvy a správně ho otestujete, můžete ho nasadit jako online koncový bod. Nasazení se hostují v rámci koncového bodu a můžou přijímat data od klientů a odesílat odpovědi zpět v reálném čase.

Koncový bod můžete vyvolat pro odvozování v reálném čase pro chat, copilot nebo jinou generující aplikaci AI. Tok výzvy podporuje nasazení koncového bodu z toku nebo hromadného testovacího spuštění.

V tomto článku se dozvíte, jak nasadit tok jako spravovaný online koncový bod pro odvozování v reálném čase. Kroky, které provedete, jsou:

• Otestujte tok a připravte ho na nasazení.
• Vytvořte online nasazení.
• Udělte koncovému bodu oprávnění.
• Otestujte koncový bod.
• Využití koncového bodu

Požadavky

Pokud chcete nasadit tok výzvy jako online koncový bod, potřebujete:

• Předplatné Azure. Pokud ho nemáte, vytvořte si bezplatný účet před tím, než začnete.
• Projekt Azure AI Studio.

Vytvoření online nasazení

Teď, když jste vytvořili tok a správně ho otestovali, je čas vytvořit online koncový bod pro odvozování v reálném čase.

Studio

Postupujte podle následujících kroků a nasaďte tok výzvy jako online koncový bod v Azure AI Studiu.

1. Připravte tok výzvy k nasazení. Pokud ho nemáte, podívejte se, jak vytvořit tok výzvy.

2. Volitelné: Vyberte Chat a otestujte, jestli tok funguje správně. Doporučuje se otestovat tok před nasazením.

3. V editoru toků vyberte Nasadit .

   

4. V průvodci nasazením zadejte požadované informace na stránce Základní Nastavení.

   

5. Výběrem možnosti Zkontrolovat a vytvořit zkontrolujte nastavení a vytvořte nasazení. Jinak můžete vybrat Další a přejít na stránky upřesňujících nastavení.

6. Výběrem možnosti Vytvořit nasadíte tok výzvy.

   

7. Pokud chcete zobrazit stav nasazení, v levém navigačním panelu vyberte Nasazení . Po úspěšném vytvoření nasazení můžete výběrem nasazení zobrazit podrobnosti.

   

8. Výběrem karty Spotřebovat zobrazíte ukázky kódu, které se dají použít k využívání nasazeného modelu ve vaší aplikaci.

   Poznámka:

   Na této stránce můžete také zobrazit adresu URL koncového bodu, kterou můžete použít k využívání koncového bodu.

   

9. Koncový bod REST můžete použít přímo nebo můžete začít s některou z ukázek uvedených tady.

   

Python SDK

Sadu Azure AI Generative SDK můžete použít k nasazení toku výzvy jako online koncového bodu.

# Import required dependencies 
from azure.ai.resources.client import AIClient 
from azure.ai.generative.entities.deployment import Deployment 
from azure.ai.generative.entities.models import PromptflowModel 
from azure.identity import InteractiveBrowserCredential as Credential 

# Credential info can be found in Azure AI Studio or Azure Portal. 
credential = Credential() 

client = AIClient(
    credential=credential, 
    subscription_id="xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", 
    resource_group_name="INSERT_YOUR_RESOURCE_GROUP_NAME", 
    project_name="INSERT_YOUR_PROJECT_NAME", 
) 

# Name your deployment 
deployment_name = "my-deployment-name" 

# Define your deployment 
deployment = Deployment(
    name=deployment_name, 
    model=PromptflowModel(
        # This is the path for a local promptflow you have downloaded or authored locally.
        path="./sample-pf"  
    ), 
    # this is the VM used for deploying the promptflow.
    instance_type="STANDARD_DS2_V2" 
) 

# Deploy the promptflow 
deployment = client.deployments.create_or_update(deployment) 

# Test with a sample json file.
print(client.deployments.invoke(deployment_name, "./request_file_pf.json"))

Další informace najdete v následujících částech.

Tip

Průvodce nasazením základního modelu najdete v tématu Nasazení modelů pomocí nástroje Azure AI Studio.

Nastavení a konfigurace

Textový soubor s požadavky

Volitelně můžete zadat další balíčky, které potřebujete v requirements.txtsouboru . V kořenové složce složky toku najdete requirements.txt . Když nasadíte tok výzvy do spravovaného online koncového bodu v uživatelském rozhraní, použije nasazení ve výchozím nastavení prostředí vytvořené na základě základní image zadané v flow.dag.yaml toku a závislostech zadaných v requirements.txt toku.

Poznámka:

Základní image zadaná v flow.dag.yaml sadě musí být vytvořena na základě základní image mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version> toku výzvy a zde najdete nejnovější verzi. Pokud nezadáte základní image v flow.dag.yamlsadě , nasazení použije výchozí základní image mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latest.

Základní nastavení

Tento krok umožňuje nakonfigurovat základní nastavení nasazení.

Vlastnost	Popis
Koncový bod	Můžete vybrat, jestli chcete nasadit nový koncový bod, nebo aktualizovat existující koncový bod. Pokud vyberete Možnost Nový, musíte zadat název koncového bodu.
Název nasazení	– V rámci stejného koncového bodu by měl být název nasazení jedinečný. – Pokud vyberete existující koncový bod a zadáte existující název nasazení, bude toto nasazení přepsáno novými konfiguracemi.
Virtuální počítač	Velikost virtuálního počítače, která se má použít pro nasazení.
Počet instancí	Početinstancích Zadejte hodnotu očekávané úlohy. Pro zajištění vysoké dostupnosti doporučujeme nastavit hodnotu alespoň 3na hodnotu . Pro provádění upgradů si vyhrazujeme dalších 20 %.
Shromažďování dat odvozování	Pokud to povolíte, vstupy a výstupy toku se automaticky shromažďují v datovém prostředku azure machine Učení a dají se použít pro pozdější monitorování.
Diagnostika Application Insights	Pokud to povolíte, systémové metriky během doby odvozování (například počet tokenů, latence toku, požadavek na tok atd.) se shromáždí do výchozího aplikačního Přehledy prostředku centra Azure AI.

Jakmile dokončíte základní nastavení, můžete vytvoření dokončit přímo zkontrolovat a vytvořit, nebo můžete vybrat Další a nakonfigurovat upřesňující nastavení.

Upřesnit nastavení – koncový bod

Pro koncový bod můžete zadat následující nastavení.

V pracovním postupu upřesňujících nastavení můžete také zadat značky nasazení a vybrat vlastní prostředí.

Authentication type

Metoda ověřování pro koncový bod. Ověřování na základě klíčů poskytuje primární a sekundární klíč, jehož platnost nevyprší. Ověřování založené na tokenech Azure Machine Učení poskytuje token, který se pravidelně aktualizuje automaticky.

Typ identity

Koncový bod potřebuje přístup k prostředkům Azure, jako je Azure Container Registry nebo připojení prostředků centra Azure AI pro odvozování. Přístup k prostředkům Azure můžete povolit tak, že koncovému bodu udělíte oprávnění ke své spravované identitě.

Identita přiřazená systémem se po vytvoření koncového bodu automaticky vytvoří, zatímco identitu přiřazenou uživatelem vytvoří uživatel. Přečtěte si další informace o spravovaných identitách.

Přiřazeno systémem

Všimněte si, že existuje možnost vynutit přístup k tajným kódům připojení (Preview). Pokud váš tok používá připojení, musí koncový bod přistupovat k připojením, aby bylo možné provést odvozování. Možnost je ve výchozím nastavení povolená, koncový bod má udělenou roli Azure Machine Učení Workspace Připojení ion Secrets Reader pro přístup k připojením automaticky, pokud máte oprávnění ke čtení tajných kódů připojení. Pokud tuto možnost zakážete, musíte tuto roli udělit identitě přiřazené systémem ručně sami nebo požádat o pomoc správce. Přečtěte si další informace o tom, jak udělit oprávnění identitě koncového bodu.

Přiřazeno uživatelem

Při vytváření nasazení se Azure pokusí vyžádat image kontejneru uživatele z prostředku Azure Container Registry (ACR) centra Azure AI a připojí uživatelský model a artefakty kódu do kontejneru uživatele z účtu úložiště prostředků centra Azure AI.

Pokud jste vytvořili přidružený koncový bod s identitou přiřazenou uživatelem, musí být před vytvořením nasazení udělena následující role. Jinak se vytvoření nasazení nezdaří.

Obor	Role	Proč je to potřeba
Projekt Azure AI	Role Čtenář tajných kódů Připojení Učení pracovního prostoru Azure Machine Učení NEBO přizpůsobená roleMicrosoft.MachineLearningServices/workspaces/connections/listsecrets/action	Získání připojení projektu Azure AI
Registr kontejneru projektu Azure AI	Vyžádání ACR	Image kontejneru pro přijetí změn
Výchozí úložiště projektu Azure AI	Čtenář dat v objektech blob služby Storage	Načtení modelu z úložiště
Projekt Azure AI	Zapisovač metrik pracovního prostoru	Toto oprávnění je nutné identitě udělit v případě, že po nasazení koncového bodu chcete monitorovat metriky související s koncovými body, jako je využití procesoru, GPU, disku nebo paměti. Volitelné

Podrobné pokyny k udělení oprávnění identitě koncového bodu najdete v tématu Udělení oprávnění ke koncovému bodu.

Upřesnit nastavení – Výstupy a Připojení iony

V tomto kroku můžete zobrazit všechny výstupy toku a určit, které výstupy se mají zahrnout do odpovědi na nasazený koncový bod. Ve výchozím nastavení jsou vybrány všechny výstupy toku.

Můžete také určit připojení používaná koncovým bodem při jeho odvozování. Ve výchozím nastavení jsou zděděné z toku.

Jakmile nakonfigurujete a zkontrolujete všechny výše uvedené kroky, můžete vytvoření dokončit výběrem možnosti Zkontrolovat a vytvořit .

Poznámka:

Počítejte s tím, že vytvoření koncového bodu bude trvat přibližně 15 minut, protože obsahuje několik fází, mezi které patří vytvoření koncového bodu, registrace modelu, vytvoření nasazení atd.

Průběh vytváření nasazení můžete pochopit prostřednictvím oznámení, které začíná nasazením toku výzvy.

Udělení oprávnění koncovému bodu

Důležité

Udělení oprávnění (přidání přiřazení role) je povoleno jen pro vlastníka konkrétních prostředků Azure. Možná budete muset požádat správce IT o pomoc.

Před vytvořením nasazení se doporučuje udělit rolím identitu přiřazenou uživatelem. Než se udělené oprávnění projeví, může to trvat déle než 15 minut.

Všechna oprávnění můžete udělit v uživatelském rozhraní webu Azure Portal pomocí následujícího postupu.

1. Na webu Azure Portal přejděte na stránku přehledu projektu Azure AI.

2. Vyberte Řízení přístupu a vyberte Přidat přiřazení role.

3. Vyberte Azure Machine Učení Workspace Připojení ion Secrets Reader, přejděte na Další.

   Poznámka:

   Role Čtečka tajných kódů azure machine Učení Připojení ion je předdefinovaná role, která má oprávnění získat připojení prostředků centra Azure AI.

   Pokud chcete použít přizpůsobenou roli, ujistěte se, že přizpůsobená role má oprávnění Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action. Přečtěte si další informace o vytváření vlastních rolí.

4. Vyberte spravovanou identitu a vyberte členy.

   Jako identitu přiřazenou systémem vyberte online koncový bod strojového učení v části Spravovaná identita přiřazená systémem a vyhledejte podle názvu koncového bodu.

   Jako identitu přiřazenou uživatelem vyberte spravovanou identitu přiřazenou uživatelem a vyhledejte ji podle názvu identity.

5. Pro identitu přiřazenou uživatelem musíte také udělit oprávnění registru kontejneru prostředků azure AI a účtu úložiště. Registr kontejnerů a účet úložiště najdete na stránce přehledu prostředků centra Azure AI na webu Azure Portal.

   

   Přejděte na stránku přehledu registru kontejneru prostředků centra Azure AI, vyberte Řízení přístupu a vyberte Přidat přiřazení role a přiřaďte přijetí změn ACR |Načíst image kontejneru do identity koncového bodu

   Přejděte na výchozí stránku přehledu prostředků centra Azure AI, vyberte Řízení přístupu a vyberte Přidat přiřazení role a přiřaďte Čtenář dat objektů blob služby Storage identitě koncového bodu.

6. (volitelné) Pokud chcete u identity přiřazené uživatelem monitorovat metriky související s koncovým bodem, jako je využití procesoru, GPU, disku nebo paměti, musíte identitě udělit také roli zapisovače metrik pracovního prostoru prostředku centra Azure AI.

Kontrola stavu koncového bodu

Po dokončení průvodce nasazením budou k dispozici oznámení. Po úspěšném vytvoření koncového bodu a nasazení můžete v oznámení na stránce podrobností nasazení vybrat Možnost Zobrazit podrobnosti .

Můžete také přímo přejít na stránku Nasazení z levého navigačního panelu, vybrat nasazení a zkontrolovat stav.

Testování koncového bodu

Na stránce s podrobnostmi o nasazení přepněte na kartu Test .

U koncových bodů nasazených ze standardního toku můžete zadat hodnoty v editoru formulářů nebo editoru JSON a otestovat koncový bod.

Testování koncového bodu nasazeného z toku chatu

U koncových bodů nasazených z toku chatu ho můžete otestovat v imerzivním okně chatu.

Během chat_input vývoje toku chatu byla nastavena. Zprávu můžete zadat do vstupního chat_input pole. Pokud váš tok obsahuje více vstupů, panel Vstupy na pravé straně je určen pro zadání hodnot pro jiné vstupy chat_inputkromě .

Využití koncového bodu

Na stránce s podrobnostmi o nasazení přepněte na kartu Spotřebovávat . Můžete najít koncový bod REST a klíč/token pro využívání koncového bodu. K dispozici je také vzorový kód, který můžete využívat koncový bod v různých jazycích.

Potřebujete zadat hodnoty pro RequestBody nebo data a api_key. Pokud má váš tok například 2 vstupy location , urlmusíte zadat data následujícím postupem.

 {
"location": "LA",
"url": "<the_url_to_be_classified>"
}

Vyčištění prostředků

Pokud koncový bod po dokončení tohoto kurzu nepoužijete, měli byste koncový bod odstranit.

Poznámka:

Úplné odstranění může trvat přibližně 20 minut.

Další kroky

• Další informace o tom, co můžete dělat v Azure AI Studiu
• Získejte odpovědi na nejčastější dotazy v článku Nejčastější dotazy k Azure AI