Jak nasadit a provádět inferenci pomocí spravovaného výpočetního nasazení (classic)

Platí jenom pro:Portál Foundry (Classic). Tento článek není k dispozici pro nový portál Foundry. Přečtěte si další informace o novém portálu.

Poznámka

Odkazy v tomto článku můžou otevírat obsah v nové dokumentaci Microsoft Foundry místo dokumentace Foundry (classic), kterou si právě prohlížíte.

Katalog modelů portálu Microsoft Foundry nabízí více než 1 600 modelů, které můžete nasadit pomocí spravovaných výpočetních prostředků (označovaných také jako spravované online nasazení) pro odvozování v produkčních prostředích v reálném čase. Díky spravovaným výpočetním nasazením získáte škálovatelnou a produkční infrastrukturu pro velké jazykové modely.

V tomto článku se dozvíte, jak nasadit modely s možností spravovaného výpočetního nasazení a provést odvozování nasazeného modelu.

Požadavky

  • Předplatné Azure s platným způsobem platby. Bezplatná nebo zkušební verze Azure předplatných nefungují. Pokud nemáte předplatné Azure, vytvořte placený účet Azure.

  • Pokud ho nemáte, vytvořte projekt založený na centru. Další informace najdete v tématu Vytvoření projektu.

  • Foundry Models od partnerů a komunity vyžadují přístup k Azure Marketplace, zatímco modely Foundry Modely prodané Azure nemají tento požadavek. Ujistěte se, že vaše předplatné Azure má oprávnění potřebná k přihlášení k odběru nabídek modelů v Azure Marketplace. Další informace najdete v tématu Povolit nákupy na Azure Marketplace.

  • Azure řízení přístupu na základě role (Azure RBAC) uděluje přístup k operacím na portálu Foundry. Pokud chcete provést kroky v tomto článku, musí být vašemu uživatelskému účtu přiřazena role vývojáře Azure AI ve skupině prostředků. Další informace najdete v tématu Řízení přístupu na základě role na portálu Foundry.

  • Kvóta virtuálního počítače v předplatném Azure pro konkrétní konfigurace virtuálních počítačů potřebné k provozu vašeho modelu. Každé nasazení využívá kvótu jader virtuálních počítačů v jednotlivých oblastech. Další informace najdete v tématu Důležité informace o kvótách, včetně požadavků na kvótu a postupu při zvýšení požadavků.

  • Pro nasazení se sadou Python SDK: Python 3.8 nebo novější, včetně Azure Machine Learning SDK (azure-ai-ml) a knihovny identit Azure (azure-identity).

Vyhledání modelu v katalogu modelů

  1. Přihlaste se k Microsoft Foundry. Ujistěte se, že je přepínač New Foundry vypnutý. Tyto kroky odkazují na Foundry (classic).
  2. Pokud ještě nejste v projektu, vyberte ho.
  3. V levém podokně vyberte Katalog modelů .

  1. Ve filtru Možností nasazení vyberte Spravované výpočetní prostředky.

    Tip

    Vzhledem k tomu, že na portálu Microsoft Foundry můžete usouložit levé podokno, může se zobrazit jiné položky, než je znázorněno v tomto postupu. Pokud nevidíte, co hledáte, vyberte ... Další v dolní části levého podokna.

    Snímek obrazovky s rozhraním katalogu modelů s otevřeným panelem filtru možností nasazení, na levé straně s vybraným spravovaným výpočetním objektem a mřížkou dostupných karet modelu, které se zobrazují vpravo

  2. Výběrem modelu otevřete jeho kartu modelu. V tomto článku použijete model Phi-4.

Nasazení modelu

  1. Na stránce modelu vyberte Použít tento model. Tato akce otevře okno nasazení, pokud je možné vybraný model nasadit pouze do spravovaného výpočetního prostředí.

  2. Pokud jste také vybrali model, který podporuje také jinou možnost nasazení, přejdete do okna Možnosti nákupu. Výběrem možnosti nákupu spravovaného výpočetního prostředí otevřete okno nasazení.

    • Pokud chcete použít dočasnou sdílenou kvótu, zaškrtněte políčko v okně nasazení. Pro nasazení do místního spravovaného výpočetního prostředí musíte mít ve svém předplatném dostatečnou kvótu. Pokud nemáte dostatečnou kvótu, můžete použít náš dočasný přístup ke kvótě výběrem možnosti Chci použít sdílenou kvótu a potvrzuji, že tento koncový bod bude odstraněn za 168 hodin.

  3. Okno nasazení je předem vyplněné některými výběry a hodnotami parametrů. Můžete je buď zachovat, nebo je podle potřeby změnit. Můžete také vybrat existující koncový bod pro nasazení nebo vytvořit nový. V tomto příkladu zadejte počet 1 instancí a vytvořte nový koncový bod pro nasazení.

    Snímek obrazovky s dialogovým oknem konfigurace nasazení zobrazující pole pro název nasazení, výběr koncového bodu, výběr virtuálního počítače a počet instancí nastavený na 1 s tlačítkem Nasadit v dolní části

  4. Vyberte Nasadit pro vytvoření nasazení. Dokončení procesu vytváření může trvat několik minut. Po dokončení portálu se otevře stránka nasazení modelu.

    Tip

    Pokud chcete zobrazit koncové body nasazené do vašeho projektu, přejděte do části Moje prostředky v levém podokně a vyberte Modely a koncové body.

  5. Ověřte, že nasazení proběhlo úspěšně. Na stránce s podrobnostmi o nasazení zkontrolujte, zda stav zřizování zobrazuje Úspěšný a stav nasazeníje zdravý. Pokud se zobrazí nějaké chyby, projděte si část Řešení potíží .

  6. Vytvořený koncový bod používá pro autorizaci ověřování pomocí klíče. Pokud chcete získat klíče přidružené k danému koncovému bodu, postupujte takto:

    1. Vyberte nasazení a poznamenejte si cílový identifikátor URI a klíč koncového bodu.
    2. Pomocí těchto ověřovacích údajů můžete zavolat nasazení a generovat předpovědi.

    Cílový identifikátor URI má tento formát: https://<endpoint-name>.<region>.inference.ml.azure.com/score

Využívání nasazení

Jakmile vytvoříte nasazení, postupujte podle těchto kroků:

  1. V projektu Foundry vyberte Modely a koncové body v části Moje prostředky .
  2. Vyberte své nasazení na kartě Nasazení modelu.
  3. Přejděte na kartu Test pro ukázkové odvozování do koncového bodu.
  4. Vraťte se na kartu Podrobnosti a zkopírujte identifikátor URI cíle nasazení, který můžete použít ke spuštění odvozování pomocí kódu.
  5. Přejděte na kartu Spotřeba nasazení a vyhledejte ukázky kódu pro spotřebu.
  1. Zkopírujte ID modelu ze stránky podrobností vybraného modelu. Pro vybraný model to vypadá takto: azureml://registries/azureml/models/Phi-4/versions/8.

Nasazení modelu

  1. Nainstalujte sadu Azure Machine Learning SDK.

    pip install azure-ai-ml
pip install azure-identity

  2. Ověřte se pomocí Azure Machine Learning a vytvořte objekt klienta. Zástupné symboly nahraďte ID předplatného, názvem skupiny prostředků a názvem projektu Foundry.

    from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential

workspace_ml_client = MLClient(
    credential=InteractiveBrowserCredential(),
    subscription_id="your subscription ID goes here",
    resource_group_name="your resource group name goes here",
    workspace_name="your project name goes here",
)

    Tento kód se ověřuje pomocí Azure pomocí interaktivních přihlašovacích údajů prohlížeče a vytvoří klienta pro interakci s projektem Foundry. Když tento kód spustíte, otevře se okno prohlížeče pro ověření.

    Reference:MLClient, InteractiveBrowserCredential

  3. Vytvořte koncový bod. Pro možnost nasazení spravovaného výpočetního prostředí je potřeba vytvořit koncový bod před nasazením modelu. Koncový bod si můžete představit jako kontejner, který může obsahovat více modelových nasazení. Názvy koncových bodů musí být v určité oblasti jedinečné, takže v tomto příkladu použijte časové razítko k vytvoření jedinečného názvu koncového bodu.

    import time, sys
from azure.ai.ml.entities import (
    ManagedOnlineEndpoint,
    ManagedOnlineDeployment,
    ProbeSettings,
)

# Make the endpoint name unique
timestamp = int(time.time())
online_endpoint_name = "customize your endpoint name here" + str(timestamp)

# Create an online endpoint
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    auth_mode="key",
)
workspace_ml_client.online_endpoints.begin_create_or_update(endpoint).wait()

    Tento kód vytvoří spravovaný online koncový bod s ověřováním na základě klíčů. Operace obvykle trvá 2 až 3 minuty. Po dokončení budete mít adresu URL koncového bodu, kde můžete nasadit modely.

    Referenční informace:ManagedOnlineEndpoint, online_endpoints.begin_create_or_update

  4. Vytvořte nasazení. ID modelu v dalším kódu nahraďte ID modelu, které jste zkopírovali ze stránky podrobností modelu, který jste vybrali v části Najít model v části Katalog modelů .

    model_name = "azureml://registries/azureml/models/Phi-4/versions/8" 

demo_deployment = ManagedOnlineDeployment(
    name="demo",
    endpoint_name=online_endpoint_name,
    model=model_name,
    instance_type="Standard_DS3_v2",
    instance_count=2,
    liveness_probe=ProbeSettings(
        failure_threshold=30,
        success_threshold=1,
        timeout=2,
        period=10,
        initial_delay=1000,
    ),
    readiness_probe=ProbeSettings(
        failure_threshold=10,
        success_threshold=1,
        timeout=10,
        period=10,
        initial_delay=1000,
    ),
)
workspace_ml_client.online_deployments.begin_create_or_update(demo_deployment).wait()
endpoint.traffic = {"demo": 100}
workspace_ml_client.online_endpoints.begin_create_or_update(endpoint).result()

    Tento kód nasadí model do koncového bodu se 2 instancemi virtuálních počítačů Standard_DS3_v2. Nasazení zahrnuje sondy aktivity a připravenosti pro monitorování stavu. Provoz je pro toto nasazení nastavený na 100%. Dokončení operace trvá několik minut. Po dokončení je váš model připravený přijímat žádosti o odvozování.

    Referenční informace:ManagedOnlineDeployment, ProbeSettings, online_deployments.begin_create_or_update

Provedení inference při nasazení

  1. K otestování odvozování potřebujete ukázková data JSON. Ve svém pracovním adresáři vytvořte soubor sample_score.json s následujícím obsahem:

    {
  "inputs": {
    "question": [
      "Where do I live?",
      "Where do I live?",
      "What's my name?",
      "Which name is also used to describe the Amazon rainforest in English?"
    ],
    "context": [
      "My name is Wolfgang and I live in Berlin",
      "My name is Sarah and I live in London",
      "My name is Clara and I live in Berkeley.",
      "The Amazon rainforest (Portuguese: Floresta Amaz\u00f4nica or Amaz\u00f4nia; Spanish: Selva Amaz\u00f3nica, Amazon\u00eda or usually Amazonia; French: For\u00eat amazonienne; Dutch: Amazoneregenwoud), also known in English as Amazonia or the Amazon Jungle, is a moist broadleaf forest that covers most of the Amazon basin of South America. This basin encompasses 7,000,000 square kilometres (2,700,000 sq mi), of which 5,500,000 square kilometres (2,100,000 sq mi) are covered by the rainforest. This region includes territory belonging to nine nations. The majority of the forest is contained within Brazil, with 60% of the rainforest, followed by Peru with 13%, Colombia with 10%, and with minor amounts in Venezuela, Ecuador, Bolivia, Guyana, Suriname and French Guiana. States or departments in four nations contain \"Amazonas\" in their names. The Amazon represents over half of the planet's remaining rainforests, and comprises the largest and most biodiverse tract of tropical rainforest in the world, with an estimated 390 billion individual trees divided into 16,000 species."
    ]
  }
}

  2. Inferování s sample_score.json. Změňte umístění souboru bodování v dalším kódu na základě umístění, kam jste uložili ukázkový soubor JSON.

    import json

scoring_file = "./sample_score.json" 
response = workspace_ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="demo",
    request_file=scoring_file,
)
response_json = json.loads(response)
print(json.dumps(response_json, indent=2))

    Tento kód odešle ukázkové otázky a kontext do nasazeného modelu a vytiskne odpovědi. Model provádí odpovědi na otázky extrahováním relevantního textu z poskytnutého kontextu. Očekávaný výstup obsahuje text odpovědi a skóre spolehlivosti pro každou otázku.

    Reference:online_endpoints.invoke

Konfigurace automatického škálování

Pokud chcete nakonfigurovat automatické škálování pro nasazení, postupujte takto:

  1. Přihlaste se k portálu Azure.
  2. Vyhledejte typ prostředku Azure Machine learning online deployment pro model, který jste právě nasadili ve skupině prostředků projektu AI.
  3. V levém podokně vyberte Nastavení>Měřítko.
  4. Vyberte Vlastní automatické škálování a nakonfigurujte nastavení automatického škálování. Další informace o automatickém škálování najdete v sekci "Automatické škálování online odkazů" v dokumentaci k Azure Machine Learning.

Odstranění nasazení

Pokud chcete odstranit nasazení na portálu Foundry, na horním panelu stránky s podrobnostmi o nasazení vyberte možnost Odstranit nasazení.

Důležité informace o kvótách

Pokud chcete nasadit a provádět odvozování s koncovými body v reálném čase, spotřebujete kvótu jader virtuálního počítače, která Azure přiřadí k vašemu předplatnému v jednotlivých oblastech. Když se zaregistrujete do Foundry, obdržíte výchozí kvótu virtuálních počítačů pro několik rodin virtuálních počítačů dostupných v dané oblasti. Nasazení můžete dál vytvářet, dokud nedosáhnete limitu kvóty. Jakmile k tomu dojde, můžete požádat o navýšení kvóty.

Řešení potíží

Tato část obsahuje řešení běžných problémů, se kterými se můžete setkat při nasazování modelů se spravovanými výpočetními prostředky.

Nasazení selže s chybou překročení kvóty

Problém: Při vytváření nasazení se zobrazí chyba oznamující, že není dostatečná kvóta.

Řešení:

  • Zkontrolujte aktuální využití kvóty na portálu Azure v nastavení kvóty vašeho předplatného.
  • Žádost o navýšení kvóty prostřednictvím portálu Azure pro konkrétní skladovou položku virtuálního počítače, kterou potřebujete
  • Zvažte použití jiné skladové položky virtuálního počítače, která má dostupnou kvótu.
  • Podrobné pokyny najdete v tématu Spravování a zvýšení kvót pro prostředky s Azure Machine Learning

Chyby ověřování při vyvolání koncového bodu

Problém: Při volání nasazeného koncového bodu se zobrazí chyby ověřování (401 Neautorizováno).

Řešení:

  • Na stránce s podrobnostmi o nasazení ověřte, že používáte správný identifikátor URI koncového bodu a ověřovací klíč.
  • Zkontrolujte, jestli se klíč od doby, kdy jste ho zkopírovali, nevygeneroval znovu.
  • Ujistěte se, že se vaše oprávnění RBAC Azure nezměnily.
  • U volání sady SDK ověřte, že je objekt přihlašovacích údajů správně inicializován.

Inicializace nasazení selže nebo vyprší časový limit

Problém: Nasazení zůstane ve stavu zřizování po delší dobu nebo selže s chybou časového limitu.

Řešení:

  • V protokolech nasazení na portálu Foundry zkontrolujte konkrétní chybové zprávy.
  • Ověřte, že nastavení spravované sítě vašeho centra povoluje přístup k požadovaným prostředkům.
  • Ujistěte se, že je ID modelu správné a model je stále dostupný v katalogu.
  • Zkuste nasadit s jiným SKU virtuálního počítače nebo snížit počet instancí.

Model vrací neočekávané nebo nesprávné odpovědi

Problém: Nasazený model reaguje, ale vrací neočekávané výsledky.

Řešení:

  • Ověřte, že formát vstupních dat odpovídá očekávanému schématu modelu.
  • Projděte si dokumentaci k kartě modelu a vyhledejte specifikace vstupu a výstupu.
  • Otestujte s ukázkovými daty poskytnutými v dokumentaci pro model
  • Zkontrolujte požadavek a odpověď na záložce Test v portálu Foundry.

Další pomoc s řešením potíží najdete v tématu Řešení potíží s nasazením online koncového bodu.

Související obsah

  • Další informace o tom, co můžete dělat v Foundry
  • Získejte odpovědi na nejčastější dotazy v článku Azure AI FAQ
  • Last updated on