Nasazení jemně vyladěného modelu pro odvozování

Jakmile je model jemně vyladěný, můžete ho nasadit a použít ho ve vlastní aplikaci.

Když model nasadíte, zpřístupníte ho pro odvozování a bude se účtovat hodinový poplatek za hostování. Jemně vyladěné modely se ale dají ukládat v Microsoft Foundry bez poplatků, dokud je nebudete připravení použít.

Azure OpenAI nabízí volby typů nasazení pro jemně vyladěné modely ve struktuře hostování, které odpovídají různým vzorům podnikání a použití: Standard, Global Standard (Preview) a Zřízená propustnost (Preview). Přečtěte si další informace o typech nasazení pro jemně vyladěné modely a koncepty všech typů nasazení.

Nasadit jemně vyladěný model

Portal

Pokud chcete nasadit vlastní model, vyberte vlastní model, který chcete nasadit, a pak vyberte Nasadit.

Otevře se dialogové okno Nasadit model . V dialogovém okně zadejte název nasazení a pak výběrem možnosti Vytvořit spusťte nasazení vlastního modelu.

Průběh nasazení můžete sledovat v podokně Nasazení na portálu Foundry.

Uživatelské rozhraní nepodporuje nasazení mezi oblastmi, zatímco Python SDK nebo REST podporuje.

Python

import json
import os
import requests

token = os.getenv("<TOKEN>") 
subscription = "<YOUR_SUBSCRIPTION_ID>"  
resource_group = "<YOUR_RESOURCE_GROUP_NAME>"
resource_name = "<YOUR_AZURE_OPENAI_RESOURCE_NAME>"
model_deployment_name = "gpt-4.1-mini-ft" # custom deployment name that you will use to reference the model when making inference calls.

deploy_params = {'api-version': "2024-10-21"} 
deploy_headers = {'Authorization': 'Bearer {}'.format(token), 'Content-Type': 'application/json'}

deploy_data = {
    "sku": {"name": "standard", "capacity": 1}, 
    "properties": {
        "model": {
            "format": "OpenAI",
            "name": <"fine_tuned_model">, #retrieve this value from the previous call, it will look like gpt-4.1-mini-2025-04-14.ft-b044a9d3cf9c4228b5d393567f693b83
            "version": "1"
        }
    }
}
deploy_data = json.dumps(deploy_data)

request_url = f'https://management.azure.com/subscriptions/{subscription}/resourceGroups/{resource_group}/providers/Microsoft.CognitiveServices/accounts/{resource_name}/deployments/{model_deployment_name}'

print('Creating a new deployment...')

r = requests.put(request_url, params=deploy_params, headers=deploy_headers, data=deploy_data)

print(r)
print(r.reason)
print(r.json())

proměnná	Definition
token	Existuje několik způsobů, jak vygenerovat autorizační token. Nejjednodušší metodou počátečního testování je spuštění Cloud Shellu z webu Azure Portal. Pak spusťte az account get-access-token. Tento token můžete použít jako dočasný autorizační token pro testování rozhraní API. Doporučujeme ho uložit do nové systémové proměnné.
odběr	ID předplatného přidruženého prostředku Azure OpenAI.
resource_group	Název skupiny prostředků pro váš zdroj Azure OpenAI.
resource_name	Název prostředku Azure OpenAI.
model_deployment_name	Vlastní název pro nasazení nového modelu s jemným doladěním. Jedná se o název, na který se bude v kódu odkazovat k vyvolání dokončení chatu.
fine_tuned_model	Načtěte tuto hodnotu obdrženou z výsledků úlohy doladění v předchozím kroku. Bude vypadat jako gpt-4.1-mini-2025-04-14.ft-b044a9d3cf9c4228b5d393567f693b83. Tuto hodnotu budete muset přidat do deploy_data json. Případně můžete také nasadit kontrolní bod předáním ID kontrolního bodu, které se zobrazí ve formátu. ftchkpt-e559c011ecc04fc68eaa339d8227d02d

Nasazení napříč oblastmi

Vyladění podporuje nasazení naladěného modelu do jiné oblasti, než ve které byl původně naladěn. Můžete také nasadit do jiného předplatného či regionu.

Jedinými omezeními je, že nová oblast musí také podporovat vyladění a při nasazování mezi předplatnými musí mít účet vygenerující autorizační token pro nasazení přístup ke zdrojovým i cílovým předplatným.

Níže je příklad nasazení modelu, který byl doladěn v jednom předplatném/oblasti a převeden do jiného.

import json
import os
import requests

token= os.getenv("<TOKEN>") 

subscription = "<DESTINATION_SUBSCRIPTION_ID>"  
resource_group = "<DESTINATION_RESOURCE_GROUP_NAME>"
resource_name = "<DESTINATION_AZURE_OPENAI_RESOURCE_NAME>"

source_subscription = "<SOURCE_SUBSCRIPTION_ID>"
source_resource_group = "<SOURCE_RESOURCE_GROUP>"
source_resource = "<SOURCE_RESOURCE>"


source = f'/subscriptions/{source_subscription}/resourceGroups/{source_resource_group}/providers/Microsoft.CognitiveServices/accounts/{source_resource}'

model_deployment_name = "gpt-4.1-mini-ft" # custom deployment name that you will use to reference the model when making inference calls.

deploy_params = {'api-version': "2024-10-21"} 
deploy_headers = {'Authorization': 'Bearer {}'.format(token), 'Content-Type': 'application/json'}



deploy_data = {
    "sku": {"name": "standard", "capacity": 1}, 
    "properties": {
        "model": {
            "format": "OpenAI",
            "name": <"FINE_TUNED_MODEL_NAME">, # This value will look like gpt-4.1-mini-2025-04-14.ft-0ab3f80e4f2242929258fff45b56a9ce
            "version": "1",
            "source": source
        }
    }
}
deploy_data = json.dumps(deploy_data)

request_url = f'https://management.azure.com/subscriptions/{subscription}/resourceGroups/{resource_group}/providers/Microsoft.CognitiveServices/accounts/{resource_name}/deployments/{model_deployment_name}'

print('Creating a new deployment...')

r = requests.put(request_url, params=deploy_params, headers=deploy_headers, data=deploy_data)

print(r)
print(r.reason)
print(r.json())

Pokud chcete provést nasazení v rámci stejného předplatného, ale v různých oblastech, měli byste zajistit, že předplatné a skupiny prostředků zůstanou stejné pro zdrojové a cílové proměnné, a pouze názvy zdrojových a cílových prostředků by musely být jedinečné.

Nasazení v prostředí více tenantů

Účet použitý ke generování přístupových tokenů s az account get-access-token --tenant by měl mít oprávnění přispěvatele OpenAI ve službách Cognitive Services ke zdrojovým i cílovým prostředkům Azure OpenAI. Budete muset vygenerovat dva různé tokeny, jeden pro zdrojového tenanta a druhý pro cílového tenanta.

import requests

subscription = "DESTINATION-SUBSCRIPTION-ID"
resource_group = "DESTINATION-RESOURCE-GROUP"
resource_name = "DESTINATION-AZURE-OPENAI-RESOURCE-NAME"
model_deployment_name = "DESTINATION-MODEL-DEPLOYMENT-NAME"
fine_tuned_model = "gpt-4o-mini-2024-07-18.ft-f8838e7c6d4a4cbe882a002815758510" #source fine-tuned model id example id provided
source_subscription_id = "SOURCE-SUBSCRIPTION-ID"
source_resource_group = "SOURCE-RESOURCE-GROUP" 
source_account = "SOURCE-AZURE-OPENAI-RESOURCE-NAME"

dest_token = "DESTINATION-ACCESS-TOKEN" # az account get-access-token --tenant DESTINATION-TENANT-ID
source_token = "SOURCE-ACCESS-TOKEN"  # az account get-access-token --tenant SOURCE-TENANT-ID

headers = {
    "Authorization": f"Bearer {dest_token}", 
    "x-ms-authorization-auxiliary": f"Bearer {source_token}", 
    "Content-Type": "application/json"
}

url = f"https://management.azure.com/subscriptions/{subscription}/resourceGroups/{resource_group}/providers/Microsoft.CognitiveServices/accounts/{resource_name}/deployments/{model_deployment_name}?api-version=2024-10-01"

payload = {
    "sku": {
        "name": "standard",
        "capacity": 1
    },
    "properties": {
        "model": {
            "format": "OpenAI",
            "name": fine_tuned_model,
            "version": "1",
            "sourceAccount": f"/subscriptions/{source_subscription_id}/resourceGroups/{source_resource_group}/providers/Microsoft.CognitiveServices/accounts/{source_account}"
        }
    }
}

response = requests.put(url, headers=headers, json=payload)

# Check response
print(f"Status Code: {response.status_code}")
print(f"Response: {response.json()}")

REST

Následující příklad ukazuje, jak pomocí rozhraní REST API vytvořit nasazení modelu pro váš přizpůsobený model. Rozhraní REST API vygeneruje název pro nasazení vašeho přizpůsobeného modelu.

curl -X POST "https://management.azure.com/subscriptions/<SUBSCRIPTION>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.CognitiveServices/accounts/<RESOURCE_NAME>/deployments/<MODEL_DEPLOYMENT_NAME>?api-version=2024-10-21" \
  -H "Authorization: Bearer <TOKEN>" \
  -H "Content-Type: application/json" \
  -d '{
    "sku": {"name": "standard", "capacity": 1},
    "properties": {
        "model": {
            "format": "OpenAI",
            "name": "<FINE_TUNED_MODEL>",
            "version": "1"
        }
    }
}'

proměnná	Definition
token	Existuje několik způsobů, jak vygenerovat autorizační token. Nejjednodušší metodou počátečního testování je spuštění Cloud Shellu z webu Azure Portal. Pak spusťte az account get-access-token. Tento token můžete použít jako dočasný autorizační token pro testování rozhraní API. Doporučujeme ho uložit do nové systémové proměnné.
odběr	ID předplatného přidruženého prostředku Azure OpenAI.
resource_group	Název skupiny prostředků pro váš zdroj Azure OpenAI.
resource_name	Název prostředku Azure OpenAI.
model_deployment_name	Vlastní název pro nasazení nového modelu s jemným doladěním. Jedná se o název, na který se bude v kódu odkazovat k vyvolání dokončení chatu.
fine_tuned_model	Načtěte tuto hodnotu obdrženou z výsledků úlohy doladění v předchozím kroku. Bude vypadat jako gpt-4.1-mini-2025-04-14.ft-b044a9d3cf9c4228b5d393567f693b83. Tuto hodnotu budete muset přidat do deploy_data json. Případně můžete také nasadit kontrolní bod předáním ID kontrolního bodu, které se zobrazí ve formátu. ftchkpt-e559c011ecc04fc68eaa339d8227d02d

Nasazení napříč oblastmi

Vyladění podporuje nasazení naladěného modelu do jiné oblasti, než ve které byl původně naladěn. Můžete také nasadit do jiného předplatného či regionu.

Jedinými omezeními je, že nová oblast musí také podporovat vyladění a při nasazování mezi předplatnými musí mít účet vygenerující autorizační token pro nasazení přístup ke zdrojovým i cílovým předplatným.

Níže je příklad nasazení modelu, který byl doladěn v jednom předplatném/oblasti a převeden do jiného.

curl -X PUT "https://management.azure.com/subscriptions/<SUBSCRIPTION>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.CognitiveServices/accounts/<RESOURCE_NAME>/deployments/<MODEL_DEPLOYMENT_NAME>?api-version=2024-10-21" \
  -H "Authorization: Bearer <TOKEN>" \
  -H "Content-Type: application/json" \
  -d '{
    "sku": {"name": "standard", "capacity": 1},
    "properties": {
        "model": {
            "format": "OpenAI",
            "name": "<FINE_TUNED_MODEL>", 
            "version": "1",
            "source": "/subscriptions/{sourceSubscriptionID}/resourceGroups/{sourceResourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{sourceAccount}" 
        }
    }
}'

Pokud chcete provést nasazení v rámci stejného předplatného, ale do různých oblastí, měli byste mít předplatné a skupiny prostředků stejné pro zdrojové i cílové proměnné a pouze názvy zdrojových a cílových prostředků musí být jedinečné.

Nasazení v prostředí více tenantů

Účet použitý ke generování přístupových tokenů s az account get-access-token --tenant by měl mít oprávnění přispěvatele OpenAI ve službách Cognitive Services ke zdrojovým i cílovým prostředkům Azure OpenAI. Budete muset vygenerovat dva různé tokeny, jeden pro zdrojového tenanta a druhý pro cílového tenanta.

curl -X PUT "https://management.azure.com/subscriptions/<SUBSCRIPTION>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.CognitiveServices/accounts/<RESOURCE_NAME>/deployments/<MODEL_DEPLOYMENT_NAME>?api-version=2024-10-01" \
  -H "Authorization: Bearer <DESTINATION TOKEN>" \
  -H "x-ms-authorization-auxiliary: Bearer <SOURCE TOKEN>" \
  -H "Content-Type: application/json" \
  -d '{
    "sku": {"name": "standard", "capacity": 1},
    "properties": {
        "model": {
            "format": "OpenAI",
            "name": "<FINE_TUNED_MODEL>", 
            "version": "1",
            "sourceAccount": "/subscriptions/{sourceSubscriptionID}/resourceGroups/{sourceResourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{sourceAccount}" 
        }
    }
}'

CLI

Následující příklad ukazuje, jak pomocí Azure CLI nasadit přizpůsobený model. Pomocí Azure CLI musíte zadat název nasazení přizpůsobeného modelu. Další informace o tom, jak pomocí Azure CLI nasadit přizpůsobené modely, najdete v tématu az cognitiveservices account deployment.

Pokud chcete spustit tento příkaz Azure CLI v okně konzoly, musíte nahradit následující <zástupné symboly> odpovídajícími hodnotami pro váš přizpůsobený model:

Placeholder	Value
<YOUR_AZURE_SUBSCRIPTION>	Název nebo ID vašeho předplatného Azure
<YOUR_RESOURCE_GROUP>	Název vaší skupiny prostředků Azure
<YOUR_RESOURCE_NAME>	Název vašeho prostředku Azure OpenAI.
<VAŠE_NASAZENÍ_NÁZEV>	Název, který chcete použít pro nasazení modelu.
<YOUR_FINE_TUNED_MODEL_ID>	Název přizpůsobeného modelu.

az cognitiveservices account deployment create 
    --resource-group <YOUR_RESOURCE_GROUP>
    --name <YOUR_RESOURCE_NAME>  
    --deployment-name <YOUR_DEPLOYMENT_NAME>
    --model-name <YOUR_FINE_TUNED_MODEL_ID>
    --model-version "1" 
    --model-format OpenAI 
    --sku-capacity "1" 
    --sku-name "Standard"

Important

Po nasazení přizpůsobeného modelu se nasazení odstraní, pokud nasazení zůstane neaktivní po dobu delší než patnáct (15) dnů. Nasazení přizpůsobeného modelu je neaktivní, pokud byl model nasazen před více než patnácti (15) dny a během nepřetržitého 15denního období do něj nebyla provedena žádná volání k dokončení nebo dokončení chatu.

Odstranění neaktivního nasazení neodstraní ani neovlivní základní přizpůsobený model a přizpůsobený model je možné kdykoliv znovu nasadit. Jak je popsáno v cenách modelů Azure OpenAI v Microsoft Foundry, každý přizpůsobený (jemně vyladěný) model, který je nasazen, má hodinové náklady na hosting bez ohledu na to, zda se k modelu provádějí volání pro dokončení nebo volání pro dokončení chatu. Další informace o plánování a správě nákladů pomocí Azure OpenAI najdete v doprovodných materiálech v tématu Plánování správy nákladů na Azure OpenAI.

Použijte nasazený upravený model

Portal

Po nasazení vlastního modelu ho můžete použít jako jakýkoli jiný nasazený model. Pomocí dětského hřiště na portálu Foundry můžete experimentovat s novým nasazením. Stejné parametry můžete dál používat s vlastním modelem, například temperature a max_tokens, stejně jako u jiných nasazenýchmodelůch

Python

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT"), 
  api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version="2024-02-01"
)

response = client.chat.completions.create(
    model="gpt-4.1-mini-ft", # model = "Custom deployment name you chose for your fine-tuning model"
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Does Azure OpenAI support customer managed keys?"},
        {"role": "assistant", "content": "Yes, customer managed keys are supported by Azure OpenAI."},
        {"role": "user", "content": "Do other Azure services support this too?"}
    ]
)

print(response.choices[0].message.content)

REST

curl $AZURE_OPENAI_ENDPOINT/openai/deployments/<deployment_name>/chat/completions?api-version=2024-10-21 \
  -H "Content-Type: application/json" \
  -H "api-key: $AZURE_OPENAI_API_KEY" \
  -d '{"messages":[{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": "Does Azure OpenAI support customer managed keys?"},{"role": "assistant", "content": "Yes, customer managed keys are supported by Azure OpenAI."},{"role": "user", "content": "Do other Azure services support this too?"}]}'

CLI

Azure CLI slouží pouze pro operace řídicí roviny, jako je vytváření prostředků a nasazení modelu. Pro operace odvozování použijte rozhraní REST API nebo sady SDK založené na jazyce.

Ukládání promptů do mezipaměti

Doladění Azure OpenAI podporuje ukládání výzev do mezipaměti u vybraných modelů. Ukládání do mezipaměti umožňuje snížit celkovou latenci požadavků a náklady na delší výzvy, které mají na začátku výzvy stejný obsah. Další informace o ukládání výzev do mezipaměti najdete v tématu Začínáme s ukládáním výzev do mezipaměti.

Typy nasazení

Vyladění Azure OpenAI podporuje následující typy nasazení.

Standard

Standardní nasazení poskytují model fakturace formou průběžných plateb za token s rezidencí dat omezenou na nasazenou oblast.

Models	Východní USA 2	Střed USA – sever	Švédsko – střed
o4-mini	✅		✅
GPT-4.1		✅	✅
GPT-4.1-mini		✅	✅
GPT-4.1-nano		✅	✅
GPT-4o	✅		✅
GPT-4o-mini		✅	✅

Global Standard

Globální standard optimalizovaná nasazení nabízí úspory nákladů, ale váhy vlastního modelu mohou být dočasně uloženy mimo geografickou oblast vašeho prostředku Azure OpenAI.

Globální standardní nasazení jsou k dispozici ve všech oblastech Azure OpenAI pro následující modely:

• o4-mini
• GPT-4.1
• GPT-4.1-mini
• GPT-4.1-nano
• GPT-4o
• GPT-4o-mini

Vývojářská úroveň

Jemně vyladěná nasazení pro vývojáře nabízejí podobné prostředí jako Global Standard bez hodinového poplatku za hostování, ale nenabízí smlouvu SLA o dostupnosti. Nasazení pro vývojáře je navrženo pro vyhodnocení modelových kandidátů, nikoli pro produkční použití.

Nasazení pro vývojáře jsou k dispozici ve všech regionech Azure OpenAI pro následující modely:

• GPT-4.1
• GPT-4.1-mini
• GPT-4.1-nano
• o4-mini

Zřízená propustnost

Models	Střed USA – sever	Švédsko – střed
GPT-4.1		✅
GPT-4o	✅	✅
GPT-4o-mini	✅	✅

Zřízená nasazení s jemně vyladěnou propustností nabízejí předvídatelný výkon pro agenty a aplikace citlivé na latenci. Používají stejnou kapacitu regionální provizované propustnosti (PTU) jako základní modely, takže pokud už máte kvótu PTU v jednotlivých oblastech, můžete váš vyladěný model nasadit v oblastech podpory.

Vyčistěte své nasazení

Pokud chcete odstranit nasazení, použijte Deployments - Delete REST API a odešlete příkaz HTTP DELETE do prostředku nasazení. Stejně jako při vytváření nasazení musíte zahrnout následující parametry:

• ID předplatného Azure
• Název skupiny prostředků Azure
• Název prostředku Azure OpenAI
• Název nasazení, které se má odstranit

Níže je příklad rozhraní REST API pro odstranění nasazení:

curl -X DELETE "https://management.azure.com/subscriptions/<SUBSCRIPTION>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.CognitiveServices/accounts/<RESOURCE_NAME>/deployments/<MODEL_DEPLOYMENT_NAME>?api-version=2024-10-21" \
  -H "Authorization: Bearer <TOKEN>"

Nasazení můžete také odstranit na portálu Foundry nebo použít Azure CLI.

Další kroky

• Typy nasazení Azure OpenAI