Share via

Az Azure OpenAI-modellek használata

  • Cikk

Az Azure OpenAI szolgáltatást különböző képességekkel és árpontokkal rendelkező modellek változatos halmaza működteti. A modell rendelkezésre állása régiónként eltérő.

Az Azure OpenAI-erőforrás következtetéséhez és finomhangolásához egyaránt elérhető modellek listáját a Models List API használatával szerezheti be.

Modellfrissítések

Az Azure OpenAI mostantól támogatja a modelltelepítések automatikus frissítéseit. Azon modelleken, ahol elérhető az automatikus frissítési támogatás, a modellverzió legördülő menüje látható az Azure OpenAI Studióban az Új üzembe helyezés létrehozása és az Üzembe helyezés szerkesztése csoportban:

Screenshot of the deploy model UI of Azure OpenAI Studio.

Az Azure OpenAI-modellverziókról és azok működéséről az Azure OpenAI-modellverziókról szóló cikkben tudhat meg többet.

Automatikus frissítés alapértelmezettre

Amikor az automatikus frissítés alapértelmezettre állítja az üzembe helyezést, a modell központi telepítése automatikusan frissül az alapértelmezett verzió módosításától számított két héten belül. Előzetes verzió esetén automatikusan frissül, ha az új előzetes verzió két héttel az új előzetes verzió megjelenése után érhető el.

Ha még mindig a következtetési modellek korai tesztelési fázisában van, javasoljuk, hogy automatikus frissítéssel rendelkező modelleket helyezzen üzembe az alapértelmezett beállításra, amikor az elérhető.

Adott modellverzió

Az Azure OpenAI használata folyamatosan fejlődik, és elkezdi létrehozni és integrálni a modellfrissítéseket manuálisan vezérelni kívánt alkalmazásokkal. A frissítés előtt először tesztelheti és ellenőrizheti, hogy az alkalmazás viselkedése konzisztens-e a használati esethez.

Amikor kiválaszt egy adott modellverziót egy központi telepítéshez, ez a verzió mindaddig ki van választva, amíg manuálisan nem frissíti magát, vagy ha eléri a modell kivonási dátumát. A kivonási dátum elérésekor a modell automatikusan az alapértelmezett verzióra frissül a kivonás időpontjában.

A kivonási dátumok megtekintése

A jelenleg üzembe helyezett modellek esetében az Azure OpenAI Studióban válassza az Üzembe helyezéseket:

Screenshot of the deployment UI of Azure OpenAI Studio.

Ha az Azure OpenAI Studióban meg szeretné tekinteni az adott régióban elérhető összes modell kivonási dátumát, válassza a Modellek>oszlopbeállításainak> kiválasztása Az elavulás finomhangolása és az elavulási következtetés kiválasztása:

Screenshot of the models UI of Azure OpenAI Studio.

Modell központi telepítésének frissítési konfigurációja

Az Azure OpenAI Studióban ellenőrizheti, hogy milyen modellfrissítési beállítások vannak beállítva a korábban üzembe helyezett modellekhez. Válassza az Üzemelő példányok> lehetőséget Az üzembehelyezési név oszlopban válassza ki a kék színnel kiemelt üzembe helyezési nevek egyikét.

Screenshot of the deployments pane with a deployment name highlighted.

Az üzembe helyezés nevének kiválasztásával megnyílik a modell központi telepítésének tulajdonságai . A verziófrissítési szabályzatban megtekintheti, hogy milyen frissítési beállítások vannak beállítva az üzemelő példányhoz:

Screenshot of the model deployments property UI.

A megfelelő tulajdonság a REST, az Azure PowerShell és az Azure CLI használatával is elérhető.

Lehetőség Olvasás Frissítés
REST Igen. Ha versionUpgradeOption nem adja vissza, az azt jelenti, hogy null Igen
Azure PowerShell Igen.VersionUpgradeOption bejelölhető $null Igen
Azure CLI Igen. Azt mutatja, null hogy versionUpgradeOption nincs-e beállítva. Szám A verziófrissítési lehetőség jelenleg nem frissíthető.

Három különböző modelltelepítési frissítési lehetőség áll rendelkezésre:

Név Leírás
OnceNewDefaultVersionAvailable Miután az új verziót alapértelmezettként jelölte ki, a modell központi telepítése a kijelölés módosításától számított két héten belül automatikusan az alapértelmezett verzióra frissül.
OnceCurrentVersionExpired A kivonási dátum elérése után a modell üzembe helyezése automatikusan az aktuális alapértelmezett verzióra frissül.
NoAutoUpgrade A modell üzembe helyezése soha nem frissül automatikusan. A kivonási dátum elérése után a modell üzembe helyezése leáll. Frissítenie kell az üzembe helyezésre hivatkozó kódot, hogy egy nem létező modell üzembe helyezésére mutasson.

Feljegyzés

nullegyenértékű a .-nak.AutoUpgradeWhenExpired Ha a Verziófrissítési szabályzat beállítás nem szerepel a modellfrissítéseket támogató modell tulajdonságai között, az azt jelzi, hogy az érték jelenleg nullérvényes. Miután explicit módon módosította ezt az értéket, a tulajdonság megjelenik a stúdió tulajdonságainak oldalán és a REST API-on keresztül.

Példák

Tekintse át az Azure PowerShell első lépések útmutatóját az Azure PowerShell helyi telepítéséhez, vagy használhatja az Azure Cloud Shellt.

Az alábbi lépések bemutatják a VersionUpgradeOption beállítástulajdonság ellenőrzését és frissítését:

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}
 
// Step 2: Show Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption
 
// VersionUpgradeOption can be null - one way to check is
$null -eq $deployment.Properties.VersionUpgradeOption
 
// Step 3: Update Deployment VersionUpgradeOption
$deployment.Properties.VersionUpgradeOption = "NoAutoUpgrade"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku
 
// repeat step 1 and 2 to confirm the change.
// If not sure about deployment name, use this command to show all deployments under an account
Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName}

// To update to a new model version

// Step 1: Get Deployment
$deployment = Get-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName}

// Step 2: Show Deployment Model properties
$deployment.Properties.Model.Version

// Step 3: Update Deployed Model Version
$deployment.Properties.Model.Version = "0613"
New-AzCognitiveServicesAccountDeployment -ResourceGroupName {ResourceGroupName} -AccountName {AccountName} -Name {DeploymentName} -Properties $deployment.Properties -Sku $deployment.Sku

// repeat step 1 and 2 to confirm the change.

Modellek frissítése és üzembe helyezése az API-n keresztül

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01

Elérésiút-paraméterek

Paraméter Típus Kötelező? Leírás
acountname húr Szükséges Az Azure OpenAI-erőforrás neve.
deploymentName húr Szükséges Az üzembe helyezési név, amelyet egy meglévő modell üzembe helyezésekor választott, vagy az a név, amelyet egy új modell üzembe helyezésekor szeretne használni.
resourceGroupName húr Szükséges A modell üzembe helyezéséhez társított erőforráscsoport neve.
subscriptionId húr Szükséges A társított előfizetés előfizetés-azonosítója.
api-version húr Szükséges A művelethez használandó API-verzió. Az ÉÉÉÉ-HH-NN formátumot követi.

Támogatott verziók

Kérelem törzse

Ez csak a rendelkezésre álló kérelemtörzs paramétereinek egy része. A paraméterek teljes listájához tekintse meg a REST API referenciadokumentációját.

Paraméter Típus Leírás
versionUpgradeOption Sztring Az üzembehelyezési modell verziófrissítési beállításai:
OnceNewDefaultVersionAvailable
OnceCurrentVersionExpired
NoAutoUpgrade
capacity egész szám Ez az üzemelő példányhoz hozzárendelt kvóta mennyiségét jelöli. Az 1 érték 1000 token per minute (TPM) értékkel egyenlő

Példa kérésre:

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"Standard","capacity":120},"properties": {"model": {"format": "OpenAI","name": "gpt-35-turbo","version": "0613"},"versionUpgradeOption":"OnceCurrentVersionExpired"}}'

Feljegyzés

Az engedélyezési jogkivonatok többféleképpen is létrehozhatóak. A kezdeti tesztelés legegyszerűbb módja a Cloud Shell elindítása az Azure Portalról. Ez után futtassa a az account get-access-token parancsot. Ezt a jogkivonatot használhatja ideiglenes engedélyezési jogkivonatként API-teszteléshez.

Példaválasz

 {
  "id": "/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-35-turbo",
  "type": "Microsoft.CognitiveServices/accounts/deployments",
  "name": "gpt-35-turbo",
  "sku": {
    "name": "Standard",
    "capacity": 120
  },
  "properties": {
    "model": {
      "format": "OpenAI",
      "name": "gpt-35-turbo",
      "version": "0613"
    },
    "versionUpgradeOption": "OnceCurrentVersionExpired",
    "capabilities": {
      "chatCompletion": "true"
    },
    "provisioningState": "Succeeded",
    "rateLimits": [
      {
        "key": "request",
        "renewalPeriod": 10,
        "count": 120
      },
      {
        "key": "token",
        "renewalPeriod": 60,
        "count": 120000
      }
    ]
  },
  "systemData": {
    "createdBy": "docs@contoso.com",
    "createdByType": "User",
    "createdAt": "2023-02-28T02:57:15.8951706Z",
    "lastModifiedBy": "docs@contoso.com",
    "lastModifiedByType": "User",
    "lastModifiedAt": "2023-10-31T15:35:53.082912Z"
  },
  "etag": "\"GUID\""
}

Következő lépések