BYOM (Bring Your Own Model) mit Voice Live API

Die Voice Live-API bietet BYOM-Funktionen (Bring Your Own Model), sodass Sie Ihre benutzerdefinierten Modelle in den VoIP-Interaktionsworkflow integrieren können. BYOM ist für die folgenden Szenarien nützlich:

  • Feinabgestimmte Modelle: Verwenden Sie Ihre eigenen angepassten Azure OpenAI- oder Azure Foundry-Modelle
  • Jedes Foundry-Modell, das nicht von Voice Live vorab bereitgestellt wurde: Verwenden Sie Modelle aus dem Foundry-Modellkatalog, z. B. Anthropic Claude, Grok, Fireworks Custom Weights oder eine Modell-Router-Bereitstellung
  • Bereitgestellter Durchsatz: Verwenden Sie Ihre PTU-Bereitstellungen (Bereitgestellte Durchsatzeinheiten) für eine konsistente Leistung.
  • Inhaltssicherheit: Anwenden angepasster Inhaltssicherheitskonfigurationen mit Ihrer LLM

Von Bedeutung

Sie können jedes modell, das in Ihrer Azure Foundry-Ressource bereitgestellt wird, in die Voice Live-API integrieren. Informationen zum Verwenden von Modellbereitstellungen aus einer anderen Foundry-Ressource finden Sie unter Ressourcenüberschreibungen.

Tipp

Wenn Sie Ihre eigene Modellbereitstellung mit Voice Live verwenden, empfehlen wir, die Inhaltsfilterkonfiguration auf asynchrone Filterung festzulegen, um die Latenz zu verringern. Inhaltsfiltereinstellungen können im Microsoft Foundry-Portal konfiguriert werden.

Authentifizierungseinstellungen

Wenn Sie die Microsoft Entra ID Authentifizierung mit der Voice Live-API im byom-azure-openai-chat-completion- oder byom-foundry-anthropic-messages-Modus verwenden, müssen Sie die richtigen Berechtigungen für Ihre Foundry-Ressource konfigurieren. Da Token bei langen Sitzungen ablaufen, benötigt die vom System zugewiesene verwaltete Identität der Foundry-Ressource Zugriff auf Bereitstellungsmodelle für diese BYOM-Modi.

Führen Sie die folgenden Azure CLI Befehle aus, um die erforderlichen Berechtigungen zu konfigurieren:

export subscription_id=<your-subscription-id>
export resource_group=<your-resource-group>
export foundry_resource=<your-foundry-resource>

# Enable system-assigned managed identity for the foundry resource
az cognitiveservices account identity assign --name ${foundry_resource} --resource-group ${resource_group} --subscription ${subscription_id}

# Get the system-assigned managed identity object ID
identity_principal_id=$(az cognitiveservices account show --name ${foundry_resource} --resource-group ${resource_group} --subscription ${subscription_id} --query "identity.principalId" -o tsv)

# Assign the Foundry User role to the system identity of the foundry resource
az role assignment create --assignee-object-id ${identity_principal_id} --role "aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb" --scope /subscriptions/${subscription_id}/resourceGroups/${resource_group}/providers/Microsoft.CognitiveServices/accounts/${foundry_resource}

Hinweis

Da die Rollen "Foundry RBAC" kürzlich umbenannt wurden, verwenden Sie die Rollendefinitions-ID (GUID) anstelle des Rollennamens in Ihrem Code, um Probleme während des Umbenennungsrollouts zu vermeiden:

  • Foundry-Benutzer: 53ca6127-db72-4b80-b1b0-d745d6d5456d
  • Eigentümer der Gießerei: c883944f-8b7b-4483-af10-35834be79c4a
  • Besitzer des Foundry-Kontos: e47c6f54-e4a2-4754-9501-8e0985b135e1
  • Foundry Project Manager: eadc314b-1a2d-4efa-be10-5d325db5065e

Ressourcenübergreifende Authentifizierung

Wenn Sie Ressourcenüberschreibungen verwenden, ist die Authentifizierungseinrichtung unabhängig von Ihrer Authentifizierungsmethode (API-Schlüssel oder Microsoft Entra ID) obligatorisch. Sie müssen Berechtigungen sowohl für die Voice Live Foundry-Ressource als auch für die Modellgießereiressource konfigurieren. Führen Sie die folgenden Befehle aus, um die erforderlichen Berechtigungen zu konfigurieren:

export subscription_id_for_model=<your-subscription-id-for-model-resource>
export resource_group_for_model=<your-resource-group-for-model-resource>
export foundry_resource_for_model=<your-foundry-resource-for-model>

export subscription_id_for_voice_live=<your-subscription-id-for-voice-live-resource>
export resource_group_for_voice_live=<your-resource-group-for-voice-live-resource>
export foundry_resource_for_voice_live=<your-foundry-resource-for-voice-live>

# Enable system-assigned managed identity for the Voice Live Foundry resource
az cognitiveservices account identity assign \
    --name ${foundry_resource_for_voice_live} \
    --resource-group ${resource_group_for_voice_live} \
    --subscription ${subscription_id_for_voice_live}

# Get the system-assigned managed identity object ID
# for the Voice Live resource
identity_principal_id=$(az cognitiveservices account show \
    --name ${foundry_resource_for_voice_live} \
    --resource-group ${resource_group_for_voice_live} \
    --subscription ${subscription_id_for_voice_live} \
    --query "identity.principalId" -o tsv)

# Assign the Foundry User role to the Voice Live resource's
# system identity on the model Foundry resource
az role assignment create \
    --assignee-object-id ${identity_principal_id} \
    --role "aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb" \
    --scope /subscriptions/${subscription_id_for_model}/resourceGroups/${resource_group_for_model}/providers/Microsoft.CognitiveServices/accounts/${foundry_resource_for_model}

Auswählen des BYOM-Integrationsmodus

Die Voice Live-API unterstützt drei BYOM-Integrationsmodi:

Modus Description Beispielmodelle
byom-azure-openai-realtime Azure OpenAI-Echtzeitmodelle für Streaming-Sprachinteraktionen gpt-realtime, gpt-realtime-mini
byom-azure-openai-chat-completion Azure OpenAI-Chatabschlussmodelle für textbasierte Interaktionen. Gilt auch für andere Foundry-Modelle gpt-5.4, grok-4
byom-foundry-anthropic-messages In Azure Foundry bereitgestellte anthropische Claude-Modelle mithilfe der Nachrichten-API (Vorschau) claude-sonnet-4.6, claude-haiku-4.5

Hinweis

Der byom-foundry-anthropic-messages Modus befindet sich derzeit in der Vorschauphase. Vorschaufeatures können geändert werden und haben möglicherweise eine eingeschränkte Verfügbarkeit.

Integrieren von BYOM

Aktualisieren Sie die Endpunkt-URL in Ihrem API-Aufruf, um Ihre BYOM-Konfiguration einzuschließen:

wss://<your-foundry-resource>.services.ai.azure.com/voice-live/realtime?api-version=2026-04-10&profile=<your-byom-mode>&model=<your-model-deployment>

Rufen Sie den <your-model-deployment> Wert aus dem Foundry-Portal ab. Er entspricht dem Namen, den Sie dem Modell zur Bereitstellungszeit gegeben haben.

Um beispielsweise ein in Azure Foundry bereitgestelltes Anthropic Claude-Modell zu verwenden:

wss://<your-foundry-resource>.services.ai.azure.com/voice-live/realtime?api-version=2026-04-10&profile=byom-foundry-anthropic-messages&model=<your-claude-deployment-name>

Um eine Modellbereitstellung aus einer anderen Foundry-Ressource zu verwenden, fügen Sie den foundry-resource-override Parameter hinzu:

wss://<your-foundry-resource>.services.ai.azure.com/voice-live/realtime?api-version=2026-04-10&profile=<your-byom-mode>&model=<your-model-deployment>&foundry-resource-override=<foundry-resource>

Der <foundry-resource> Wert ist der Ressourcenname ohne das Domänensuffix. Wenn z. B. der Ressourcenendpunkt "Foundry" https://my-foundry-resource.services.ai.azure.com lautet, dann verwenden Sie my-foundry-resource.

Hinweis

Wenn Sie den byom-foundry-anthropic-messages Modus verwenden, enthält das usage Feld in response.done Ereignissen nur die Verwendung von Audiotoken (für die Spracherkennung und text-zu-Sprache). Die VERWENDUNG von LLM-Token aus dem Anthropic-Modell wird separat in den Antwortmetadaten gemeldet.

Ressourcenüberschreibungen

Standardmäßig verwendet die Voice Live-API LLM-Bereitstellungen in derselben Foundry-Ressource wie der Voice Live-Dienst. Wenn sich Ihre Modellbereitstellungen in einer anderen Foundry-Ressource befinden, geben Sie den foundry-resource-override Abfrageparameter an, um die API an die richtige Ressource umzuleiten. Dies unterstützt regionsübergreifende Szenarien, in denen sich der Voice Live-Dienst und die Modellbereitstellungen in verschiedenen Regionen befinden.

Der foundry-resource-override Wert ist der Ressourcenname ohne das Domänensuffix. Wenn beispielsweise der Ressourcenendpunkt "Foundry" lautet https://my-foundry-resource.services.ai.azure.com, verwenden Sie my-foundry-resource.

Details zur Implementierung finden Sie auf jeder Registerkarte im Integrieren von BYOM-Abschnitt.

Von Bedeutung

Wenn Sie Ressourcenüberschreibungen verwenden, müssen Sie cross-resource authentication unabhängig von Ihrer Authentifizierungsmethode (API-Schlüssel oder Microsoft Entra ID) konfigurieren.