Punkty końcowe dla modeli rozwiązania Microsoft Foundry

Modele Microsoft Foundry umożliwiają dostęp do najbardziej zaawansowanych modeli od wiodących dostawców modeli za pośrednictwem jednego punktu końcowego i zestawu poświadczeń. Ta funkcja umożliwia przełączanie się między modelami i używanie ich w aplikacji bez konieczności zmieniania kodu.

W tym artykule wyjaśniono, jak usługi Foundry organizują modele i jak używać punktu końcowego wnioskowania w celu uzyskania do nich dostępu.

Ważna

Zestaw AZURE AI Inference beta SDK jest przestarzały i zostanie wycofany 30 maja 2026 r. Przejdź do ogólnie dostępnego interfejsu API OpenAI/v1 ze stabilnym zestawem OpenAI SDK. Postępuj zgodnie z przewodnikiem migracji , aby przełączyć się do interfejsu OpenAI/v1 przy użyciu zestawu SDK dla preferowanego języka programowania.

Wdrożenia

Usługa Foundry używa wdrożeń do udostępniania modeli. Wdrożenia dają modelowi nazwę i ustawiają określone konfiguracje. Dostęp do modelu można uzyskać przy użyciu jego nazwy wdrożenia w żądaniach.

Wdrożenie obejmuje:

• Nazwa modelu
• Wersja modelu
• Typ aprowizacji lub pojemności¹
• Konfiguracja filtrowania zawartości¹
• Konfiguracja ograniczania szybkości¹

¹ Te konfiguracje mogą ulec zmianie w zależności od wybranego modelu.

Zasób Foundry może mieć wiele wdrożeń modeli. Płacisz tylko za wnioskowanie wykonywane we wdrożeniach modelu. Wdrożenia to zasoby platformy Azure, więc podlegają zasadom platformy Azure.

Aby uzyskać więcej informacji na temat tworzenia wdrożeń, zobacz Dodawanie i konfigurowanie wdrożeń modelu.

Punkt końcowy wnioskowania usługi Azure OpenAI

Interfejs API usługi Azure OpenAI udostępnia pełne możliwości modeli OpenAI i obsługuje więcej funkcji, takich jak asystenci, wątki, pliki i wnioskowanie wsadowe. Możesz również uzyskać dostęp do modeli innych niż OpenAI za pośrednictwem tej trasy.

Punkty końcowe usługi Azure OpenAI, zazwyczaj w postaci https://<resource-name>.openai.azure.com, działają na poziomie wdrożenia, a każde wdrożenie ma własny skojarzony adres URL. Można jednak użyć tego samego mechanizmu uwierzytelniania, aby korzystać z wdrożeń. Aby uzyskać więcej informacji, zobacz stronę referencyjną interfejsu API usługi Azure OpenAI.

Każde wdrożenie ma adres URL utworzony przez połączenie podstawowego adresu URL usługi Azure OpenAI i trasy /deployments/<model-deployment-name>.

Python

Zainstaluj pakiet openai przy użyciu menedżera pakietów, takiego jak:

pip install openai --upgrade

Następnie możesz wykorzystać pakiet do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć aplikację kliencką do korzystania z funkcji uzupełniania czatu.

import os
from openai import AzureOpenAI
    
client = AzureOpenAI(
    azure_endpoint = "https://<resource>.services.ai.azure.com"
    api_key=os.getenv("AZURE_INFERENCE_CREDENTIAL"),  
    api_version="2024-10-21",
)

JavaScript

Zainstaluj pakiet openai przy użyciu narzędzia npm:

npm install openai

Następnie możesz wykorzystać pakiet do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć aplikację kliencką do korzystania z funkcji uzupełniania czatu.

import { AzureKeyCredential } from "@azure/openai";

const endpoint = "https://<resource>.services.ai.azure.com";
const apiKey = new AzureKeyCredential(process.env.AZURE_INFERENCE_CREDENTIAL);
const apiVersion = "2024-10-21"

const client = new AzureOpenAI({ 
    endpoint, 
    apiKey, 
    apiVersion, 
    "deepseek-v3-0324"
});

deepseek-v3-0324 Oto nazwa wdrożenia modelu w zasobie Microsoft Foundry.

C#

Zainstaluj bibliotekę OpenAI za pomocą następującego polecenia:

dotnet add package Azure.AI.OpenAI --prerelease

Możesz użyć pakietu do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć aplikację kliencką do korzystania z funkcji uzupełniania czatu.

AzureOpenAIClient client = new(
    new Uri("https://<resource>.services.ai.azure.com"),
    new ApiKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Java

Dodaj pakiet do projektu:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-openai</artifactId>
    <version>1.0.0-beta.16</version>
</dependency>

Następnie możesz wykorzystać pakiet do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć aplikację kliencką do korzystania z funkcji uzupełniania czatu.

OpenAIClient client = new OpenAIClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("https://<resource>.services.ai.azure.com")
    .buildClient();

REST

Skorzystaj z sekcji referencyjnej, aby zapoznać się z projektem interfejsu API i dostępnymi parametrami. Na przykład sekcja odniesienia dotycząca uzupełniania czatu zawiera szczegółowe informacje na temat sposobu używania ścieżki /chat/completions do generowania przewidywań na podstawie instrukcji w formacie czatu:

Zażądaj

POST https://<resource>.services.ai.azure.com/openai/deployments/deepseek-v3-0324/chat/completions?api-version=2024-10-21
api-key: <api-key>
Content-Type: application/json

deepseek-v3-0324 Jest to nazwa wdrożenia modelu w zasobie Foundry.

Python

response = client.chat.completions.create(
    model="deepseek-v3-0324", # Replace with your model deployment name.
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Explain Riemann's conjecture in 1 paragraph"}
    ]
)

print(response.model_dump_json(indent=2)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

const response = await client.chat.completions.create({ messages, model: "deepseek-v3-0324" });

console.log(response.choices[0].message.content)

C#

ChatCompletion response = chatClient.CompleteChat(
    [
        new SystemChatMessage("You are a helpful assistant."),
        new UserChatMessage("Explain Riemann's conjecture in 1 paragraph"),
    ]);

Console.WriteLine($"{response.Role}: {response.Content[0].Text}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.getChatCompletions("deepseek-v3-0324",
    new ChatCompletionsOptions(chatMessages));

System.out.printf("Model ID=%s is created at %s.%n", chatCompletions.getId(), chatCompletions.getCreatedAt());
for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.printf("Index: %d, Chat Role: %s.%n", choice.getIndex(), message.getRole());
    System.out.println("Message:");
    System.out.println(message.getContent());
}

deepseek-v3-0324 Oto nazwa wdrożenia modelu w zasobie Microsoft Foundry.

REST

Zażądaj

POST https://<resource>.services.ai.azure.com/openai/deployments/deepseek-v3-0324/chat/completions?api-version=2024-10-21
api-key: <api-key>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ]
}

deepseek-v3-0324 Jest to nazwa wdrożenia modelu w zasobie Foundry.

Aby uzyskać więcej informacji na temat korzystania z punktu końcowego usługi Azure OpenAI, zapoznaj się z dokumentacją Azure OpenAI w Foundry Models.

Uwierzytelnianie bez klucza

Modele wdrożone w ramach Foundry Models w systemie Foundry Tools obsługują autoryzację bez klucza przy użyciu Microsoft Entra ID. Autoryzacja bez klucza zwiększa bezpieczeństwo, upraszcza środowisko użytkownika, zmniejsza złożoność operacyjną i zapewnia niezawodną obsługę zgodności dla nowoczesnego programowania. Sprawia to, że bez klucza autoryzacja jest zdecydowanym wyborem dla organizacji przyjmujących bezpieczne i skalowalne rozwiązania do zarządzania tożsamościami.

Aby korzystać z uwierzytelniania bez klucza, skonfiguruj zasób i przyznaj użytkownikom dostęp do działania predykcyjnego. Po skonfigurowaniu zasobu i udzieleniu dostępu uwierzytelnij się w następujący sposób:

Python

Zainstaluj pakiet OpenAI SDK przy użyciu menedżera pakietów, takiego jak pip.

pip install openai

W przypadku uwierzytelniania identyfikatora Entra firmy Microsoft zainstaluj również następujące elementy:

pip install azure-identity

Użyj pakietu, aby korzystać z modelu. W poniższym przykładzie pokazano, jak utworzyć klienta do korzystania z funkcji uzupełniania czatów przy użyciu identyfikatora Entra firmy Microsoft oraz jak wykonać testowe wywołanie do punktu końcowego uzupełniania czatów z wykorzystaniem wdrożenia modelu.

Zastąp <resource> nazwą swojego zasobu Foundry. Znajdź go w Azure Portal lub uruchamiając az cognitiveservices account list. Zastąp DeepSeek-V3.1 rzeczywistą nazwą wdrożenia.

from openai import OpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), 
    "https://cognitiveservices.azure.com/.default"
)

client = OpenAI(
    base_url="https://<resource>.openai.azure.com/openai/v1/",
    api_key=token_provider,
)

completion = client.chat.completions.create(
    model="DeepSeek-V3.1",  # Required: your deployment name
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "What is Azure AI?"}
    ]
)

print(completion.choices[0].message.content)

Oczekiwane dane wyjściowe

Azure AI is a comprehensive suite of artificial intelligence services and tools from Microsoft that enables developers to build intelligent applications. It includes services for natural language processing, computer vision, speech recognition, and machine learning capabilities.

Referencja: Zestaw SDK języka Python OpenAI i klasa DefaultAzureCredential.

C#

Zainstaluj zestaw OpenAI SDK:

dotnet add package OpenAI

Aby uwierzytelnić za pomocą Microsoft Entra ID, należy również zainstalować pakiet Azure.Identity.

dotnet add package Azure.Identity

Zaimportuj następujące przestrzenie nazw:

using Azure.Identity;
using OpenAI;
using OpenAI.Chat;
using System.ClientModel.Primitives;

Następnie użyj pakietu, aby korzystać z modelu. W poniższym przykładzie pokazano, jak utworzyć klienta do korzystania z uzupełniania czatów z użyciem Microsoft Entra ID, a następnie wykonać testowe wywołanie do punktu końcowego uzupełniania czatów z użyciem wdrożonego modelu.

Zastąp <resource> nazwą zasobu Foundry (znajdź ją w portalu Azure). Zastąp gpt-4o-mini rzeczywistą nazwą wdrożenia.

#pragma warning disable OPENAI001

BearerTokenPolicy tokenPolicy = new(
    new DefaultAzureCredential(),
    "https://cognitiveservices.azure.com/.default"
);

ChatClient client = new(
    model: "gpt-4o-mini", // Your deployment name
    authenticationPolicy: tokenPolicy,
    options: new OpenAIClientOptions() {
        Endpoint = new Uri("https://<resource>.openai.azure.com/openai/v1/")
    }
);

ChatCompletion completion = client.CompleteChat(
    new SystemChatMessage("You are a helpful assistant."),
    new UserChatMessage("What is Azure AI?")
);

Console.WriteLine(completion.Content[0].Text);

Oczekiwane dane wyjściowe:

Azure AI is a comprehensive suite of artificial intelligence services and tools from Microsoft that enables developers to build intelligent applications. It includes services for natural language processing, computer vision, speech recognition, and machine learning capabilities.

Referencja: OpenAI .NET SDK i klasa DefaultAzureCredential.

JavaScript

Zainstaluj zestaw OpenAI SDK za pomocą narzędzia npm:

npm install openai

W przypadku uwierzytelniania identyfikatora Entra firmy Microsoft zainstaluj również następujące elementy:

npm install @azure/identity

Następnie użyj pakietu, aby korzystać z modelu. W poniższym przykładzie pokazano, jak utworzyć klienta do korzystania z uzupełniania czatów z użyciem Microsoft Entra ID, a następnie wykonać testowe wywołanie do punktu końcowego uzupełniania czatów z użyciem wdrożonego modelu.

Zastąp <resource> nazwą zasobu Foundry (znajdź ją w portalu Azure lub uruchamiając az cognitiveservices account list). Zastąp DeepSeek-V3.1 rzeczywistą nazwą wdrożenia.

import { DefaultAzureCredential, getBearerTokenProvider } from "@azure/identity";
import { OpenAI } from "openai";

const tokenProvider = getBearerTokenProvider(
    new DefaultAzureCredential(),
    'https://cognitiveservices.azure.com/.default'
);

const client = new OpenAI({
    baseURL: "https://<resource>.openai.azure.com/openai/v1/",
    apiKey: tokenProvider
});

const completion = await client.chat.completions.create({
    model: "DeepSeek-V3.1", // Required: your deployment name
    messages: [
        { role: "system", content: "You are a helpful assistant." },
        { role: "user", content: "What is Azure AI?" }
    ]
});

console.log(completion.choices[0].message.content);

Oczekiwane dane wyjściowe:

Azure AI is a comprehensive suite of artificial intelligence services and tools from Microsoft that enables developers to build intelligent applications. It includes services for natural language processing, computer vision, speech recognition, and machine learning capabilities.

Dokumentacja: OpenAI Node.js SDK i klasa DefaultAzureCredential.

Java

Dodaj zestaw OpenAI SDK do projektu. Zapoznaj się z repozytorium GitHub OpenAI Java , aby uzyskać najnowsze instrukcje dotyczące wersji i instalacji.

Dodaj również następujące elementy dla uwierzytelniania Microsoft Entra ID:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-identity</artifactId>
    <version>1.18.0</version>
</dependency>

Następnie użyj pakietu, aby korzystać z modelu. W poniższym przykładzie pokazano, jak utworzyć klienta do korzystania z uzupełniania czatów z użyciem Microsoft Entra ID, a następnie wykonać testowe wywołanie do punktu końcowego uzupełniania czatów z użyciem wdrożonego modelu.

Zastąp <resource> nazwą zasobu Foundry (znajdź ją w portalu Azure). Zastąp DeepSeek-V3.1 rzeczywistą nazwą wdrożenia.

import com.openai.client.OpenAIClient;
import com.openai.client.okhttp.OpenAIOkHttpClient;
import com.azure.identity.DefaultAzureCredential;
import com.azure.identity.DefaultAzureCredentialBuilder;
import com.openai.models.chat.completions.*;

DefaultAzureCredential tokenCredential = new DefaultAzureCredentialBuilder().build();

OpenAIClient client = OpenAIOkHttpClient.builder()
    .baseUrl("https://<resource>.openai.azure.com/openai/v1/")
    .credential(BearerTokenCredential.create(
        AuthenticationUtil.getBearerTokenSupplier(
            tokenCredential, 
            "https://cognitiveservices.azure.com/.default"
        )
    ))
    .build();

ChatCompletionCreateParams params = ChatCompletionCreateParams.builder()
    .addSystemMessage("You are a helpful assistant.")
    .addUserMessage("What is Azure AI?")
    .model("DeepSeek-V3.1") // Required: your deployment name
    .build();

ChatCompletion completion = client.chat().completions().create(params);
System.out.println(completion.choices().get(0).message().content());

Oczekiwane dane wyjściowe:

Azure AI is a comprehensive suite of artificial intelligence services and tools from Microsoft that enables developers to build intelligent applications. It includes services for natural language processing, computer vision, speech recognition, and machine learning capabilities.

Odniesienie: Zestaw SDK języka Java OpenAI i klasa DefaultAzureCredential.

REST

Zapoznaj się z projektem interfejsu API w sekcji referencyjnej, aby zobaczyć, które parametry są dostępne. Wskaż token uwierzytelniania w nagłówku Authorization. Na przykład sekcja referencyjna uzupełniania czatu zawiera szczegółowe informacje na temat sposobu używania /chat/completions trasy do generowania przewidywań na podstawie instrukcji sformatowanych na czacie. Ścieżka /models jest zawarta w katalogu głównym adresu URL:

Zażądaj

Zastąp <resource> nazwą zasobu Foundry (znajdź ją w portalu Azure lub uruchamiając az cognitiveservices account list). Zastąp MAI-DS-R1 rzeczywistą nazwą wdrożenia.

Base_url zaakceptuje zarówno formaty, jak https://<resource>.openai.azure.com/openai/v1/ i https://<resource>.services.ai.azure.com/openai/v1/ .

curl -X POST https://<resource>.openai.azure.com/openai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $AZURE_OPENAI_AUTH_TOKEN" \
  -d '{
      "model": "MAI-DS-R1",
      "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "Explain what the bitter lesson is?"
      }
    ]
  }'

Odpowiedź

Jeśli uwierzytelnianie zakończy się pomyślnie, otrzymasz 200 OK odpowiedź z ukończeniem czatu w treści odpowiedzi:

{
  "id": "chatcmpl-...",
  "object": "chat.completion",
  "created": 1738368234,
  "model": "MAI-DS-R1",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "The bitter lesson refers to a key insight in AI research that emphasizes the importance of general-purpose learning methods that leverage computation, rather than human-designed domain-specific approaches. It suggests that methods which scale with increased computation tend to be more effective in the long run."
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 28,
    "completion_tokens": 52,
    "total_tokens": 80
  }
}

Tokeny muszą być wystawiane z zakresem https://cognitiveservices.azure.com/.default.

W celach testowych najprostszym sposobem uzyskania prawidłowego tokenu dla konta użytkownika jest użycie interfejsu wiersza polecenia platformy Azure. W konsoli uruchom następujące polecenie Azure CLI:

az account get-access-token --resource https://cognitiveservices.azure.com --query "accessToken" --output tsv

To polecenie zwraca token dostępu, który można przechowywać w zmiennej środowiskowej $AZURE_OPENAI_AUTH_TOKEN .

Dokumentacja: interfejs API uzupełniania czatów

Treści powiązane

• Modele i możliwości platformy Foundry
• Typy wdrożeń w Modelach Foundry
• Dostępność modeli i regionów dla modeli odlewni
• Co to jest usługa Azure OpenAI w modelach rozwiązania Foundry?