Uaktualnianie modeli usługi GitHub do modeli rozwiązania Azure AI Foundry

Jeśli chcesz opracować aplikację generatywnej sztucznej inteligencji, możesz bezpłatnie znaleźć i eksperymentować z modelami sztucznej inteligencji za pomocą GitHub Models. Użycie placu zabaw i bezpłatnego interfejsu API jest ograniczone przez liczbę żądań na minutę, liczbę żądań na dzień, liczbę tokenów na żądanie oraz liczbę współbieżnych żądań. Jeśli osiągniesz limit liczby żądań, musisz poczekać na jego reset, zanim będziesz mógł wysłać więcej żądań.

Gdy wszystko będzie gotowe do przełączenia aplikacji do środowiska produkcyjnego, możesz uaktualnić środowisko, wdrażając zasób usług Azure AI Services w subskrypcji platformy Azure i rozpoczynając korzystanie z usługi Azure AI Foundry Models. Nie musisz zmieniać niczego innego w kodzie.

W poniższym artykule wyjaśniono, jak rozpocząć pracę z modeli GitHub i wdrożyć zasób usług Azure AI Services za pomocą modeli usługi Azure AI Foundry.

Wymagania wstępne

Do ukończenia tego samouczka potrzebne są następujące elementy:

• Konto usługi GitHub z dostępem do Modeli GitHub.
• Subskrypcja platformy Azure. Jeśli go nie masz, zostanie wyświetlony monit o utworzenie lub zaktualizowanie konta platformy Azure do konta w warstwie Standardowa, gdy wszystko będzie gotowe do wdrożenia modelu w środowisku produkcyjnym.

Uaktualnianie do modeli usługi Azure AI Foundry

Limity szybkości dla środowiska zabaw i bezpłatnego użycia interfejsu API mają ułatwić eksperymentowanie z modelami i opracowywanie aplikacji sztucznej inteligencji. Gdy wszystko będzie gotowe do przeniesienia aplikacji do środowiska produkcyjnego, użyj klucza i punktu końcowego z płatnego konta platformy Azure. Nie musisz zmieniać niczego innego w kodzie.

Aby uzyskać klucz i punkt końcowy:

1. Wejdź na Modele GitHub i wybierz model, który cię interesuje.

2. Na placu zabaw swojego modelu wybierz pozycję Pobierz klucz interfejsu API.

3. Wybierz pozycję Pobierz produkcyjny klucz.

   

4. Jeśli nie masz konta platformy Azure, wybierz pozycję Utwórz moje konto i wykonaj kroki, aby je utworzyć.

5. Jeśli masz konto platformy Azure, wybierz pozycję Zaloguj się ponownie.

6. Jeśli istniejące konto jest bezpłatnym kontem, najpierw musisz przejść na plan Standard. Po uaktualnieniu wróć do środowiska zabaw i ponownie wybierz pozycję Pobierz klucz interfejsu API, a następnie zaloguj się przy użyciu uaktualnionego konta.

7. Po zalogowaniu się do konta platformy Azure przejdź do usługi Azure AI Foundry > GitHub. Załadowanie początkowych szczegółów modelu w rozwiązaniu AI Foundry może potrwać co najmniej dwie minuty.

8. Strona została załadowana z szczegółami Twojego modelu. Wybierz przycisk Wdróż, aby wdrożyć model na koncie.

9. Po wdrożeniu klucz interfejsu API i punkt końcowy modelu są wyświetlane w sekcji Przegląd. Użyj tych wartości w kodzie, aby użyć modelu w środowisku produkcyjnym.

Na tym etapie wybrany model jest gotowy do użycia.

Zaktualizuj kod, aby korzystać z nowego punktu końcowego

Po skonfigurowaniu zasobu usług Azure AI Services możesz rozpocząć korzystanie z niego z poziomu kodu. Aby korzystać z zasobu usług Azure AI Services, potrzebny jest adres URL i klucz punktu końcowego, który jest dostępny w sekcji Przegląd :

Aby uzyskać przewidywania z punktu końcowego, możesz użyć dowolnego z obsługiwanych zestawów SDK. Następujące zestawy SDK są oficjalnie obsługiwane:

• OpenAI SDK
• Azure OpenAI SDK
• SDK wnioskowania Azure AI

Aby uzyskać więcej szczegółów i przykładów, zobacz sekcję Obsługiwane języki i zestawy SDK . W poniższym przykładzie pokazano, jak używać zestawu AZURE AI Foundry Models SDK z nowo wdrożonym modelem:

Pyton

Zainstaluj pakiet azure-ai-inference przy użyciu menedżera pakietów, takiego jak:

pip install azure-ai-inference

Następnie możesz wykorzystać pakiet do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć aplikację kliencką do korzystania z funkcji uzupełniania czatu.

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

client = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZURE_INFERENCE_CREDENTIAL"]),
)

Zapoznaj się z naszymi przykładami i przeczytaj dokumentację referencyjną interfejsu API , aby rozpocząć pracę.

JavaScript

Zainstaluj pakiet @azure-rest/ai-inference przy użyciu narzędzia npm:

npm install @azure-rest/ai-inference

Następnie możesz wykorzystać pakiet do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć aplikację kliencką do korzystania z funkcji uzupełniania czatu.

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZURE_INFERENCE_CREDENTIAL)
);

Zapoznaj się z naszymi przykładami i przeczytaj dokumentację referencyjną interfejsu API , aby rozpocząć pracę.

C#

Zainstaluj bibliotekę wnioskowania usługi Azure AI za pomocą następującego polecenia:

dotnet add package Azure.AI.Inference --prerelease

Zaimportuj następujące przestrzenie nazw:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Następnie możesz wykorzystać pakiet do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć aplikację kliencką do korzystania z funkcji uzupełniania czatu.

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Zapoznaj się z naszymi przykładami i przeczytaj dokumentację referencyjną interfejsu API , aby rozpocząć pracę.

Jawa

Dodaj pakiet do projektu:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Następnie możesz wykorzystać pakiet do korzystania z modelu. W poniższym przykładzie pokazano, jak utworzyć aplikację kliencką do korzystania z funkcji uzupełniania czatu.

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("https://<resource>.services.ai.azure.com/models")
    .buildClient();

Zapoznaj się z naszymi przykładami i przeczytaj dokumentację referencyjną interfejsu API , aby rozpocząć pracę.

ODPOCZYNEK

Skorzystaj z sekcji referencyjnej, aby zapoznać się z projektem interfejsu API i dostępnymi parametrami. Na przykład sekcja referencyjna dotycząca uzupełniania czatu zawiera szczegółowe informacje na temat sposobu używania trasy /chat/completions do generowania przewidywań na podstawie instrukcji sformatowanych na czacie. Zwróć uwagę, że ścieżka /models jest dołączona do korzenia adresu URL.

Zażądaj

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

Wygeneruj pierwsze ukończenie czatu:

Pyton

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.body.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Jawa

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

ODPOCZYNEK

Zażądaj

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Użyj parametru model="<deployment-name> , aby skierować żądanie do tego wdrożenia. Wdrożenia działają jako alias danego modelu w ramach niektórych konfiguracji. Zobacz Stronę koncepcji routingu , aby dowiedzieć się, jak usługi Azure AI Services kierują wdrożenia.

Ważne

Podobnie jak w przypadku modeli usługi GitHub, w których wszystkie modele są już skonfigurowane, zasób usługi Azure AI Services umożliwia kontrolowanie, które modele są dostępne w punkcie końcowym i w ramach której konfiguracji. Dodaj dowolną liczbę modeli, które mają być używane przed wskazaniem ich w parametrze model . Dowiedz się, jak dodać więcej modeli do zasobu.

Eksplorowanie dodatkowych funkcji

Modele usługi Azure AI Foundry obsługują dodatkowe funkcje niedostępne w modelach Usługi GitHub, w tym:

• Zapoznaj się z wykazem modeli, aby wyświetlić dodatkowe modele niedostępne w modelach usługi GitHub.
• Skonfiguruj uwierzytelnianie bez klucza.
• Konfigurowanie filtrowania zawartości.
• Skonfiguruj ograniczanie szybkości (dla określonych modeli).
• Zapoznaj się z dodatkowymi jednostkami SKU wdrożenia (w przypadku określonych modeli).
• Konfigurowanie sieci prywatnej.

Masz problemy?

Zobacz sekcję Często zadawane pytania, aby poznać więcej pomocy.

Dalsze kroki

• Zapoznaj się z wykazem modeli w portalu usługi Azure AI Foundry.
• Dodaj więcej modeli do swojego punktu końcowego.