Upgrade von GitHub-Modellen auf Microsoft Foundry Models

Hinweis

Dieses Dokument bezieht sich auf das Microsoft Foundry(klassische) Portal.

🔍 Zeigen Sie die Microsoft Foundry-Dokumentation (neu) an, um mehr über das neue Portal zu erfahren.

In diesem Artikel erfahren Sie, wie Sie eine generative KI-Anwendung entwickeln, indem Sie mit GitHub-Modellen beginnen und dann Ihre Erfahrung aktualisieren, indem Sie eine Ressource für Foundry Tools mit Microsoft Foundry Models bereitstellen.

GitHub-Modelle sind nützlich, wenn Sie ki-Modelle kostenlos finden und experimentieren möchten, während Sie eine generative KI-Anwendung entwickeln. Wenn Sie bereit sind, Ihre Anwendung in die Produktion zu bringen, aktualisieren Sie Ihre Erfahrung, indem Sie eine Foundry Tools-Ressource in einem Azure-Abonnement bereitstellen und mit der Verwendung von Foundry Models beginnen. Sie brauchen in Ihrem Code nichts weiter zu ändern.

Die Nutzung des Playgrounds und der kostenlosen API für GitHub-Modelle ist durch Anfragen pro Minute, Anfragen pro Tag, Token pro Anfrage und gleichzeitige Anfragen eingeschränkt. Wenn Sie eine Ratenbegrenzung erreichen, müssen Sie warten, bis die erreichte Ratenbegrenzung zurückgesetzt wird, bevor Sie weitere Anforderungen machen können.

Voraussetzungen

Um die Schritte dieses Tutorials abzuschließen, benötigen Sie Folgendes:

• Ein GitHub-Konto mit Zugriff auf GitHub-Modelle.
• Ein Azure-Abonnement mit einer gültigen Zahlungsmethode. Wenn Sie noch kein Azure-Abonnement haben, erstellen Sie zunächst ein kostenpflichtiges Azure-Konto. Alternativ können Sie warten, bis Sie bereit sind, Ihr Modell in der Produktion bereitzustellen. An diesem Punkt werden Sie aufgefordert, Ihr Azure-Konto auf ein Standardkonto zu erstellen oder zu aktualisieren.
• Foundry Models von Partnern und der Community erfordern einen Zugriff auf Azure Marketplace. Stellen Sie sicher, dass Sie über die erforderlichen Berechtigungen zum Abonnieren von Modellangeboten verfügen. Für Foundry Models, die direkt von Azure verkauft werden, besteht diese Anforderung nicht.

Upgrade auf Foundry-Modelle

Die Ratenbeschränkungen für den Playground und die kostenlose API-Nutzung helfen Ihnen, mit Modellen zu experimentieren und Ihre KI-Anwendung zu entwickeln. Wenn Sie bereit sind, Ihre Anwendung in die Produktion zu bringen, verwenden Sie einen Schlüssel und Endpunkt aus einem kostenpflichtigen Azure-Konto. Sie brauchen in Ihrem Code nichts weiter zu ändern.

So rufen Sie den Schlüssel und den Endpunkt ab:

1. Wechseln Sie zu GitHub-Modellen, und wählen Sie ein Modell aus, um in seinem Playground zu landen. In diesem Artikel wird Mistral Large 24.11 verwendet.

2. Geben Sie einige Eingabeaufforderungen ein, oder verwenden Sie einige der vorgeschlagenen Eingabeaufforderungen, um mit dem Modell im Playground zu interagieren.

3. Wählen Sie im Playground „Dieses Modell verwenden“ aus. Diese Aktion öffnet ein Fenster mit "Erste Schritte mit Modellen in Ihrer Codebasis".

4. Wählen Sie im Schritt "Authentifizierung konfigurieren" den Azure AI-Schlüssel aus dem Abschnitt "Azure AI" aus.

   

5. Wenn Sie bereits bei Ihrem Azure-Konto angemeldet sind, überspringen Sie diesen Schritt. Wenn Sie jedoch nicht über ein Azure-Konto verfügen oder nicht bei Ihrem Konto angemeldet sind, führen Sie die folgenden Schritte aus:

   1. Wenn Sie nicht über ein Azure-Konto verfügen, wählen Sie "Mein Konto erstellen " aus, und führen Sie die Schritte zum Erstellen eines Kontos aus.

   2. Wenn Sie über ein Azure-Konto verfügen, wählen Sie alternativ "Wieder anmelden" aus. Wenn Ihr vorhandenes Konto ein kostenloses Konto ist, müssen Sie zuerst ein Upgrade auf einen Standardplan durchführen.

   3. Kehren Sie zum Spielplatz des Modells zurück, und wählen Sie erneut Azure AI-Schlüssel abrufen aus.

   4. Melden Sie sich bei Ihrem Azure-Konto an.

6. Sie gelangen zu Foundry > GitHub, und die Seite wird mit den Details Ihres Modells geladen. Es kann ein oder zwei Minuten dauern, bis Die Modelldetails in Foundry geladen werden.

7. Für Foundry Models von Partnern und Communitys müssen Sie den Azure Marketplace abonnieren. Diese Anforderung gilt beispielsweise für Mistral-Large-2411. Wählen Sie "Zustimmen" aus, und fahren Sie mit der Annahme der Bedingungen fort.

8. Wählen Sie die Schaltfläche Bereitstellen aus, um das Modell für Ihr Konto bereitzustellen.

9. Wenn Ihre Bereitstellung bereit ist, landen Sie auf der Seite "Übersicht" Ihres Projekts, auf der Sie den Endpunkt des Foundry-Projekts sehen können.

10. Um die Endpunkt-URL und den API-Schlüssel des jeweiligen Modells abzurufen, wechseln Sie im linken Bereich des Foundry-Portals zur Registerkarte "Modelle + Endpunkte ", und wählen Sie das bereitgestellte Modell aus. Der Ziel-URI und der API-Schlüssel des Endpunkts sind auf der Detailseite der Bereitstellung sichtbar. Verwenden Sie diese Werte in Ihrem Code, um das Modell in Ihrer Produktionsumgebung zu verwenden.

    

Verwenden des neuen Endpunkts

Um Ihr bereitgestelltes Modell mit Code zu verwenden, benötigen Sie die Endpunkt-URL und den Schlüssel des Modells, die Sie im vorherigen Abschnitt gesehen haben. Sie können alle unterstützten SDKs verwenden, um Vorhersagen vom Endpunkt abzurufen. Die folgenden SDKs werden offiziell unterstützt:

• OpenAI SDK
• Azure OpenAI SDK
• Azure KI-Rückschluss-SDK

Weitere Details und Beispiele finden Sie unter unterstützten Sprachen und SDKs. Das folgende Beispiel zeigt, wie Sie das Azure AI Inference SDK mit dem neu bereitgestellten Modell verwenden:

Python

Installieren Sie das Paket azure-ai-inference mit Ihrem Paket-Manager, z. B. pip:

pip install azure-ai-inference

Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:

import os
from azure.ai.inference import ChatCompletionsClient
from azure.core.credentials import AzureKeyCredential

client = ChatCompletionsClient(
    endpoint="https://<resource>.services.ai.azure.com/models",
    credential=AzureKeyCredential(os.environ["AZURE_INFERENCE_CREDENTIAL"]),
)

Erkunden Sie unsere Beispiele,und lesen Sie die API-Referenzdokumentation für die ersten Schritte.

JavaScript

Installieren Sie das Paket @azure-rest/ai-inference mithilfe von npm:

npm install @azure-rest/ai-inference

Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:

import ModelClient from "@azure-rest/ai-inference";
import { isUnexpected } from "@azure-rest/ai-inference";
import { AzureKeyCredential } from "@azure/core-auth";

const client = new ModelClient(
    "https://<resource>.services.ai.azure.com/models", 
    new AzureKeyCredential(process.env.AZURE_INFERENCE_CREDENTIAL)
);

Erkunden Sie unsere Beispiele,und lesen Sie die API-Referenzdokumentation für die ersten Schritte.

C#

Installieren Sie die Azure KI-Rückschlussbibliothek mit dem folgenden Befehl:

dotnet add package Azure.AI.Inference --prerelease

Importieren Sie die folgenden Namespaces:

using Azure;
using Azure.Identity;
using Azure.AI.Inference;

Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:

ChatCompletionsClient client = new ChatCompletionsClient(
    new Uri("https://<resource>.services.ai.azure.com/models"),
    new AzureKeyCredential(Environment.GetEnvironmentVariable("AZURE_INFERENCE_CREDENTIAL"))
);

Erkunden Sie unsere Beispiele,und lesen Sie die API-Referenzdokumentation für die ersten Schritte.

Java

Fügen Sie Ihrem Projekt das Paket hinzu:

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-ai-inference</artifactId>
    <version>1.0.0-beta.1</version>
</dependency>

Anschließend können Sie das Paket verwenden, um das Modell zu nutzen. Das folgende Beispiel zeigt, wie Sie einen Client erstellen, um Chatvervollständigungen zu nutzen:

ChatCompletionsClient client = new ChatCompletionsClientBuilder()
    .credential(new AzureKeyCredential("{key}"))
    .endpoint("https://<resource>.services.ai.azure.com/models")
    .buildClient();

Erkunden Sie unsere Beispiele,und lesen Sie die API-Referenzdokumentation für die ersten Schritte.

PAUSE

Im Referenzabschnitt finden Sie Informationen zum API-Entwurf und zu den verfügbaren Parametern. Beispiel: Im Referenzabschnitt für Chatvervollständigungen wird erläutert, wie Sie die Route /chat/completions zum Generieren von Vorhersagen basierend auf Anweisungen im Chatformat verwenden. Beachten Sie, dass der Pfad /models in den Stamm der URL eingeschlossen ist:

Anforderung

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

Generieren Sie Ihren ersten Chatabschluss:

Python

from azure.ai.inference.models import SystemMessage, UserMessage

response = client.complete(
    messages=[
        SystemMessage(content="You are a helpful assistant."),
        UserMessage(content="Explain Riemann's conjecture in 1 paragraph"),
    ],
    model="mistral-large"
)

print(response.choices[0].message.content)

JavaScript

var messages = [
    { role: "system", content: "You are a helpful assistant" },
    { role: "user", content: "Explain Riemann's conjecture in 1 paragraph" },
];

var response = await client.path("/chat/completions").post({
    body: {
        messages: messages,
        model: "mistral-large"
    }
});

console.log(response.body.choices[0].message.content)

C#

requestOptions = new ChatCompletionsOptions()
{
    Messages = {
        new ChatRequestSystemMessage("You are a helpful assistant."),
        new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph")
    },
    Model = "mistral-large"
};

response = client.Complete(requestOptions);
Console.WriteLine($"Response: {response.Value.Content}");

Java

List<ChatRequestMessage> chatMessages = new ArrayList<>();
chatMessages.add(new ChatRequestSystemMessage("You are a helpful assistant"));
chatMessages.add(new ChatRequestUserMessage("Explain Riemann's conjecture in 1 paragraph"));

ChatCompletions chatCompletions = client.complete(new ChatCompletionsOptions(chatMessages));

for (ChatChoice choice : chatCompletions.getChoices()) {
    ChatResponseMessage message = choice.getMessage();
    System.out.println("Response:" + message.getContent());
}

PAUSE

Anforderung

POST https://<resource>.services.ai.azure.com/models/chat/completions?api-version=2024-05-01-preview
api-key: <api-key>
Content-Type: application/json

{
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant"
        },
        {
            "role": "user",
            "content": "Explain Riemann's conjecture in 1 paragraph"
        }
    ],
    "model": "mistral-large"
}

Verwenden Sie den Parameter model="<deployment-name>, um Ihre Anforderung an diese Bereitstellung weiterzuleiten. Bereitstellungen funktionieren als Alias eines gegebenen Modells unter bestimmten Konfigurationen.

Von Bedeutung

Im Gegensatz zu GitHub-Modellen, bei denen alle Modelle bereits konfiguriert sind, können Sie mit der Ressource "Foundry Tools" steuern, welche Modelle in Ihrem Endpunkt und unter welcher Konfiguration verfügbar sind. Fügen Sie so viele Modelle hinzu, wie Sie verwenden möchten, bevor Sie sie im model-Parameter angeben. Erfahren Sie, wie Sie Ihrer Ressource weitere Modelle hinzufügen.

Erkunden Sie zusätzliche Funktionen

Foundry Models unterstützt zusätzliche Features, die in GitHub-Modellen nicht verfügbar sind, einschließlich:

• Erkunden Sie den Modellkatalog, um mehr Modelle zu sehen.
• Konfigurieren der schlüssellosen Authentifizierung.
• Konfigurieren Sie die Inhaltsfilterung.
• Konfigurieren Sie die Ratebegrenzung für bestimmte Modelle.
• Erkunden Sie zusätzliche Bereitstellungs-SKUs für bestimmte Modelle.
• Konfigurieren Sie ein privates Netzwerk.

Problembehandlung

Weitere Hilfe finden Sie im Abschnitt "Häufig gestellte Fragen".

Verwandte Inhalte

• Erkunden Sie den Modellkatalog im Foundry-Portal.
• Fügen Sie Ihrem Endpunkt weitere Modelle hinzu.