Bereitstellen von Microsoft Foundry Models im Foundry-Portal

Hinweis

Dieses Dokument bezieht sich auf das Microsoft Foundry(klassische) Portal.

🔄 Wechseln Sie zur Microsoft Foundry-Dokumentation (neu), wenn Sie das neue Portal verwenden.

In diesem Artikel erfahren Sie, wie Sie das Foundry-Portal verwenden, um ein Foundry-Modell in einer Foundry-Ressource zur Verwendung bei der Durchführung von Ableitungsaufgaben bereitzustellen. Foundry-Modelle umfassen Modelle wie die Azure-OpenAI-Modelle, die Meta-Llama-Modelle und vieles mehr. Nachdem Sie ein Foundry-Modell bereitgestellt haben, können Sie mit dem Foundry Playground interagieren und es mithilfe von Code ableiten.

In diesem Artikel wird ein Foundry-Modell von Partnern und Gemeinschaften Llama-3.2-90B-Vision-Instruct zur Veranschaulichung verwendet. Modelle von Partnern und Community erfordern, dass Sie Azure Marketplace vor der Bereitstellung abonnieren. Auf der anderen Seite unterliegen Foundry-Modelle, die direkt von Azure verkauft werden, wie etwa Azure Open AI, nicht dieser Anforderung. Weitere Informationen zu Foundry Models, einschließlich der Regionen, in denen sie für die Bereitstellung verfügbar sind, finden Sie unter Foundry Models, die direkt von Azure und Foundry Models von Partnern und Communitys verkauft werden.

Voraussetzungen

Damit Sie die Anweisungen in diesem Artikel ausführen können, benötigen Sie Folgendes:

• Ein Azure-Abonnement mit einer gültigen Zahlungsmethode. Wenn Sie noch kein Azure-Abonnement haben, erstellen Sie zunächst ein kostenpflichtiges Azure-Konto. Wenn Sie GitHub-Modelle verwenden, können Sie ein Upgrade auf Foundry Models durchführen und ein Azure-Abonnement im Prozess erstellen.

• Zugriff auf Microsoft Foundry mit entsprechenden Berechtigungen zum Erstellen und Verwalten von Ressourcen.

• Ein Microsoft Foundry-Projekt. Diese Art von Projekt wird unter einer Foundry-Ressource verwaltet.

• Foundry Models von Partnern und der Community erfordern Zugriff auf Azure Marketplace, um Abonnements zu erstellen. Stellen Sie sicher, dass Sie über die erforderlichen Berechtigungen zum Abonnieren von Modellangeboten verfügen. Für Foundry Models, die direkt von Azure verkauft werden, besteht diese Anforderung nicht.

Bereitstellen eines Modells

Stellen Sie ein Modell bereit, indem Sie die folgenden Schritte im Foundry-Portal ausführen:

1. Melden Sie sich bei Microsoft Foundry an. Stellen Sie sicher, dass der Umschalter "Neue Gießerei " deaktiviert ist. Diese Schritte beziehen sich auf Foundry (klassisch).

   

2. Wechseln Sie zum Abschnitt "Modellkatalog " im Foundry-Portal.

3. Wählen Sie ein Modell aus, und überprüfen Sie dessen Details auf der Modellkarte. In diesem Artikel wird zur Veranschaulichung verwendet Llama-3.2-90B-Vision-Instruct .

4. Wählen Sie "Dieses Modell verwenden" aus.

5. Für Foundry Models von Partnern und Communitys müssen Sie den Azure Marketplace abonnieren. Diese Anforderung gilt z. B. für Llama-3.2-90B-Vision-Instruct. Lesen Sie die Nutzungsbedingungen, und wählen Sie "Zustimmen" aus, und gehen Sie fort, um die Bedingungen zu akzeptieren.

   Hinweis

   Für Foundry Models, die direkt von Azure verkauft werden, z. B. das Azure OpenAI-Modell gpt-4o-mini, abonnieren Sie azure Marketplace nicht.

6. Konfigurieren Sie die Bereitstellungseinstellungen. Standardmäßig empfängt die Bereitstellung den Namen des Modells, das Sie bereitstellen, aber Sie können den Namen nach Bedarf ändern, bevor Sie das Modell bereitstellen. Später während des Rückschlusses wird der Bereitstellungsname im model-Parameter verwendet, um Anforderungen an diese bestimmte Modellbereitstellung weiterzuleiten. Mit dieser Konvention können Sie bestimmte Namen für Ihre Modellbereitstellungen konfigurieren.

   Tipp

   Jedes Modell unterstützt unterschiedliche Bereitstellungstypen und stellt unterschiedliche Datenhaltungs- oder Durchsatzgarantien bereit. Weitere Details finden Sie unter Bereitstellungstypen. In diesem Beispiel unterstützt das Modell den Global Standard-Bereitstellungstyp.

7. Das Foundry-Portal wählt automatisch die dem Projekt zugeordnete Foundry-Ressource als verbundene KI-Ressource aus. Wählen Sie "Anpassen" aus, um die Verbindung bei Bedarf zu ändern. Wenn Sie die Bereitstellung unter dem Serverless-API-Bereitstellungstyp durchführen, muss sich das Projekt und die Ressource in einer der unterstützten Bereitstellungsregionen für das Modell befinden.

   

8. Klicken Sie auf Bereitstellen. Die Bereitstellungsdetailseite des Modells öffnet sich, während die Bereitstellung erstellt wird.

9. Nach Abschluss der Bereitstellung ist das Modell einsatzbereit. Sie können auch die Foundry Playgrounds verwenden, um das Modell interaktiv zu testen.

Verwalten von Modellen

Sie können die vorhandenen Modellbereitstellungen in der Ressource mithilfe des Foundry-Portals verwalten.

1. Wechseln Sie zum Abschnitt "Modelle + Endpunkte " im Foundry-Portal.

2. Das Portal gruppiert und zeigt Modellbereitstellungen pro Ressource an. Wählen Sie die Modellbereitstellung Llama-3.2-90B-Vision-Instruct im Abschnitt für Ihre Foundry-Ressource aus. Diese Aktion öffnet die Bereitstellungsseite des Modells.

   

Testen der Bereitstellung im Playground

Mithilfe des Playgrounds können Sie mit dem neuen Modell im Foundry-Portal interagieren. Der Playground ist eine webbasierte Schnittstelle, über die Sie in Echtzeit mit dem Modell interagieren können. Verwenden Sie den Playground, um das Modell mit unterschiedlichen Prompts zu testen und die Antworten des Modells anzuzeigen.

1. Wählen Sie auf der Bereitstellungsseite des Modells " Im Playground öffnen" aus. Diese Aktion öffnet den Chat-Playground mit dem Namen der bereits ausgewählten Implementierung.

   

2. Geben Sie Ihren Prompt ein und sehen Sie sich die Ergebnisse an.

3. Verwenden Sie "Code anzeigen" , um Details zum programmgesteuerten Zugriff auf die Modellbereitstellung anzuzeigen.

Ableiten des Modells mit Code

Informationen zum Ableiten des bereitgestellten Modells mit Codebeispielen finden Sie in den folgenden Beispielen:

• Informationen zum Verwenden der Antwort-API mit foundry Models, die direkt von Azure verkauft werden, z. B. Microsoft AI-, DeepSeek- und Grok-Modelle, finden Sie unter How to generate text responses with Microsoft Foundry Models.

• Informationen zur Verwendung der Antwort-API mit OpenAI-Modellen finden Sie unter "Erste Schritte mit der Antwort-API".

• Informationen zur Verwendung der Chatabschluss-API mit Modellen, die von Partnern verkauft werden, z. B. das in diesem Artikel bereitgestellte Llama-Modell, finden Sie unter Modellunterstützung für Chatabschlusse.

Regionale Verfügbarkeits- und Kontingentbeschränkungen eines Modells

Bei Foundry Models variiert das Standardkontingent je nach Modell und Region. Bestimmte Modelle sind möglicherweise nur in einigen Regionen verfügbar. Weitere Informationen zu Verfügbarkeits- und Kontingentbeschränkungen finden Sie unter Azure OpenAI in Microsoft Foundry Models-Kontingente und -Grenzwerte sowie Microsoft Foundry Models-Kontingente und -Grenzwerte.

Kontingent für die Bereitstellung und Ableitung eines Modells

Für Foundry Models werden Verbrauchskontingente bereitgestellt und rückgeschlossen, die Azure Ihrem Abonnement pro Region, pro Modell in Einheiten von Token pro Minute (TPM) zuweist. Wenn Sie sich für Foundry registrieren, erhalten Sie das Standardkontingent für die meisten verfügbaren Modelle. Anschließend weisen Sie jeder Bereitstellung TPM zu, während Sie sie erstellen, wodurch das verfügbare Kontingent für dieses Modell reduziert wird. Sie können weiterhin Bereitstellungen erstellen und ihnen TPM zuweisen, bis Sie Ihr Kontingentlimit erreicht haben.

Wenn Sie die Kontingentgrenze erreichen, können Sie nur neue Bereitstellungen dieses Modells erstellen, wenn Sie:

• Mehr Kontingent anfordern, indem Sie ein Formular zur Erhöhung des Kontingents übermitteln.
• Passen Sie das zugewiesene Kontingent für andere Modellbereitstellungen im Foundry-Portal an, um Token für neue Bereitstellungen freizugeben.

Weitere Informationen zum Kontingent finden Sie unter Microsoft Foundry Models-Kontingente und -Grenzwerte und Verwalten des Azure OpenAI-Kontingents.

Verwandte Inhalte

• Generieren von Textantworten mit Microsoft Foundry Models
• Von Azure OpenAI unterstützte Programmiersprachen