Freigeben über

Bereitstellen kleiner Sprachmodelle der Phi-3-Familie mit Azure KI Studio

  • Artikel

Wichtig

Einige der in diesem Artikel beschriebenen Features sind möglicherweise nur in der Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.

In diesem Artikel erfahren Sie mehr über die Phi-3-Familie kleiner Sprachmodelle (Small Language Models, SLMs). Sie erfahren außerdem, wie Sie Azure KI Studio zum Bereitstellen von Modellen aus dieser Familie als serverlose APIs mit tokenbasierter Abrechnung mit nutzungsbasierter Bezahlung verwenden.

Die Phi-3-Familie von SLMs ist eine Sammlung von generativen Textmodellen mit Anleitungen. Phi-3-Modelle sind die fähigsten und kostengünstigsten kleinen Sprachmodelle (SLMs), die derzeit verfügbar sind. Sie weisen für verschiedene Benchmarks für Sprache, Begründung, Codierung und Mathematik eine höhere Leistung auf als andere Modelle derselben und der nächsten Größe.

Modellfamilie Phi-3

Phi-3 Mini ist ein offenes Modell mit 3.8B-Parametern, das auf den für Phi-2 verwendeten Datensätzen – synthetische Daten und gefilterte Websites – aufbaut und sich auf qualitativ hochwertige, aussagekräftige Daten konzentriert. Das Modell gehört zur Phi-3-Modellfamilie, und die Mini-Version gibt es in zwei Varianten, 4K und 128K, d. h. die Kontextlänge (in Token), die das Modell unterstützen kann.

Das Modell wurde einem strengen Verbesserungsprozess unterzogen, der sowohl eine überwachte Feinabstimmung als auch eine direkte Präferenzoptimierung umfasste, um eine präzise Einhaltung der Anweisungen und robuste Sicherheitsmaßnahmen zu gewährleisten. Bei der Bewertung anhand von Benchmarks, die den gesunden Menschenverstand, das Sprachverständnis, Mathematik, Code, lange Zusammenhänge und logisches Denken testen, zeigten Phi-3 Mini-4K-Instruct und Phi-3 Mini-128K-Instruct eine robuste und hochmoderne Leistung bei Modellen mit weniger als 13 Milliarden Parametern.

Bereitstellen von Phi-3-Modellen als serverlose APIs

Bestimmte Modelle im Modellkatalog können als serverlose API mit Abrechnung mit nutzungsbasierter Bezahlung bereitgestellt werden. Diese Art von Bereitstellung bietet eine Möglichkeit, Modelle als API zu nutzen, ohne sie in Ihrem Abonnement zu hosten, während die Unternehmenssicherheit und Compliance beibehalten werden, die Organisationen benötigen. Für diese Bereitstellungsoption ist kein Kontingent aus Ihrem Abonnement erforderlich.

Voraussetzungen

  • Ein Azure-Abonnement mit einer gültigen Zahlungsmethode. Kostenlose Versionen oder Testversionen von Azure-Abonnements funktionieren nicht. Wenn Sie noch kein Azure-Abonnement haben, erstellen Sie zunächst ein kostenpflichtiges Azure-Konto.

  • Ein Azure KI Studio-Hub.

    Wichtig

    Für Modelle der Phi-3-Familie ist das Angebot für die Modellimplementierung als serverlose API nur mit Hubs verfügbar, die in den Regionen USA, Osten 2 und Schweden, Mitte erstellt wurden.

  • Ein Azure KI Studio-Projekt.

  • Die rollenbasierten Zugriffssteuerungen in Azure (Azure RBAC) werden verwendet, um Zugriff auf Vorgänge in Azure KI Studio zuzuweisen. Um die Schritte in diesem Artikel auszuführen, muss Ihrem Benutzerkonto die Azure KI-Entwicklerrolle in der Ressourcengruppe zugewiesen sein. Weitere Informationen zu Berechtigungen finden Sie unter Rollenbasierte Zugriffssteuerung in Azure KI Studio.

Erstellen einer neuen Bereitstellung

So erstellen Sie eine Bereitstellung

  1. Melden Sie sich beim Azure KI Studio an.

  2. Wählen Sie Modellkatalog auf der linken Randleiste aus.

  3. Suchen Sie nach dem Modell, das Sie einsetzen möchten, und wählen Sie es aus, z. B. Phi-3-mini-4k-Instruct, um die Detailseite zu öffnen.

  4. Klicken Sie auf Bereitstellen.

  5. Wählen Sie die Option Serverlose API aus, um das Fenster für die Bereitstellung als serverlose API für das Modell zu öffnen.

  6. Alternativ können Sie eine Bereitstellung initiieren, indem Sie von Ihrem Projekt in KI Studio aus starten.

    1. Wählen Sie auf der linken Randleiste des Projekts Komponenten>Bereitstellungen aus.
    2. Klicken Sie auf + Bereitstellung erstellen.
    3. Suchen Sie nach Phi-3-mini-4k-Instruct, und wählen Sie es aus, um die Detailseite des Modells zu öffnen.
    4. Klicken Sie auf Bestätigen, und wählen Sie die Option Serverlose API aus, um das Fenster für die Bereitstellung als serverlose API für das Modell zu öffnen.

  7. Wählen Sie das Projekt, in dem Sie Ihr Modell bereitstellen möchten. Um das Phi-3-Modell bereitzustellen, muss sich Ihr Projekt in den Regionen USA, Osten 2 oder Schweden, Mitte befinden.

  8. Wählen Sie die Registerkarte Preise und Geschäftsbedingungen aus, um mehr über die Preise für das ausgewählte Modell zu erfahren.

  9. Geben Sie der Bereitstellung einen Namen. Dieser Name wird Teil der Bereitstellungs-API-URL. Diese URL muss in jeder Azure-Region eindeutig sein.

  10. Klicken Sie auf Bereitstellen. Warten Sie, bis die Bereitstellung fertig ist und Sie auf die Seite Bereitstellungen weitergeleitet werden. Dieser Schritt erfordert, dass Ihr Konto über die Azure KI-Entwicklerrolle für die Ressourcengruppe verfügt, wie in den Voraussetzungen aufgeführt.

  11. Wählen Sie Im Playground öffnen aus, um mit der Interaktion mit dem Modell zu beginnen.

  12. Kehren Sie zur Seite „Bereitstellungen“ zurück, wählen Sie die Bereitstellung aus, und notieren Sie die Ziel-URL des Endpunkts und den geheimen Schlüssel, mit dem Sie die Bereitstellung aufrufen und Abschlüsse generieren können. Weitere Informationen zur Verwendung der APIs finden Sie unter Referenz: Chatvervollständigungen.

  13. Sie können die Details, URL und Zugriffsschlüssel für den Endpunkt jederzeit abrufen, indem Sie zu Ihrer Seite Projektübersicht navigieren. Wählen Sie dann auf der linken Randleiste des Projekts Komponenten>Bereitstellungen aus.

Nutzen von Phi-3-Modellen als Dienst

Modelle, die als serverlose APIs bereitgestellt werden, können mithilfe der Chat-API genutzt werden, abhängig vom bereitgestellten Modelltyp.

  1. Navigieren Sie auf der Seite Projektübersicht zur linken Randleiste, und wählen Sie Komponenten>Bereitstellungen aus.

  2. Suchen Sie die von Ihnen erstellte Bereitstellung, und wählen Sie sie aus.

  3. Kopieren Sie die Ziel-URL und den Schlüsselwert.

  4. Machen Sie eine API-Anforderung über die /v1/chat/completions-API mithilfe von <target_url>/v1/chat/completions. Weitere Informationen zur Verwendung der APIs finden Sie unter Referenz: Chatvervollständigungen.

Kosten und Kontingente

Überlegungen zu Kosten und Kontingenten für Phi-3-Modelle, die als serverlose APIs bereitgestellt werden

Sie finden die Preisinformationen auf der Registerkarte Preise und Bedingungen des Bereitstellungs-Assistenten, wenn Sie das Modell bereitstellen.

Das Kontingent wird pro Bereitstellung verwaltet. Jede Bereitstellung hat eine Rate von 200.000 Token pro Minute und 1.000 API-Anforderungen pro Minute. Derzeit wird jedoch eine Bereitstellung pro Modell und Projekt beschränkt. Wenden Sie sich an den Microsoft Azure-Support, wenn die aktuellen Ratenbegrenzungen für Ihre Szenarien nicht ausreichen.

Zugehöriger Inhalt