Teilen über

Optimieren von Meta Llama-Modellen in Azure KI Studio

  • Artikel

Wichtig

Einige der in diesem Artikel beschriebenen Features sind möglicherweise nur in der Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Zusätzliche Nutzungsbestimmungen für Microsoft Azure-Vorschauen.

Mit Azure KI Studio können Sie große Sprachmodelle mit einem Prozess für Ihre persönlichen Datasets anpassen, der als Optimierung bezeichnet wird.

Optimierung bietet einen erheblichen Nutzen, da Anpassung und Optimierung für bestimmte Aufgaben und Anwendungen ermöglicht werden. Dies führt zu einer verbesserten Leistung, Kosteneffizienz, geringerer Latenz und maßgeschneiderten Ausgaben.

In diesem Artikel erfahren Sie, wie Sie Meta Llama-Modelle in Azure KI Studio optimieren.

Die Meta Llama-Familie großer Sprachmodelle (Large Language Models, LLMs) ist eine Sammlung von vortrainierten und optimierten generativen Textmodellen mit 7 Milliarden bis 70 Milliarden Parametern. Die Modellfamilie enthält außerdem optimierte Versionen, die für Dialoganwendungsfälle mit Reinforcement Learning from Human Feedback (RLHF), genannt Llama-2-Chat, optimiert sind.

Modelle

Das Optimieren von Llama 3-Modellen wird derzeit nicht unterstützt.

Voraussetzungen

Das Optimieren von Llama 3-Modellen wird derzeit nicht unterstützt.

Registrierung des Abonnementanbieters

Überprüfen Sie, ob das Abonnement beim Microsoft.Network-Ressourcenanbieter registriert ist.

  1. Melden Sie sich beim Azure-Portal an.

  2. Wählen Sie im linken Menü die Option Abonnements aus.

  3. Wählen Sie das Abonnement aus, das Sie verwenden möchten.

  4. Wählen Sie im linken Menü Einstellungen>Ressourcenanbieter aus.

  5. Vergewissern Sie sich, dass Microsoft.Network in der Liste der Ressourcenanbieter enthalten ist. Fügen Sie ihn andernfalls hinzu.

    Screenshot der Abonnementressourcenanbieter im Azure-Portal.

Datenaufbereitung

Bereiten Sie Ihre Trainings- und Validierungsdaten vor, um das Modell zu optimieren. Ihre Trainings- und Validierungsdatasets bestehen aus Ein- und Ausgabebeispielen für das gewünschte Verhalten des Modells.

Stellen Sie sicher, dass alle Trainingsbeispiele das erwartete Format für Rückschlüsse haben. Für die effektive Optimierung von Modellen ist ein ausgewogenes und vielfältiges Dataset erforderlich.

Dazu gehören die Aufrechterhaltung des Datengleichgewichts, die Einbeziehung verschiedener Szenarien und das regelmäßige Optimieren von Trainingsdaten zur Ausrichtung an realen Erwartungen, was letztendlich zu genaueren und ausgewogeneren Modellantworten führt.

Für verschiedene Modelltypen ist ein anderes Format von Trainingsdaten erforderlich.

Die Trainings- und Validierungsdaten, die Sie verwenden, müssen als JSON Lines (JSONL)-Dokument formatiert werden. Für Llama-3-80B-chat muss das Optimierungs-Dataset im Konversationsformat formatiert werden, das von der Chatvervollständigungs-API verwendet wird.

Beispieldateiformat

    {"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Is Xbox better than PlayStation?"}, {"role": "assistant", "content": "I apologize, but I cannot provide personal opinions. My primary job is to assist you with any issues related to your Xbox device. Do you have any Xbox-related issues that need addressing?"}]}
    {"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "Can I play PC games on my Xbox?"}, {"role": "assistant", "content": "While Xbox consoles don't natively support PC games, they can play an array of Xbox games, many of which are also available on PC. Can I assist you with finding games compatible with your Xbox device?"}]}
    {"messages": [{"role": "system", "content": "You are an Xbox customer support agent whose primary goal is to help users with issues they are experiencing with their Xbox devices. You are friendly and concise. You only provide factual answers to queries, and do not provide answers that are not related to Xbox."}, {"role": "user", "content": "I'm having trouble connecting my Xbox to the Wi-Fi."}, {"role": "assistant", "content": "No worries, let's go through the network settings on your Xbox. Can you please tell me what happens when you try to connect it to the Wi-Fi?"}]}

Der unterstützte Dateityp ist JSON-Zeilen. Dateien werden in den Standarddatenspeicher hochgeladen und in Ihrem Projekt verfügbar gemacht.

Optimieren eines Meta Llama-Modells

Das Optimieren von Llama 3-Modellen wird derzeit nicht unterstützt.

Bereinigen der optimierten Modelle

Sie können ein optimiertes Modell aus der Optimierungsmodellliste in Azure KI Studio oder auf der Modelldetailseite löschen. Wählen Sie auf der Seite „Optimierung“ das optimierte Modell aus, das Sie löschen möchten, und wählen Sie dann die Schaltfläche „Löschen“ aus, um das optimierte Modell zu löschen.

Hinweis

Sie können kein benutzerdefiniertes Modell löschen, für das eine Bereitstellung vorhanden ist. Sie müssen zunächst die Modellimplementierung löschen, bevor Sie Ihr benutzerdefiniertes Modell löschen können.

Kosten und Kontingente

Kosten- und Kontingentüberlegungen zu Meta Llama-Modellen, die als Dienst optimiert werden

Meta Llama-Modelle, die als Dienst optimiert werden, werden von Meta über den Azure Marketplace angeboten und zur Verwendung in Azure KI Studio integriert. Die Azure Marketplace-Preise werden bei der Bereitstellung oder bei der Optimierung der Modelle angezeigt.

Jedes Mal, wenn ein Projekt ein bestimmtes Angebot aus dem Azure Marketplace abonniert, wird eine neue Ressource erstellt, um die mit der Nutzung verbundenen Kosten nachzuverfolgen. Die gleiche Ressource wird zum Nachverfolgen der Kosten im Zusammenhang mit Rückschluss und Optimierung verwendet. Es stehen jedoch mehrere Verbrauchseinheiten zur Verfügung, um die einzelnen Szenarien unabhängig voneinander nachzuverfolgen.

Weitere Informationen zum Nachverfolgen von Kosten finden Sie unter Überwachen der Kosten für Modelle, die über den Azure Marketplace angeboten werden.

Inhaltsfilterung

Modelle, die als Dienst mit Abrechnung mit nutzungsbasierter Bezahlung bereitgestellt werden, werden durch Azure KI Inhaltssicherheit geschützt. Bei der Bereitstellung auf Echtzeitendpunkten können Sie diese Funktion deaktivieren. Wenn Azure KI Inhaltssicherheit aktiviert ist, durchlaufen sowohl Prompt als auch Vervollständigung ein Ensemble von Klassifizierungsmodellen, das darauf abzielt, die Ausgabe schädlicher Inhalte zu erkennen und zu verhindern. Das Inhaltsfiltersystem erkennt bestimmte Kategorien potenziell schädlicher Inhalte sowohl in Eingabeeingabeaufforderungen als auch in Ausgabeabschlüssen und ergreift entsprechende Maßnahmen. Erfahren Sie mehr über Azure KI Inhaltssicherheit.

Nächste Schritte