Het hulpprogramma Model LLM openen

Artikel
03/10/2024

Met het hulpprogramma Open Model LLM kunt u verschillende Open Model- en Foundational Models, zoals Falcon en Llama 2, gebruiken voor verwerking van natuurlijke taal in Azure Machine Learning-promptstroom.

U ziet er als volgt uit in actie in de visual Studio Code-promptstroomextensie. In dit voorbeeld wordt het hulpprogramma gebruikt om een LlaMa-2-chateindpunt aan te roepen en te vragen 'Wat is CI?'.

Dit hulpprogramma voor promptstroom ondersteunt twee verschillende LLM-API-typen:

Chat: weergegeven in het voorgaande voorbeeld. Het type chat-API vereenvoudigt interactieve gesprekken met op tekst gebaseerde invoer en antwoorden.
Voltooiing: Het type voltooiings-API wordt gebruikt om voltooiingen met één antwoordtekst te genereren op basis van opgegeven promptinvoer.

Snel overzicht: Hoe kan ik het hulpprogramma Open Model LLM gebruiken?

Kies een model in de Azure Machine Learning-modelcatalogus en zorg ervoor dat het wordt geïmplementeerd.
Verbinding maken naar de modelimplementatie.
Configureer de instellingen van het geopende model-llm-hulpprogramma.
Bereid de prompt voor.
De stroom uitvoeren

Vereisten: Modelimplementatie

Kies het model dat overeenkomt met uw scenario in de Azure Machine Learning-modelcatalogus.
Gebruik de knop Implementeren om het model te implementeren op een online deductie-eindpunt van Azure Machine Learning.
- Gebruik een van de implementatieopties betalen per gebruik.

Zie Basismodellen implementeren voor eindpunten voor deductie voor meer informatie.

Vereisten: Verbinding maken voor het model

Als u een promptstroom nodig hebt om uw geïmplementeerde model te kunnen gebruiken, moet u er verbinding mee maken. Er zijn twee manieren om verbinding te maken.

Eindpuntverbindingen

Zodra uw stroom is gekoppeld aan een Azure Machine Learning- of Azure AI Studio-werkruimte, kan het hulpprogramma Open Model LLM de eindpunten in die werkruimte gebruiken.

Azure Machine Learning- of Azure AI Studio-werkruimten gebruiken: als u een promptstroom gebruikt in een van de webbrowserwerkruimten op basis van webpagina's, zijn de online-eindpunten die automatisch beschikbaar zijn voor die werkruimte.
Vs Code of code eerst gebruiken: als u een promptstroom gebruikt in VS Code of een van de Code First-aanbiedingen, moet u verbinding maken met de werkruimte. Het open model LLM-hulpprogramma maakt gebruik van de azure.identity DefaultAzureCredential-client voor autorisatie. Eén manier is het instellen van omgevingsreferentiewaarden.

Aangepaste verbindingen

Het hulpprogramma Open Model LLM maakt gebruik van de custom Verbinding maken ion. Promptstroom ondersteunt twee typen verbindingen:

Werkruimteverbindingen: Verbinding maken ionen die zijn opgeslagen als geheimen in een Azure Machine Learning-werkruimte. Hoewel deze verbindingen kunnen worden gebruikt, worden deze op veel plaatsen vaak gemaakt en onderhouden in de gebruikersinterface van Studio. Als u wilt weten hoe u een aangepaste verbinding maakt in de gebruikersinterface van Studio, raadpleegt u hoe u een aangepaste verbinding maakt.
Lokale verbindingen: Verbinding maken ies die lokaal op uw computer zijn opgeslagen. Deze verbindingen zijn niet beschikbaar in de Studio UX, maar kunnen worden gebruikt met de VS Code-extensie. Voor meer informatie over het maken van een lokale aangepaste Verbinding maken ion, raadpleegt u hoe u een lokale verbinding maakt.

De vereiste sleutels die moeten worden ingesteld, zijn:

endpoint_url
- Deze waarde vindt u op het eerder gemaakte deductie-eindpunt.
endpoint_api_key
- Zorg ervoor dat u deze instelt als een geheime waarde.
- Deze waarde vindt u op het eerder gemaakte deductie-eindpunt.
model_family
- Ondersteunde waarden: LLAMA, DOLLY, GPT2 of FALCON
- Deze waarde is afhankelijk van het type implementatie dat u wilt gebruiken.

Het hulpprogramma uitvoeren: Invoer

Het hulpprogramma Open Model LLM heeft veel parameters, waarvan sommige vereist zijn. Zie de volgende tabel voor meer informatie. U kunt deze parameters vergelijken met de voorgaande schermopname voor visuele duidelijkheid.

Name	Type	Beschrijving	Vereist
api	tekenreeks	De API-modus die afhankelijk is van het gebruikte model en het geselecteerde scenario. Ondersteunde waarden: (Voltooiing \| Chatten)	Ja
endpoint_name	tekenreeks	Naam van een onlinedeductie-eindpunt met een ondersteund model dat erop is geïmplementeerd. Heeft prioriteit boven de verbinding.	Ja
temperatuur	zwevend	De willekeurigheid van de gegenereerde tekst. Standaard is 1.	Nee
max_new_tokens	geheel getal	Het maximum aantal tokens dat moet worden gegenereerd tijdens de voltooiing. De standaardwaarde is 500.	Nee
top_p	zwevend	De kans op het gebruik van de belangrijkste keuze op basis van de gegenereerde tokens. Standaard is 1.	Nee
model_kwargs	Woordenboek	Deze invoer wordt gebruikt om configuratie te bieden die specifiek is voor het gebruikte model. Het Llama-02-model kan bijvoorbeeld {"temperature":0.4} gebruiken. Standaard: {}	Nee
deployment_name	tekenreeks	De naam van de implementatie die moet worden gericht op het eindpunt voor onlinedeductie. Als er geen waarde wordt doorgegeven, worden de verkeersinstellingen voor deductietaakverdeling gebruikt.	Nee
vraag	tekenreeks	De tekstprompt die door het taalmodel wordt gebruikt om het antwoord te genereren.	Ja

Uitvoerwaarden

API	Retourtype	Beschrijving
Voltooiing	tekenreeks	De tekst van één voorspelde voltooiing
Chat	tekenreeks	De tekst van één antwoord in het gesprek

Implementeren naar een online-eindpunt

Wanneer u een stroom met het open model LLM-hulpprogramma implementeert op een online-eindpunt, is er een extra stap voor het instellen van machtigingen. Tijdens de implementatie via de webpagina's is er een keuze tussen door het systeem toegewezen en door de gebruiker toegewezen identiteitstypen. In beide gevallen voegt u met behulp van Azure Portal (of een vergelijkbare functionaliteit) de functie 'Lezer' toe aan de identiteit in de Azure Machine Learning-werkruimte of het Ai Studio-project, dat als host fungeert voor het eindpunt. De implementatie van de promptstroom moet mogelijk worden vernieuwd.

Delen via