Het hulpprogramma Model LLM openen
Met het hulpprogramma Open Model LLM kunt u verschillende Open Model- en Foundational Models, zoals Falcon en Llama 2, gebruiken voor verwerking van natuurlijke taal in Azure Machine Learning-promptstroom.
Let op
Afschaffingskennisgeving: het open model LLM-hulpprogramma is afgeschaft ten gunste van het LLM-hulpprogramma, dat ondersteuning biedt voor alle modellen die worden ondersteund door de deductie-API van het Azure AI-model en dus meer flexibiliteit.
U ziet er als volgt uit in actie in de visual Studio Code-promptstroomextensie. In dit voorbeeld wordt het hulpprogramma gebruikt om een LlaMa-2-chateindpunt aan te roepen en te vragen 'Wat is CI?'.
Dit hulpprogramma voor promptstroom ondersteunt twee verschillende LLM-API-typen:
- Chat: weergegeven in het voorgaande voorbeeld. Het type chat-API vereenvoudigt interactieve gesprekken met op tekst gebaseerde invoer en antwoorden.
- Voltooiing: Het type voltooiings-API wordt gebruikt om voltooiingen met één antwoordtekst te genereren op basis van opgegeven promptinvoer.
Snel overzicht: Hoe kan ik het hulpprogramma Open Model LLM gebruiken?
- Kies een model in de Azure Machine Learning-modelcatalogus en zorg ervoor dat het wordt geïmplementeerd.
- Maak verbinding met de modelimplementatie.
- Configureer de instellingen van het geopende model-llm-hulpprogramma.
- Bereid de prompt voor.
- De stroom uitvoeren
Vereisten: Modelimplementatie
- Kies het model dat overeenkomt met uw scenario in de Azure Machine Learning-modelcatalogus.
- Gebruik de knop Implementeren om het model te implementeren op een online deductie-eindpunt van Azure Machine Learning.
- Gebruik een van de implementatieopties betalen per gebruik.
Zie Basismodellen implementeren voor eindpunten voor deductie voor meer informatie.
Vereisten: Verbinding maken met het model
Als u een promptstroom nodig hebt om uw geïmplementeerde model te kunnen gebruiken, moet u er verbinding mee maken. Er zijn twee manieren om verbinding te maken.
Eindpuntverbindingen
Zodra uw stroom is gekoppeld aan een Azure Machine Learning- of Azure AI Studio-werkruimte, kan het hulpprogramma Open Model LLM de eindpunten in die werkruimte gebruiken.
Azure Machine Learning- of Azure AI Studio-werkruimten gebruiken: als u een promptstroom gebruikt in een van de webbrowserwerkruimten op basis van webpagina's, zijn de online-eindpunten die automatisch beschikbaar zijn voor die werkruimte.
Vs Code of code eerst gebruiken: als u een promptstroom gebruikt in VS Code of een van de Code First-aanbiedingen, moet u verbinding maken met de werkruimte. Het open model LLM-hulpprogramma maakt gebruik van de azure.identity DefaultAzureCredential-client voor autorisatie. Eén manier is het instellen van omgevingsreferentiewaarden.
Aangepaste verbindingen
Het hulpprogramma Open Model LLM maakt gebruik van CustomConnection. Promptstroom ondersteunt twee typen verbindingen:
Werkruimteverbindingen : verbindingen die zijn opgeslagen als geheimen in een Azure Machine Learning-werkruimte. Hoewel deze verbindingen kunnen worden gebruikt, worden deze op veel plaatsen vaak gemaakt en onderhouden in de gebruikersinterface van Studio. Als u wilt weten hoe u een aangepaste verbinding maakt in de gebruikersinterface van Studio, raadpleegt u hoe u een aangepaste verbinding maakt.
Lokale verbindingen : verbindingen die lokaal op uw computer zijn opgeslagen. Deze verbindingen zijn niet beschikbaar in de Studio UX, maar kunnen worden gebruikt met de VS Code-extensie. Als u wilt weten hoe u een lokale aangepaste verbinding maakt, raadpleegt u hoe u een lokale verbinding maakt.
De vereiste sleutels die moeten worden ingesteld, zijn:
- endpoint_url
- Deze waarde vindt u op het eerder gemaakte deductie-eindpunt.
- endpoint_api_key
- Zorg ervoor dat u deze instelt als een geheime waarde.
- Deze waarde vindt u op het eerder gemaakte deductie-eindpunt.
- model_family
- Ondersteunde waarden: LLAMA, DOLLY, GPT2 of FALCON
- Deze waarde is afhankelijk van het type implementatie dat u wilt gebruiken.
Het hulpprogramma uitvoeren: Invoer
Het hulpprogramma Open Model LLM heeft veel parameters, waarvan sommige vereist zijn. Zie de volgende tabel voor meer informatie. U kunt deze parameters vergelijken met de voorgaande schermopname voor visuele duidelijkheid.
| Name | Type | Beschrijving | Vereist |
|---|---|---|---|
| api | tekenreeks | De API-modus die afhankelijk is van het gebruikte model en het geselecteerde scenario. Ondersteunde waarden: (Voltooiing | Chatten) | Ja |
| endpoint_name | tekenreeks | Naam van een onlinedeductie-eindpunt met een ondersteund model dat erop is geïmplementeerd. Heeft prioriteit boven de verbinding. | Ja |
| temperatuur | zwevend | De willekeurigheid van de gegenereerde tekst. Standaard is 1. | Nee |
| max_new_tokens | geheel getal | Het maximum aantal tokens dat moet worden gegenereerd tijdens de voltooiing. De standaardwaarde is 500. | Nee |
| top_p | zwevend | De kans op het gebruik van de belangrijkste keuze op basis van de gegenereerde tokens. Standaard is 1. | Nee |
| model_kwargs | woordenboek | Deze invoer wordt gebruikt om configuratie te bieden die specifiek is voor het gebruikte model. Het Llama-02-model kan bijvoorbeeld {"temperature":0.4} gebruiken. Verstek: {} | Nee |
| deployment_name | tekenreeks | De naam van de implementatie die moet worden gericht op het eindpunt voor onlinedeductie. Als er geen waarde wordt doorgegeven, worden de verkeersinstellingen voor deductietaakverdeling gebruikt. | Nee |
| vraag | tekenreeks | De tekstprompt die door het taalmodel wordt gebruikt om het antwoord te genereren. | Ja |
Uitvoerwaarden
| API | Retourtype | Beschrijving |
|---|---|---|
| Voltooiing | tekenreeks | De tekst van één voorspelde voltooiing |
| Chat | tekenreeks | De tekst van één antwoord in het gesprek |
Implementeren naar een online-eindpunt
Wanneer u een stroom met het open model LLM-hulpprogramma implementeert op een online-eindpunt, is er een extra stap voor het instellen van machtigingen. Tijdens de implementatie via de webpagina's is er een keuze tussen door het systeem toegewezen en door de gebruiker toegewezen identiteitstypen. In beide gevallen voegt u met behulp van Azure Portal (of een vergelijkbare functionaliteit) de functie 'Lezer' toe aan de identiteit in de Azure Machine Learning-werkruimte of het Ai Studio-project, dat als host fungeert voor het eindpunt. De implementatie van de promptstroom moet mogelijk worden vernieuwd.