Öppna VERKTYGET FÖR MODELL-LLM

Verktyget OPEN Model LLM möjliggör användning av olika öppna modeller och grundläggande modeller, till exempel Falcon och Llama 2, för bearbetning av naturligt språk i Azure Machine Learning-promptflödet.

Så här fungerar det i visual Studio Code-flödestillägget. I det här exemplet används verktyget för att anropa en LlaMa-2-chattslutpunkt och fråga "Vad är CI?".

Det här promptflödesverktyget har stöd för två olika TYPER av LLM-API:

• Chatt: Visas i föregående exempel. Typen av chatt-API underlättar interaktiva konversationer med textbaserade indata och svar.
• Slutförande: Api-typen För slutförande används för att generera textavslut för enskilda svar baserat på angivna promptindata.

Snabböversikt: Hur gör jag för att använda LLM-verktyget Öppna modell?

1. Välj en modell från Azure Machine Learning-modellkatalogen och få den distribuerad.
2. Anslut till modelldistributionen.
3. Konfigurera llm-verktygsinställningarna för öppna modeller.
4. Förbered kommandotolken.
5. Kör flödet.

Förutsättningar: Modelldistribution

• Välj den modell som matchade ditt scenario från Azure Machine Learning-modellkatalogen.
• Använd knappen Distribuera för att distribuera modellen till en slutpunkt för Azure Machine Learning-onlineinferens.
  • Använd ett av distributionsalternativen Betala per användning.

Mer information finns i Distribuera grundmodeller till slutpunkter för slutsatsdragning.

Förutsättningar: Anslut till modellen

För att promptflödet ska kunna använda din distribuerade modell måste du ansluta till den. Det finns två sätt att ansluta.

Slutpunktsanslutningar

När ditt flöde är kopplat till en Azure Machine Learning- eller Azure AI Studio-arbetsyta kan verktyget OPEN Model LLM använda slutpunkterna på arbetsytan.

• Använda Azure Machine Learning- eller Azure AI Studio-arbetsytor: Om du använder promptflöde i någon av de webbsidebaserade webbläsararbetsytorna är onlineslutpunkterna tillgängliga på den arbetsytan som automatiskt visas.

• Använd VS Code eller kod först: Om du använder promptflöde i VS Code eller något av code first-erbjudandena måste du ansluta till arbetsytan. Verktyget Open Model LLM använder azure.identity DefaultAzureCredential-klienten för auktorisering. Ett sätt är att ange värden för miljöautentiseringsuppgifter.

Anpassade anslutningar

Verktyget Open Model LLM använder Custom Anslut ion. Prompt flow stöder två typer av anslutningar:

• Anslutningar till arbetsytor – Anslut som lagras som hemligheter på en Azure Machine Learning-arbetsyta. Dessa anslutningar kan användas, men på många ställen skapas och underhålls de ofta i Studio-användargränssnittet. Mer information om hur du skapar en anpassad anslutning i Studio-användargränssnittet finns i skapa en anpassad anslutning.

• Lokala anslutningar – Anslut som lagras lokalt på datorn. Dessa anslutningar är inte tillgängliga i Studio UX, men kan användas med VS Code-tillägget. Mer information om hur du skapar en lokal anpassad Anslut ion finns i skapa en lokal anslutning.

De nycklar som krävs för att ange är:

• endpoint_url
  • Det här värdet finns på den tidigare skapade slutpunkten för slutsatsdragning.
• endpoint_api_key
  • Se till att ange det som ett hemligt värde.
  • Det här värdet finns på den tidigare skapade slutpunkten för slutsatsdragning.
• model_family
  • Värden som stöds: LLAMA, DOLLY, GPT2 eller FALCON
  • Det här värdet beror på vilken typ av distribution du riktar in dig på.

Köra verktyget: Indata

VERKTYGET ÖPPNA MODELL LLM har många parametrar, varav vissa krävs. Mer information finns i följande tabell. Du kan matcha dessa parametrar med föregående skärmbild för visuell klarhet.

Namn	Type	Beskrivning	Obligatoriskt
api	sträng	DET API-läge som är beroende av vilken modell som används och vilket scenario som valts. Värden som stöds: (Slutförande | Chatt)	Ja
endpoint_name	sträng	Namnet på en slutpunkt för onlineinferens med en modell som stöds distribuerad på den. Prioriterar över anslutningen.	Ja
temperatur	flyttal	Slumpmässigheten i den genererade texten. Standard är 1.	Nej
max_new_tokens	integer	Det maximala antalet token som ska genereras i slutförandet. Standardvärdet är 500.	Nej
top_p	flyttal	Sannolikheten att använda det översta valet från de genererade token. Standard är 1.	Nej
model_kwargs	Ordbok	Dessa indata används för att tillhandahålla konfiguration som är specifik för den modell som används. Till exempel kan Llama-02-modellen använda {"temperature":0.4}. Standard: {}	Nej
deployment_name	sträng	Namnet på distributionen som ska riktas mot slutpunkten Online-slutsatsdragning. Om inget värde skickas används trafikinställningarna för inferenserlastbalanseraren.	Nej
Snabb	sträng	Textprompten som språkmodellen använder för att generera sitt svar.	Ja

Utdata

API	Returtyp	beskrivning
Slutförandet	sträng	Texten i ett förutsagt slutförande
Chatt	sträng	Texten i ett svar i konversationen

Distribuera till en onlineslutpunkt

När du distribuerar ett flöde som innehåller VERKTYGET ÖPPNA MODELL LLM till en onlineslutpunkt finns det ett extra steg för att konfigurera behörigheter. Under distributionen via webbsidorna finns det ett val mellan systemtilldelade och användartilldelade identitetstyper. Hur som helst, med hjälp av Azure-portalen (eller en liknande funktion) lägger du till rollen "Läsarjobb" till identiteten på Azure Machine Learning-arbetsytan eller Ai Studio-projektet, som är värd för slutpunkten. Distributionen av promptflödet kan behöva uppdateras.