Otevření nástroje LLM modelu
Nástroj Open Model LLM umožňuje využití různých modelů Open Model a Foundational Models, jako je Falcon a Llama 2, pro zpracování přirozeného jazyka v Azure Machine Učení tok výzvy.
Tady je postup, jak vypadá v akci s rozšířením toku výzvy editoru Visual Studio Code. V tomto příkladu se nástroj používá k volání koncového bodu chatu LlaMa-2 a dotaz "Co je CI?".
Tento nástroj toku výzvy podporuje dva různé typy rozhraní LLM API:
- Chat: Zobrazený v předchozím příkladu. Typ rozhraní API chatu usnadňuje interaktivní konverzace s textovými vstupy a odpověďmi.
- Dokončení: Typ rozhraní API pro dokončování se používá k vygenerování dokončování textu s jednou odpovědí na základě zadaného zadání výzvy.
Rychlý přehled: Návody použít nástroj Open Model LLM?
- Vyberte model z katalogu modelů Azure Machine Učení a nasaďte ho.
- Připojení k nasazení modelu.
- Nakonfigurujte nastavení otevřených nástrojů llm modelu.
- Připravte výzvu.
- Spuštění toku.
Požadavky: Nasazení modelu
- V katalogu modelů azure machine Učení vyberte model, který odpovídá vašemu scénáři.
- Pomocí tlačítka Nasadit nasaďte model do koncového bodu pro odvozování azure Učení online.
- Použijte jednu z možností nasazení s průběžnou platbou.
Další informace najdete v tématu Nasazení základních modelů do koncových bodů pro odvozování.
Požadavky: Připojení modelu
Abyste mohli zobrazit tok výzvy k použití nasazeného modelu, musíte se k němu připojit. Existují dva způsoby připojení.
Připojení koncových bodů
Jakmile je tok přidružený k pracovnímu prostoru Azure Machine Učení nebo Azure AI Studio, může nástroj Open Model LLM používat koncové body v daném pracovním prostoru.
Použití pracovních prostorů Azure Machine Učení nebo Azure AI Studio: Pokud používáte tok výzvy v jednom z pracovních prostorů prohlížečů založených na webových stránkách, budou online koncové body dostupné v daném pracovním prostoru, který se automaticky spustí.
Nejdřív pomocí VS Code nebo kódu: Pokud používáte tok výzvy ve VS Code nebo některou z nabídek Code First, musíte se připojit k pracovnímu prostoru. Nástroj OPEN Model LLM používá k autorizaci klienta azure.identity DefaultAzureCredential. Jedním ze způsobů je nastavení hodnot přihlašovacích údajů prostředí.
Vlastní připojení
Nástroj Open Model LLM používá vlastní Připojení ion. Tok výzvy podporuje dva typy připojení:
Připojení pracovního prostoru – Připojení, které jsou uložené jako tajné kódy v pracovním prostoru azure machine Učení. I když se tato připojení dají používat na mnoha místech, běžně se vytvářejí a spravují v uživatelském rozhraní studia. Pokud chcete zjistit, jak vytvořit vlastní připojení v uživatelském rozhraní studia, přečtěte si , jak vytvořit vlastní připojení.
Místní připojení – Připojení iony uložené místně na vašem počítači. Tato připojení nejsou dostupná v uživatelském prostředí sady Studio, ale je možné je použít s rozšířením VS Code. Pokud chcete zjistit, jak vytvořit místní vlastní Připojení ion, přečtěte si, jak vytvořit místní připojení.
Požadované klíče, které je potřeba nastavit, jsou:
- endpoint_url
- Tuto hodnotu najdete v dříve vytvořeném koncovém bodu odvozování.
- endpoint_api_key
- Ujistěte se, že je nastavíte jako tajnou hodnotu.
- Tuto hodnotu najdete v dříve vytvořeném koncovém bodu odvozování.
- model_family
- Podporované hodnoty: LLAMA, DOLLY, GPT2 nebo FALCON
- Tato hodnota závisí na typu nasazení, na které cílíte.
Spuštění nástroje: Vstupy
Nástroj OPEN Model LLM má mnoho parametrů, z nichž některé jsou povinné. Podrobnosti najdete v následující tabulce. Tyto parametry můžete shodovat s předchozím snímkem obrazovky, abyste měli přehlednost vizuálu.
| Name | Typ | Popis | Povinní účastníci |
|---|---|---|---|
| api | string | Režim rozhraní API, který závisí na použitém modelu a vybraném scénáři. Podporované hodnoty: (Dokončení | Chat) | Ano |
| endpoint_name | string | Název koncového bodu pro odvozování online s podporovaným modelem, který je na něm nasazený. Má přednost před připojením. | Ano |
| Teplota | float (číslo s plovoucí řádovou čárkou) | Náhodnost vygenerovaného textu Výchozí hodnota je 1. | No |
| max_new_tokens | integer | Maximální počet tokenů, které se mají vygenerovat v dokončení. Výchozí hodnota je 500. | No |
| top_p | float (číslo s plovoucí řádovou čárkou) | Pravděpodobnost použití nejlepší volby z vygenerovaných tokenů. Výchozí hodnota je 1. | No |
| model_kwargs | Slovník | Tento vstup slouží k poskytnutí konfigurace specifické pro použitý model. Například model Llama-02 může používat {"temperature":0,4}. Výchozí: {} | No |
| deployment_name | string | Název nasazení, které se má cílit na koncový bod pro odvozování online Pokud se nepředá žádná hodnota, použijí se nastavení provozu nástroje pro vyrovnávání zatížení odvozování. | No |
| Výzva | string | Text prompt that the language model uses to generate its response. | Ano |
Výstupy
| rozhraní API | Návratový typ | Popis |
|---|---|---|
| Dokončení | string | Text jednoho předpovězeného dokončení |
| Chat | string | Text jedné odpovědi v konverzaci |
Nasazení do online koncového bodu
Když nasadíte tok obsahující nástroj Open Model LLM do online koncového bodu, je potřeba provést další krok pro nastavení oprávnění. Během nasazování prostřednictvím webových stránek existuje volba mezi typy identit přiřazených systémem a přiřazenými uživatelem. V obou směrech pomocí webu Azure Portal (nebo podobné funkce) přidejte do identity v pracovním prostoru Azure Machine Učení nebo projektu Ai Studio roli Funkce Čtenář, která je hostitelem koncového bodu. Nasazení toku výzvy může být potřeba aktualizovat.