Prozkoumání připojení a modulů runtime
Když vytvoříte aplikaci LLM (Large Language Model) s tokem výzvy, musíte nejprve nakonfigurovat všechna potřebná připojení a moduly runtime.
Prozkoumání připojení
Kdykoli chcete, aby se váš tok připojil k externímu zdroji dat, službě nebo rozhraní API, musíte mít oprávnění ke komunikaci s danou externí službou. Při vytváření připojení nakonfigurujete zabezpečené propojení mezi tokem výzvy a externími službami a zajistíte bezproblémovou a bezpečnou komunikaci dat.
V závislosti na typu připojení, které vytvoříte, připojení bezpečně ukládá koncový bod, klíč rozhraní API nebo přihlašovací údaje potřebné pro tok výzvy ke komunikaci s externí službou. Všechny nezbytné tajné kódy nejsou přístupné uživatelům, ale jsou uložené ve službě Azure Key Vault.
Nastavením připojení můžou uživatelé snadno opakovaně používat externí služby nezbytné pro nástroje ve svých tocích.
Některé integrované nástroje vyžadují, abyste měli nakonfigurované připojení:
| Connection type | Integrované nástroje |
|---|---|
| Azure Open AI | LLM nebo Python |
| Otevřít AI | LLM nebo Python |
| Cognitive Search | Vyhledávání vektorové databáze nebo Python |
| Serp | Serp API nebo Python |
| Vlastní | Python |
Připojení toku výzvy hrají kontingenční role ve dvou scénářích. Automatizují správu přihlašovacích údajů rozhraní API, zjednodušují a zabezpečují zpracování citlivých informací o přístupu. Kromě toho umožňují zabezpečený přenos dat z různých zdrojů, které jsou zásadní pro zachování integrity dat a ochrany osobních údajů v různých prostředích.
Prozkoumání modulů runtime
Po vytvoření toku a konfiguraci potřebných připojení, která vaše nástroje používají, chcete tok spustit. Ke spuštění toku potřebujete výpočetní prostředky, které se nabízejí prostřednictvím modulů runtime toku výzvy.
Moduly runtime (1) jsou kombinací výpočetní instance (2) poskytující nezbytné výpočetní prostředky a prostředí (3) určující potřebné balíčky a knihovny, které je potřeba nainstalovat před spuštěním toku.
Když používáte moduly runtime, máte řízené prostředí, ve kterém se dají toky spouštět a ověřovat, a zajistit tak, aby vše fungovalo podle očekávání ve stabilním nastavení. Pro rychlý vývoj a testování je k dispozici výchozí prostředí. Pokud potřebujete, aby byly nainstalovány další balíčky, můžete vytvořit vlastní prostředí.