Sdílet prostřednictvím

Rozhraní API asistentů Azure OpenAI (Preview)

  • Článek

Asistenti, nová funkce služby Azure OpenAI, je teď dostupná ve verzi Public Preview. Rozhraní API asistentů usnadňuje vývojářům vytváření aplikací s sofistikovanými prostředími podobných kopírování, která můžou procházet data, navrhovat řešení a automatizovat úlohy.

  • Asistenti můžou volat modely Azure OpenAI s konkrétními pokyny k ladění jejich osobnosti a schopností.
  • Asistenti mají přístup k více nástrojům paralelně. Můžou to být nástroje hostované v Azure OpenAI, jako je interpret kódu a vyhledávání souborů, nebo nástroje, které sestavujete, hostujete a přistupujete prostřednictvím volání funkcí.
  • Asistenti mají přístup k trvalým vláknům. Vlákna zjednodušují vývoj aplikací umělé inteligence tím, že ukládají historii zpráv a zkracují ji, když konverzace na délku kontextu modelu trvá příliš dlouho. Vlákno vytvoříte jednou a jednoduše k němu připojíte zprávy při odpovídání uživatelům.
  • Asistenti mají přístup k souborům v několika formátech. Buď jako součást jejich vytváření, nebo jako součást vláken mezi asistenty a uživateli. Při použití nástrojů můžou asistenti také vytvářet soubory (například obrázky nebo tabulky) a citovat soubory, na které odkazují ve zprávách, které vytvoří.

Přehled

Vytváření vlastních asistentů umělé inteligence dříve vyžadovalo těžké zvedání i pro zkušené vývojáře. I když je rozhraní API pro dokončování chatu jednoduché a výkonné, je ze své podstaty bezstavové, což znamená, že vývojáři museli spravovat stav konverzace a vlákna chatu, integrace nástrojů, načítat dokumenty a indexy a spouštět kód ručně.

Rozhraní API asistentů, protože stavový vývoj rozhraní API pro dokončování chatu poskytuje řešení těchto problémů. Rozhraní API asistentů podporuje trvalá automaticky spravovaná vlákna. To znamená, že jako vývojář už nemusíte vyvíjet systémy správy stavu konverzace a pracovat s omezeními kontextu modelu. Rozhraní API asistentů automaticky zpracuje optimalizace, aby vlákno pod maximálním kontextovým oknem zvoleného modelu zůstalo pod oknem maximálního kontextu. Jakmile vytvoříte vlákno, můžete k němu jednoduše přidat nové zprávy, když uživatelé odpoví. V případě potřeby můžou asistenti také přistupovat k více nástrojům paralelně. Mezi tyto nástroje patří:

Tip

Pokud nepoužíváte interpret kódu nebo nástroje pro vyhledávání souborů, není k dispozici žádná další cena ani kvóta pro používání pomocníků.

Rozhraní API pro asistenty je postavené na stejných funkcích, které používají produkt GPT od OpenAI. Některé možné případy použití se liší od doporučovače produktů využívajícího AI, aplikace prodejního analytika, pomocníka pro psaní kódu, chatovacího robota pro Q&A zaměstnance a další. Začněte sestavovat na dětském hřišti pomocníků bez kódu v sadě Azure OpenAI Studio, AI Studio nebo začněte sestavovat pomocí rozhraní API.

Důležité

Načítání nedůvěryhodných dat pomocí volání funkce, interpretu kódu nebo vyhledávání souborů se vstupem do souboru a funkce vlákna pomocníka může ohrozit zabezpečení pomocníka nebo aplikace, která používá pomocníka. Tady se dozvíte o přístupech ke zmírnění rizik.

Dětské hřiště Asistenti

V naší příručce pro rychlý start poskytujeme návod na hřiště Asistentů. Poskytuje prostředí bez kódu pro otestování možností asistentů.

Komponenty pomocníků

Diagram znázorňující komponenty asistenta

Součást Popis
Asistent Vlastní AI, která používá modely Azure OpenAI ve spojení s nástroji.
Vlákno Relace konverzace mezi asistentem a uživatelem Vlákna ukládají zprávy a automaticky zpracovávají zkrácení tak, aby se vešel do kontextu modelu.
Zpráva Zpráva vytvořená asistentem nebo uživatelem Zprávy můžou obsahovat text, obrázky a další soubory. Zprávy jsou uloženy jako seznam ve vlákně.
Spustit Aktivace pomocníka, který začne běžet na základě obsahu vlákna. Pomocník používá svou konfiguraci a zprávy vlákna k provádění úloh voláním modelů a nástrojů. V rámci spuštění připojí Pomocník zprávy do vlákna.
Spustit krok Podrobný seznam kroků, které pomocník provedl jako součást spuštění. Pomocník může během spuštění volat nástroje nebo vytvářet zprávy. Zkoumání kroků spuštění vám umožní pochopit, jak se pomocník dostává k posledním výsledkům.

Přístup k datům asistentů

V současné době jsou asistenti, vlákna, zprávy a soubory vytvořené pro asistenty vymezeni na úrovni prostředků Azure OpenAI. Proto každý, kdo má přístup k prostředku Azure OpenAI nebo klíči rozhraní API, může číst a zapisovat asistenty, vlákna, zprávy a soubory.

Důrazně doporučujeme následující řízení přístupu k datům:

  • Implementujte autorizaci. Před prováděním čtení nebo zápisů v asistentech, vláknech, zprávách a souborech se ujistěte, že má koncový uživatel oprávnění k tomu.
  • Omezte přístup k prostředkům Azure OpenAI a klíči rozhraní API. Pečlivě zvažte, kdo má přístup k prostředkům Azure OpenAI, kde se používají asistenti a přidružené klíče rozhraní API.
  • Rutinně auditujte, které účty nebo jednotlivci mají přístup k prostředku Azure OpenAI. Klíče rozhraní API a přístup na úrovni prostředků umožňují širokou škálu operací, včetně čtení a úpravy zpráv a souborů.
  • Povolte nastavení diagnostiky, abyste umožnili dlouhodobé sledování určitých aspektů protokolu aktivit prostředku Azure OpenAI.

Parametry

Rozhraní API asistentů má podporu pro několik parametrů, které umožňují přizpůsobit výstup asistentů. Tento tool_choice parametr vám umožní vynutit použití zadaného nástroje Pomocníkem. Můžete také vytvářet zprávy s assistant rolí a vytvářet tak vlastní historie konverzací ve vláknech. temperature, top_presponse_format pusťte se do dalšího ladění odpovědí. Další informace najdete v referenční dokumentaci.

Správa kontextových oken

Asistenti automaticky zkrátí text, aby zajistili, že zůstane v maximální délce kontextu modelu. Toto chování můžete přizpůsobit zadáním maximálního počtu tokenů, které chcete spustit, aby bylo možné využít nebo maximální počet posledních zpráv, které chcete zahrnout do spuštění.

Maximální počet tokenů pro dokončování a maximální počet výzev

Pokud chcete řídit využití tokenu v jednom spuštění, nastavte max_prompt_tokens a max_completion_tokens při vytváření spuštění. Tato omezení platí pro celkový počet tokenů použitých při všech dokončeních v průběhu životního cyklu spuštění.

Například iniciace spuštění s nastaveným max_prompt_tokens na 500 a max_completion_tokens nastavená na 1000 znamená, že první dokončení zkrátí vlákno na 500 tokenů a zasadí výstup na 1 000 tokenů. Pokud se v prvním dokončení použijí pouze 200 výzev tokenů a 300 tokenů dokončení, druhé dokončení bude mít k dispozici limity 300 výzev a 700 tokenů dokončení.

Pokud dokončení dosáhne limitu max_completion_tokens , spuštění se ukončí se stavem neúplnosti a podrobnosti se zobrazí v incomplete_details poli Spustit objektu.

Při použití nástroje Pro vyhledávání souborů doporučujeme nastavit max_prompt_tokens maximálně 20 000. U delších konverzací nebo více interakcí s vyhledáváním souborů zvažte zvýšení tohoto limitu na 50 000 nebo v ideálním případě odebrání max_prompt_tokens limitů úplně, abyste získali nejvyšší výsledky kvality.

Strategie zkrácení

Můžete také zadat strategii zkrácení pro řízení způsobu vykreslení vlákna do kontextového okna modelu. Použití strategie zkrácení typu auto bude používat výchozí strategii zkrácení OpenAI. Pomocí strategie zkrácení typu last_messages můžete zadat počet nejnovějších zpráv, které se mají zahrnout do kontextového okna.

Viz také