Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Zajistěte, aby agenti umělé inteligence konzistentně odpovídali pokynům uživatelů a cílům úkolů. Signál dodržování úkolů identifikuje nesrovnalosti, jako jsou nesprávně zarovnané vyvolání nástrojů, nesprávný vstup nástroje nebo výstup vzhledem k záměru uživatele a nekonzistence mezi odpověďmi a vstupem zákazníka. Tato funkce umožňuje vývojářům systému aktivně zmírnit nekompatibilní akce tím, že je blokuje nebo eskaluje problém pro zásah člověka.
Hlavními cíli funkce dodržování úkolů jsou:
- Chcete-li zjistit akce nástroje, které jsou nesprávně zarovnané s cíli uživatele nebo záměrem vstupu nebo nesprávným vstupem a výstupem nástroje vzhledem k záměru uživatele nebo nekonzistence mezi odpověďmi agenta a vstupem zákazníka.
- Pokud chcete poskytnout zdůvodnění, když volání nástrojů nejsou správně synchronizována.
- Poskytnout signál pro blokování volání nástrojů v posloupnosti a eskalaci ke kontrole člověkem (HITL), pokud je ohrožen soulad úkolů.
- Podpora důvěry uživatelů v agentických systémech posílením konzistence chování, transparentnosti a kontroly
Požadavky
- Předplatné Azure – Kreate si ho zdarma
- Jakmile budete mít předplatné Azure, na portálu Azure vytvořte prostředek zabezpečení obsahu, abyste získali klíč a koncový bod. Zadejte jedinečný název vašeho prostředku, vyberte předplatné a vyberte skupinu prostředků, oblast a podporovanou cenovou úroveň. Pak vyberte Vytvořit.
- Nasazení prostředku trvá několik minut. Po dokončení vyberte přejít k prostředku. V levém podokně v části Správa prostředků vyberte Klíč předplatného a koncový bod. Koncový bod a jeden z klíčů se používají k volání rozhraní API.
- cURL nainstalován.
Požadavek
Poznámka
Příklad štítu výzvy najdete v tématu štíty výzvy.
Verze rozhraní API:2024-12-15-preview
Pole v adrese URL
| Jméno | Požadované | Popis | Typ |
|---|---|---|---|
| Koncový bod | Ano | Základní adresa URL pro rozhraní API pro bezpečnost obsahu. Nahraďte <endpoint> koncovým bodem zadaným pro vaši službu Azure. |
Řetězec |
| Verze rozhraní API | Ano | Verze rozhraní API, která se má použít. Pro tuto funkci je verze 2024-12-15-preview. Příklad: <endpoint>/contentsafety/agent:analyzeTaskAdherence?api-version=2024-12-15-preview |
Řetězec |
Parametry v textu požadavku
| Jméno | Požadované | Popis | Typ |
|---|---|---|---|
| Nástroje | Ano | Seznam nástrojů, které definují funkce, které se mají v úloze použít. Každý nástroj obsahuje typ (například "funkce") a podrobnosti o funkci, včetně jejího názvu a popisu. | Pole objektů JSON |
| Zprávy | Ano | Seznam zpráv vyměňovaných mezi uživatelem, asistentem a nástroji Každá zpráva obsahuje zdroj (například "Výzva", "Dokončení"), roli (například "Uživatel", "Asistent", "Nástroj"), obsah (text zprávy) a volitelně toolCalls nebo toolCallId. | Pole objektů JSON |
Příklad schématu textu požadavku
Následující tabulky obsahují popis klíčových polí v textu požadavku:
pole nástrojů
| Jméno | Požadované | Popis | Typ |
|---|---|---|---|
| typ | Ano | Typ použitého nástroje. Pro tuto funkci jde o „funkci“. | Řetězec |
| function.name | Ano | Název funkce. Například "read_emails" | Řetězec |
| popis funkce | Ano | Stručný popis toho, co funkce dělá. Například "Čte e-maily uživatelů" | Řetězec |
pole zprávy
| Jméno | Požadované | Popis | Typ |
|---|---|---|---|
| odeslat k provedení | Ano | Původ zprávy. Možné hodnoty: "Prompt", "Completion" | Řetězec |
| role | Ano | Role přidružená ke zprávě. Možné hodnoty: "User", "Assistant", "Tool" | Řetězec |
| Obsah | Ano | Obsah zprávy. Například "Shrnutí e-mailů" | Řetězec nebo pole |
| toolCalls | Ne | Seznam volání nástrojů provedených agentem, včetně typu (například "funkce"), function.name, function.arguments a jedinečné ID. | Pole objektů JSON |
| toolCallId | Ne | (Pro zprávy nástroje) ID volání nástroje, na které se odpovídá. Odpovídá ID zadanému ve volání nástroje agenta. | Řetězec |
Odpověď rozhraní API
Po odeslání požadavku obdržíte data JSON, která odrážejí analýzu provedenou dodržováním úkolů. Tato data označují potenciální ohrožení zabezpečení v rámci pracovního postupu agenta. Typický výstup vypadá takto:
{
"taskRiskDetected": true,
"details": "Agent attempts to share a document externally without user request or confirmation."
}
| Jméno | Popis | Typ |
|---|---|---|
| zjištěnoRizikoÚkolu | Obsahuje výsledky detekce rizik pro vstup. | logický |
| Podrobnosti | Vrátí důvod, když je zjištěno riziko. | Řetězec |
Hodnota true pro taskRiskDetected znamená zjištěné riziko, v takovém případě doporučujeme provést revizi a akci, například zablokování žádosti o vyvolání nástroje nebo eskalaci se zapojením člověka.
Požadavky
Účet Azure. Pokud ho nemáte, můžete si ho zdarma vytvořit. Prostředek Azure AI.
Nastavení a používání dodržování úkolů
Pokud chcete stránku Zabezpečení obsahu vyzkoušet , postupujte takto:
- Přejděte na Azure AI Foundry a přejděte do svého projektu nebo centra. Pak v levém navigačním panelu vyberte kartu Guardrails + controls a vyberte kartu Vyzkoušet.
- Na stránce Vyzkoušet můžete experimentovat s různými funkcemi mantinely a ovládacími prvky, jako je text a obsah obrázku, pomocí upravitelných prahových hodnot pro filtrování škodlivého obsahu.
- Přejděte do pracovního postupu agenta a vyberte Dodržování úkolů.
- Můžete vybrat jeden z příkladů s odpovídajícími nebo nesprávně zarovnanými voláními nástroje agenta nebo vytvořit vlastní pro testování dodržování úloh.
- Vyberte Spustit test. Dodržování úkolů vrátí příznak rizika pro každý vzorek a pokud je zjištěno riziko, vrátí důvod.
Uživatelské scénáře
Zákaznická podpora
Scénář: Pomocník zákaznické podpory integrovaný do podnikové platformy pomáhá uživatelům kontrolovat využití dat, řešit problémy a spravovat nastavení účtu. Aby se zachovala přesná automatizace, systém před provedením volání back-endového nástroje začlení dodržování úkolů k ověření plánů agenta.
Uživatele: Koncoví uživatelé, agenti podpory a týmy zákaznického prostředí.
Akce: Uživatel zobrazí zprávu chatovacího robota: "Můžete zkontrolovat, kolik dat jsem tento měsíc použil?". Pomocník plánuje vyvolat change_data_plan() nástroj. Dodržování úkolů detekuje nesprávné zarovnání mezi záměrem uživatele (žádost o informace) a navrženou akcí (změnou předplatného). Vyvolání nástroje je možné zablokovat a systém buď zastaví provádění, nebo požádá uživatele o kontrolu.
Lidské zdroje
Scénář: Podnikový asistent automatizuje běžné pracovní postupy související s personálním oddělením, jako je rezervace, odesílání výdajů a kontrola podrobností o zásadách. Dodržování úloh zajišťuje, že akce agenta zůstanou v očekávaném rozsahu a nebudou provádět nezamýšlené zkratky.
Uživatele: Zaměstnanci, obchodní partneři personálního oddělení a týmy automatizace pracovních postupů.
Akce: Zaměstnanec píše: "Chci vědět, kolik roční dovolené mi zbývá." Agent plánuje vyvolat apply_leave(). Dodržování úkolů identifikuje neshodu úkolů – uživatel požádal o informace, ne k zahájení procesu. Provádění je blokováno; agent přeformuluje nebo vyzve k potvrzení.
Nástroje pro produktivitu
Scénář: Pomocník pro produktivitu vložený do e-mailové platformy pomáhá odborníkům připojit se k databázím a připravovat, kontrolovat a odesílat zprávy. Dodržování úkolů se používá k rozlišení mezi zápisem konceptu a spuštěním příkazu pro odeslání, zejména v případech, kdy je záměr uživatele nejednoznačný.
Uživatel: Odborní pracovníci, vedoucí asistenti a týmy pro dodržování předpisů IT.
Akce: Uživatel zobrazí výzvu k napsání e-mailu klientovi o zmeškaných termínech. Agent vygeneruje zprávu a plánuje vyvolat send_email(). Plnění úkolů označuje plán jako potenciálně předčasný; neexistuje žádný explicitní pokyn k odeslání. Systém místo toho blokuje zamýšlené volání nástroje a vyzve uživatele ke kontrole.
Dodržování úkolů: Správné vs. Nesprávné použití nástrojů
Signál rozhraní API pro dodržování úkolů pomáhá vývojářům a vlastníkům platforem pochopit, kdy se vyvolání nástroje agenta shoduje nebo se odchýlí od záměru uživatele.
Příklady
| Klasifikace | Popis | Příklad |
|---|---|---|
| Zarovnaný | Agent načte požadované informace bez nutnosti provádět neúmyslnou akci. |
Uživatel: "Můžete mi ukázat moje poslední události kalendáře?" Plánovaný nástroj: get_calendar_events()✅ Agent načte události, jak bylo požadováno. Výstup: { "taskRiskDetected": false } |
| Špatně zarovnané | Agent se pokusí upravit nastavení uživatele, když byla provedena pouze žádost o informace. |
Uživatel: "Můžete mi ukázat moje poslední události kalendáře?" Plánovaný nástroj: clear_calendar_events()❌ Agent se připraví k odstranění dat. Výstup: { "taskRiskDetected": true, "details": "Planned action deletes calendar events, but user only requested to view them."} |
| Zarovnaný | Agent zahájí tok vytvoření dokumentu poté, co uživatel požádá o vygenerování nového dokumentu. |
Uživatel: "Vytvořte nový dokument návrhu projektu pro klienta." Plánovaný nástroj: create_document()✅ Odpovídá žádosti o úkol uživatele. Výstup: { "taskRiskDetected": false} |
| Špatně zarovnané | Agent sdílí dokument s externími spolupracovníky bez pokynů uživatele. |
Uživatel: "Vytvořte nový dokument návrhu projektu pro klienta." Plánovaný nástroj: share_document()❌ Žádné uživatelské instrukce ke sdílení. Výstup: { "taskRiskDetected": true, "details": "Agent attempts to share a document externally without user request or confirmation."} |
Omezení
Dostupnost jazyka
Dodržování úkolů bylo testováno na textu v angličtině; Tato funkce ale může fungovat v mnoha dalších jazycích, i když se kvalita může lišit. Ve všech případech doporučujeme otestovat případ použití a aplikaci, abyste měli jistotu, že bude fungovat pro vaše scénáře.
Omezení délky textu
V současné době má rozhraní API pro dodržování úkolů omezení délky vstupu. Maximální délka textu je 100 000 znaků. Pokud délka vstupu překročí toto omezení, zobrazí se chyba.
Dostupnost oblastí a zpracování dat
I když je možné dodržování úkolů povolit ve všech Bezpečnost obsahu Azure AI oblastech, můžou se data směrovat a zpracovávat v jiných oblastech USA a EU mimo zadanou geografickou oblast.