Sdílet prostřednictvím

Řešení potíží s modelem Copilot Tuning Expert Q&A

Tento článek popisuje některé z nejběžnějších problémů s vyladěním úlohy Q&A odborníkem na Microsoft 365 Copilot Tuning a jejich řešením.

Poznámka

Ladění copilotu je v současné době k dispozici pro early Access Preview (EAP). Podrobnosti o požadavcích a postupu registrace najdete v příručce pro správce.

Při připojování ke zdroji obsahu se zobrazí chyba oprávnění nebo přístupu

Chyba přístupu nebo odepření oprávnění obvykle znamená, že váš účet nemá práva k danému zdroji dat. Ujistěte se, že máte příslušná oprávnění k úložišti obsahu. Pokud například přidáváte sharepointový web, ověřte u správce SharePointu, že váš účet (nebo skupina, do které patříte) má přístup k danému webu nebo knihovně dokumentů. Pokud proces vyladění používá pro řízení přístupu skupinu zabezpečení, ujistěte se, že je nastavená správná skupina zabezpečení a že je v ní zahrnutý váš uživatelský účet, než operaci zopakujete.

Vytvořil(a) jsem vyladěný model Q&A, ale při pokusu o jeho přidání do agenta Copilot se nezobrazuje

Pokud nově natrénovaný model není při konfiguraci deklarativního agenta uvedený v rozevíracím seznamu výběru, můžete mít problém s oprávněními. Model je přidružený ke skupině zabezpečení nebo zásadám přístupu a váš účet nemusí být zahrnutý. Ujistěte se, že skupina zabezpečení použitá při vytváření modelu zahrnuje váš účet (nebo účet osoby, která vytváří agenta). Možná budete muset požádat správce IT, aby vás přidal do této skupiny nebo aby model znovu sestavil se skupinou, do které patříte. Když jsou vaše oprávnění opravená, měl by se pro výběr zobrazit vyladěný model.

Když kliknem na Připravit data pro trénování, nezobrazí se žádné rozhraní pro popisování ani data.

Některé scénáře jemného ladění nevyžadují ruční popisování dat. V Q&Kanál pro jemné ladění platí, že pokud systém po přípravě nezobrazí žádná data k označení, znamená to, že se tento krok pro váš scénář automaticky přeskočí. Jinými slovy, ne všechny recepty vyžadují fázi označování. Můžete přejít k dalšímu kroku procesu. (Pokud jste očekávali krok popisování, ale nedostali jste ho, systém možná zjistil, že není co označit, což je u určitých úloh Q&A normální.)

Fáze zpracování dat trvá dlouho

Fáze přípravy nebo trénování dat může v závislosti na velikosti obsahu trvat poměrně dlouho. Je normální, že tato fáze trvá několik hodin, zejména pokud jste zadali velkou kolekci dokumentů. Po dokončení zpracování byste měli obdržet oznámení (například e-mail). Pokud jste oznámení ještě neobdrželi, buďte trpěliví – pravděpodobně to znamená, že proces stále běží. Pokud uplynulo více než několik hodin, zkontrolujte složku spamu nebo nevyžádané pošty a ujistěte se, že se oznámení nezařadilo chybně. Stránku pro doladění můžete také aktualizovat ručně nebo znovu navštívit. Po dokončení zpracování stav na webu znamená, že data jsou připravená nebo že je k dispozici další krok.

Nedostal(a) jsem e-mailové oznámení o dokončení zpracování dat

Pečlivě zkontrolujte, jestli v e-mailové složce s nevyžádanou poštou nebo nevyžádanou poštou není zpráva o dokončení procesu ladění. Někdy je možné automatizovaná oznámení odfiltrovat. Pokud nenajdete e-mail, nemějte obavy – e-mail nepotřebujete, abyste mohli pokračovat. Zpět do rozhraní pro vyladění a zkontrolujte stav modelu tam. Po dokončení přípravného kroku se v rozhraní zobrazí, že jsou vaše data připravená na další krok (například připravená k vyhodnocení nebo připravená k trénování). V tomto okamžiku můžete pokračovat v doladění pracovního postupu i bez e-mailu.

Proces ladění se zastavil nebo selhal (se stavem chyby nebo bez něj)

Pokud proces trénování nebo ladění selže nebo přestane reagovat bez jasné chybové zprávy, systém pravděpodobně neposkytl zpětnou vazbu. Aktuální systém má omezené zpracování chyb, takže se občas může zastavit bez konkrétního kódu chyby nebo vysvětlení.

Řešení potíží:

  1. Zkuste proces zopakovat – v některých případech může přechodné potíže vyřešit opětovné spuštění procesu jemného ladění nebo restartování z posledního kroku.
  2. Ujistěte se, že jsou všechny konfigurace správně nastavené, a zkuste to znovu.
  3. Zkontrolujte známé problémy – Zkontrolujte, jestli se zaprotokolovala nebo zobrazila nějaká chybová zpráva. Pokud najdete kód chyby, postupujte podle pokynů souvisejících s tímto kódem chyby. Dokumentace nebo fóra můžou obsahovat další informace o konkrétních chybách.

Pokud problém přetrvává, obraťte se na podporu.

Datová sada pro vyhodnocení (test) se vrátila zpět do prázdné nebo se pro vyhodnocení vygenerovalo 0 párů Q&A.

Prázdný zkušební soubor obvykle značí, že systém nemohl z vašeho obsahu vygenerovat žádné ukázky Q&A. Jedním z běžných důvodů je, že vámi poskytnutá kolekce obsahu byla příliš malá nebo neměla žádná použitelná data. Model neměl dostatek materiálu k vytvoření příkladů Q&A.

Jak to vyřešit:

  1. Ověření obsahu zdroje znalostí – Pečlivě zkontrolujte, jestli vybrané dokumenty nebo zdroj dat obsahují informace, které očekáváte. Pokud bylo úložiště obsahu prázdné nebo příliš omezené, přidejte relevantnější dokumenty a pak znovu spusťte proces ladění.
  2. Spusťte proces znovu – Jakmile se ujistěte, že je obsah na místě, zkuste znovu provést krok přípravy dat nebo doladění. Tentokrát může vytvořit sadu dvojic Q&A pro vyhodnocení.
  3. Pokud je stále prázdný, vyhledejte pomoc – Pokud se stále zobrazuje prázdné hodnocení nebo prázdná trénovací sada, může se jednat o základní problém. Kontaktujte podporu a požádejte o pomoc. Můžou zkontrolovat, jestli nějaká pravidla filtrování nebo chyby způsobovaly, že se vaše data zahodí. Ve výjimečných případech může přísné filtrování nebo veškerý obsah mimo rozsah vést k tomu, že žádná data nebudou. podpora může pomoct zjistit, jestli k tomu došlo.

Trénování modelu bylo dokončeno, ale odpovědi, které poskytuje, se zdají být podivné nebo irelevantní ("divné").

Pokud vaše vyladěné odpovědi modelu Q&A nedají smysl nebo se zdají být nesouvisející s vaší doménou, je často viníkem kvalita nebo množství trénovacích dat. Model může fungovat jenom stejně jako data, na která byl natrénován. Tady je postup řešení potíží s "podivným" výstupem modelu nebo s nízkou kvalitou:

  1. Ujistěte se, že máte dostatek trénovacích dat: Zkontrolujte, jestli má zdroj znalostí, který jste zadali, dostatek užitečného obsahu. Pokud byla vaše kolekce obsahu velmi malá nebo prázdná, mohl být model v podstatě natrénovaný na ničem, což v podstatě vedlo k "vanilkovém" nebo nesmyslným modelům[1]. Ujistěte se, že jste zahrnuli dostatek dokumentů nebo dvojic Q&A pokrývajících témata, která očekáváte, že model zpracuje.
  2. Poskytnutí relevantních dat: Pokud jsou odpovědi modelu mimo téma, některé z trénovacích dokumentů nemusí odpovídat zamýšlené doméně. Pokud například vytváříte finančního robota Q&A, ale obsah, který jste dostali, byl většinou obecný nebo nesouvisející, model nebude mít správné znalosti. Upřesněte obsah tak, aby byl relevantnější pro očekávané otázky.
  3. Opětovné trénování po vylepšeních: Po přidání dalších nebo lepších dat spusťte proces ladění znovu. Vylepšení datové sady často vede k přímému zlepšení kvality odpovědí.

Pokud jste provedli výše uvedené a odpovědi modelu jsou stále nesprávné nebo nesouvislé, zvažte kontaktování podpory. U samotného kanálu pro doladění může dojít k problému s hraničními případy. Ve většině případů by ale mělo posílení trénovacích dat (nebo úprava pokynů k úkolu) výrazně zlepšit odpovědi modelu.

Odpovědi na vyhodnocení modelu vypadaly dobře, ale odpovědi agenta nejsou dobré.

Jedná se o známé chování. Vyladěný model může v izolovaném vyhodnocení fungovat dobře, ale chování nasazeného agenta se může lišit, pokud konfigurace agenta plně nepřenáší nuance modelu. Konkrétně může agent potřebovat další pokyny k efektivnímu používání modelu. Tento problém vyřešíte takto:

  1. Porovnání výstupů vyhodnocení a agentů – Zjistěte, co chybí nebo se liší. Například odpovědi na hodnocení měly přátelský, empatický tón, který se vám líbil, ale odpovědi agenta jsou obecnější nebo terseičtější.
  2. Upravte pokyny agenta – v tvůrci agenta přidejte nebo upřesněte systémové pokyny nebo výzvy pro agenta. Posílit požadované kvality, které jste viděli ve fázi hodnocení. Přidejte například pokyny "Odpovědět empatickým tónem" nebo "Zahrnout podrobné kroky, pokud jsou k dispozici".
  3. Znovu otestujte – po aktualizaci pokynů otestujte agenta se stejnými otázkami. Odpovědi by měly být v souladu s očekávaným chováním jemně vyladěného modelu. Toto iterativní ladění agenta je někdy nezbytné k dosažení nejlepších výsledků. Vyladěný model poskytuje znalosti a pokyny agenta formují, jak se tyto znalosti vyjadřují.

Odpovědi od mého agenta Q&A stále nejsou to, co jsem očekával(a)

Pokud zjistíte, že celková kvalita odpovědí je neuspokojivá, možná budete muset dále upřesnit nastavení. Zvažte tyto kroky:

  1. Vylepšení nebo zvýšení trénovacích dat – Ujistěte se, že datová sada použitá k doladění je vysoce kvalitní, relevantní a komplexní pro oblast otázek. Pokud je to možné, přidejte další příklady nebo dokumenty, které pokrývají rozsah dotazů, které očekáváte. Bohatší datová sada může výrazně zlepšit přesnost modelu.
  2. Upřesněte počáteční konfiguraci – Během nastavování modelu jste pravděpodobně zadali nějaké počáteční pokyny nebo vyplnili formulář (někdy označovaný jako dotazník o doméně a úkolu). Znovu se k těmto vstupům můžete vrátit. Upravte nebo upřesněte popis úlohy a nastavení, abyste model lépe prováděli. Pokud si například uvědomíte, že model odpovídá na příliš vysoké úrovni, ujistěte se, že pokyny určují požadovanou hloubku nebo kontext.
  3. Uveďte jasné příklady – pokud to systém umožňuje, uveďte příklady dvojic Q&A nebo další pokyny. Některé procesy jemného ladění umožňují kontrolovat nebo popisovat data. Využijte tuto příležitost k tomu, abyste model naučili, jak vypadají správné odpovědi.
  4. Iterace a testování – vyladění je často iterativní proces. Po provedení změn znovu natrénujte (nebo částečně trénujte, pokud se podporuje) a pak znovu otestujte agenta Q&A. Postupně můžete dosáhnout lepšího výkonu. Mějte na paměti, že otevřené nebo extrémně složité otázky můžou být vždy náročné, ale cílem je zajistit, aby většina očekávaných dotazů byla dobře zodpovězena.

Některé odpovědi z Q&A Copilot nemají žádné citace.

V aktuální verzi systému nebude každá odpověď obsahovat citaci, a to i v případě, že se z vašeho obsahu přetahuje informace. Q&Kanál pro jemné ladění funguje s načítáním – když odpověď pochází přímo z načtených dokumentů (pomocí komponenty pro načítání RAG), systém zobrazí odkazy na citace. Pokud ale odpověď pochází z vlastních znalostí jemně vyladěného modelu (například něco, co se naučil během trénování, které není přímou citací z dokumentu), může odpovědět bez připojení zdrojové citace. Toto chování se očekává.

Přítomnost citací je obecně dobrým znamením, že odpověď použila dokumenty, které jste zadali za běhu. Chybějící citace nemusí nutně znamenat, že odpověď je špatná; Může to znamenat, že odpověď byla vygenerována z interních znalostí modelu nebo otázka nevyžadovala načtení dokumentu.

Pokud se domníváte, že odpověď by měla obsahovat citaci (například se zdá, že cituje vámi zadaný dokument), ale žádná citace se nezobrazuje, ověřte, že vaše zdroje znalostí byly správně připojeny během spuštění agenta. Je možné, že agent odpověděl z vyladěného modelu, nikoli ze skutečného dokumentu.

Mějte na paměti, že odpověď bez citace není v některých případech neobvyklá. Důležité informace můžete vždy ověřit ručním prohledáváním zdrojového obsahu, a pokud máte pocit, že něco chybí nebo je nesprávné, použijte mechanismy zpětné vazby v nástroji, které to dají vývojářům vědět (například nahlásíte špatnou odpověď).

Související obsah

Pokud potřebujete podporu nebo chcete poskytnout zpětnou vazbu, podívejte se na nejčastější dotazy k ladění copilotu.