Megosztás a következőn keresztül:

Kérések hangolása variánsokkal az Azure AI Studióban

  • Cikk

Fontos

A cikkben megjelölt (előzetes verziójú) elemek jelenleg nyilvános előzetes verzióban érhetők el. Ez az előzetes verzió szolgáltatásszint-szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik. További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.

Ebből a cikkből megtudhatja, hogyan hangolhatja a különböző változatok teljesítményét a különböző változatok teljesítményének hangolására és kiértékelésére.

A jó üzenet létrehozása kihívást jelentő feladat, amely sok kreativitást, egyértelműséget és relevanciát igényel. A jó kérések egy előre betanított nyelvi modellből kiválthatják a kívánt kimenetet, míg a hibás kérések pontatlan, irreleváns vagy nem érzékeny kimenetekhez vezethetnek. Ezért szükség van a kérések hangolására, hogy optimalizálni tudják a teljesítményüket és a robusztusságukat a különböző feladatokhoz és tartományokhoz.

A variánsok segíthetnek a modell viselkedésének tesztelésében különböző feltételek mellett, például különböző szövegezéssel, formázással, környezettel, hőmérséklettel vagy top-k értékekkel. Összehasonlíthatja és megtalálhatja a legjobb parancssort és konfigurációt, amely maximalizálja a modell pontosságát, sokféleségét vagy koherenciáját.

Változatok a Parancssori folyamatban

A parancssori folyamattal variánsokkal hangolhatja a parancssort. A variánsok az eszközcsomópont egy adott verziójára vonatkoznak, amely különböző beállításokkal rendelkezik. A változatok jelenleg csak az LLM-eszközben támogatottak. Az LLM-eszközben például egy új változat egy másik parancssori tartalmat vagy különböző kapcsolati beállításokat jelölhet.

Tegyük fel, hogy egy hírcikk összegzését szeretné létrehozni. A következőhöz hasonló kérések és beállítások különböző változatai állíthatók be:

Változatok Felszólítás Kapcsolati beállítások
0. változat Summary: {{input sentences}} Hőmérséklet = 1
1. változat Summary: {{input sentences}} Hőmérséklet = 0,7
2. változat What is the main point of this article? {{input sentences}} Hőmérséklet = 1
3. változat What is the main point of this article? {{input sentences}} Hőmérséklet = 0,7

A kérések és beállítások különböző változatainak használatával megismerheti, hogyan reagál a modell a különböző bemenetekre és kimenetekre, így felfedezheti a követelményeknek leginkább megfelelő kombinációt.

A változatok használatának előnyei a következők:

  • Az LLM-generáció minőségének javítása: Ugyanazon LLM-csomópont több változatának különböző kérésekkel és konfigurációkkal történő létrehozásával azonosíthatja az optimális kombinációt, amely az igényeinek megfelelően kiváló minőségű tartalmat hoz létre.
  • Időt és erőfeszítést takaríthat meg: A parancssor enyhe módosítása is eltérő eredményeket eredményezhet. Rendkívül fontos az egyes parancssori verziók teljesítményének nyomon követése és összehasonlítása. A variánsokkal egyszerűen kezelheti az LLM-csomópontok előzményverzióit, így bármilyen változaton alapuló frissítéseket tehet lehetővé anélkül, hogy elfelejtené a korábbi iterációkat. A változatok időt és energiát takaríthatnak meg a gyors finomhangolási előzmények kezelésével.
  • Hatékonyság növelése: A variánsok leegyszerűsítik az LLM-csomópontok optimalizálási folyamatát, így egyszerűbben hozhat létre és kezelhet több változatot. Jobb eredményeket érhet el kevesebb idő alatt, ezáltal növelve az általános termelékenységet.
  • Egyszerű összehasonlítás megkönnyítése: Könnyedén összehasonlíthatja a különböző változatokból származó eredményeket egymás mellett, így adatvezérelt döntéseket hozhat a legjobb eredményeket hozó változatról.

Hogyan hangolhatja a kéréseket a változatok használatával?

Ebben a cikkben a webbesorolási mintafolyamatot használjuk példaként.

  1. Nyissa meg a mintafolyamatot, és első lépésként távolítsa el a prepare_examples csomópontot.
    1. Az Eszközök területen válassza a Parancssori folyamat lehetőséget.
    2. Válassza a Létrehozás lehetőséget a folyamatlétrehozó varázsló megnyitásához.
    3. A " Webbesorolás" mező Felfedezés gyűjteményében válassza a Klónozás lehetőséget.
    4. A folyamat lapon törölje a prepare_examples csomópontot.
  2. Használja a következő parancssort alapkonfigurációként a classify_with_llm csomópontban.
Your task is to classify a given url into one of the following types:
Movie, App, Academic, Channel, Profile, PDF or None based on the text content information.
The classification will be based on the url, the webpage text content summary, or both.

For a given URL : {{url}}, and text content: {{text_content}}.
Classify above url to complete the category and indicate evidence.

The output shoule be in this format: {"category": "App", "evidence": "Both"} 
OUTPUT:

A folyamat optimalizálásához többféleképpen is lehet, és az alábbiak két irányt követnek:

  • A classify_with_llm csomópont: Megtanultam a közösség és a papírok, hogy az alacsonyabb hőmérséklet nagyobb pontosságot, de kevesebb kreativitást és meglepetést, így az alacsonyabb hőmérséklet alkalmas besorolási feladatok és a kevés lövés rákérdezés növelheti LLM teljesítményét. Ezért szeretném tesztelni, hogyan viselkedik a folyamatom, amikor a hőmérséklet 1-ről 0-ra változik, és ha a kérdés néhány lövéses példával jelenik meg.

  • Summarize_text_content csomópont esetén: Azt is szeretném tesztelni, hogy a folyamat viselkedése 100 szóról 300-ra változik-e, hogy több szöveges tartalom segíthet-e a teljesítmény javításában.

Változatok létrehozása

  1. Válassza a Változatok megjelenítése gombot az LLM-csomópont jobb felső sarkában. A meglévő LLM-csomópont variant_0, és az alapértelmezett változat.
  2. Válassza a Klónozás gombot a variant_0 variant_1 létrehozásához, majd konfigurálhatja a paramétereket különböző értékekre, vagy frissítheti a kérést variant_1.
  3. Ismételje meg a lépést további változatok létrehozásához.
  4. Válassza a Változatok elrejtése lehetőséget a további változatok hozzáadásának leállításához. Minden változat össze van hajtva. A csomópont alapértelmezett változata jelenik meg.

Classify_with_llm csomópont esetén a következő variant_0 alapján:

  • Hozzon létre variant_1, ahol a hőmérséklet 1-ről 0-ra változik.
  • Hozzon létre variant_2, ahol a hőmérséklet 0, és használja az alábbi utasításokat, beleértve néhány lövéses példákat.
Your task is to classify a given url into one of the following types:
Movie, App, Academic, Channel, Profile, PDF or None based on the text content information.
The classification will be based on the url, the webpage text content summary, or both.

Here are a few examples:

URL: https://play.google.com/store/apps/details?id=com.spotify.music 
Text content: Spotify is a free music and podcast streaming app with millions of songs, albums, and original podcasts. It also offers audiobooks, so users can enjoy thousands of stories. It has a variety of features such as creating and sharing music playlists, discovering new music, and listening to popular and exclusive podcasts. It also has a Premium subscription option which allows users to download and listen offline, and access ad-free music. It is available on all devices and has a variety of genres and artists to choose from. 
OUTPUT: {"category": "App", "evidence": "Both"} 
		
URL: https://www.youtube.com/channel/UC_x5XG1OV2P6uZZ5FSM9Ttw 
Text content: NFL Sunday Ticket is a service offered by Google LLC that allows users to watch NFL games on YouTube. It is available in 2023 and is subject to the terms and privacy policy of Google LLC. It is also subject to YouTube's terms of use and any applicable laws. 
OUTPUT: {"category": "Channel", "evidence": "URL"} 
		
URL: https://arxiv.org/abs/2303.04671 
Text content: Visual ChatGPT is a system that enables users to interact with ChatGPT by sending and receiving not only languages but also images, providing complex visual questions or visual editing instructions, and providing feedback and asking for corrected results. It incorporates different Visual Foundation Models and is publicly available. Experiments show that Visual ChatGPT opens the door to investigating the visual roles of ChatGPT with the help of Visual Foundation Models. 
OUTPUT: {"category": "Academic", "evidence": "Text content"} 
		
URL: https://ab.politiaromana.ro/ 
Text content: There is no content available for this text. 
OUTPUT: {"category": "None", "evidence": "None"}
		
For a given URL : {{url}}, and text content: {{text_content}}.
Classify above url to complete the category and indicate evidence.
OUTPUT:

Summarize_text_content csomópont esetében variant_0 alapján létrehozhat variant_1, ahol 100 words a rendszer a parancssorban lévő szavakra 300 változik.

A folyamat most a következőképpen néz ki: 2 változat summarize_text_content csomóponthoz, 3 pedig classify_with_llm csomóponthoz.

Az összes variáns futtatása egyetlen adatsorsal, és a kimenetek ellenőrzése

Annak érdekében, hogy az összes változat sikeresen fusson, és a várt módon működjön, a folyamatot egyetlen adatsorsal futtathatja a teszteléshez.

Feljegyzés

Minden alkalommal, amikor csak egy olyan LLM-csomópontot választhat ki, amelyen futtatandó változatok vannak, míg más LLM-csomópontok az alapértelmezett változatot használják.

Ebben a példában summarize_text_content csomóponthoz és classify_with_llm csomóponthoz is konfigurálunk változatokat, ezért kétszer kell futtatnia az összes változat teszteléséhez.

  1. Válassza a futtatás gombot a jobb felső sarokban.
  2. Válasszon ki egy variánsokat tartalmazó LLM-csomópontot. A többi LLM-csomópont az alapértelmezett változatot használja.
  3. Küldje el a folyamatfuttatást.
  4. A folyamatfuttatás befejezése után ellenőrizheti az egyes változatok megfelelő eredményét.
  5. Küldjön egy másik folyamatfuttatást a másik LLM-csomóponttal variánsokkal, és ellenőrizze a kimeneteket.
  6. Módosíthatja egy másik bemeneti adatot (például egy Wikipedia-oldal URL-címét), és megismételheti a fenti lépéseket a különböző adatok variánsainak teszteléséhez.

Változatok kiértékelése

Ha a változatokat néhány adatrészlettel futtatja, és szabad szemmel ellenőrzi az eredményeket, az nem tudja tükrözni a valós adatok összetettségét és sokféleségét, miközben a kimenet nem mérhető, ezért nehéz összehasonlítani a különböző változatok hatékonyságát, majd kiválasztani a legjobbat.

Elküldhet egy kötegfuttatást, amely lehetővé teszi, hogy nagy mennyiségű adattal tesztelje a változatokat, és metrikákkal értékelje ki őket, így könnyebben megtalálhatja a legmegfelelőbbet.

  1. Először elő kell készítenie egy adatkészletet, amely elég reprezentatív a prompt folyamattal megoldani kívánt valós problémára. Ebben a példában az URL-címek listája és azok besorolási alapigazsága. Pontosságot használunk a változatok teljesítményének kiértékeléséhez.

  2. Válassza a Lap jobb felső részén található Kiértékelés lehetőséget.

  3. A Batch futtatására és kiértékelésére szolgáló varázsló jelenik meg. Az első lépés egy csomópont kiválasztása az összes változat futtatásához.

    Annak teszteléséhez, hogy a különböző változatok hogyan működnek a folyamat egyes csomópontjaihoz, egyenként kell futtatnia egy kötegfuttatást az egyes csomópontokhoz különböző változatokkal. Ez segít elkerülni más csomópontok variánsainak hatását, és a csomópont változatainak eredményeire összpontosítani. Ez az ellenőrzött kísérlet szabályát követi, ami azt jelenti, hogy egyszerre csak egy dolgot kell megváltoztatnia, és minden mást változatlanul kell tartania.

    Kiválaszthatja például classify_with_llm csomópontot az összes változat futtatásához, a summarize_text_content csomópont az alapértelmezett változatot használja ehhez a kötegfuttatáshoz.

  4. A Batch futtatási beállításainak következő lépéseként beállíthatja a batch-futtatás nevét, kiválaszthat egy futtatókörnyezetet, feltöltheti az előkészített adatokat.

  5. Ezután a Kiértékelési beállítások területen válasszon ki egy kiértékelési módszert.

    Mivel ez a folyamat besoroláshoz készült, a pontosság kiértékeléséhez kiválaszthatja a Besorolási pontosság kiértékelési módszerét.

    A pontosság kiszámítása úgy történik, hogy összehasonlítja a folyamat által hozzárendelt előrejelzett címkéket (előrejelzést) az adatok tényleges címkéivel (alapigazság), és megszámolja, hogy hányan egyeznek.

    A Kiértékelési bemenet leképezése szakaszban meg kell adnia a bemeneti adathalmaz kategóriaoszlopából származó alapigazságot, az előrejelzés pedig az egyik folyamatkimenetből származik: kategória.

  6. Az összes beállítás áttekintése után elküldheti a kötegelt futtatást.

  7. A futtatás elküldése után válassza a hivatkozást, és nyissa meg a futtatás részleteit tartalmazó lapot.

Feljegyzés

A futtatás több percet is igénybe vehet.

Kimenetek vizualizációja

  1. A kötegelt futtatás és a kiértékelési futtatás befejezése után a futtatás részletei lapon jelölje ki az egyes változatokhoz tartozó kötegfuttatásokat, majd válassza a Kimenetek vizualizációja lehetőséget. A classify_with_llm csomópont 3 variánsának metrikái és az LLM által előrejelzett kimenetek láthatók az egyes adatrekordokhoz.
  2. Miután azonosította, hogy melyik változat a legjobb, visszatérhet a folyamatkészítő oldalra, és beállíthatja a változatot a csomópont alapértelmezett változataként
  3. A fenti lépéseket megismételve kiértékelheti summarize_text_content csomópont változatait is.

Most befejezte a kérések változatok használatával történő finomhangolását. Ezt a technikát alkalmazhatja a saját parancssori folyamatára, hogy megtalálja az LLM-csomópont legjobb változatát.

Következő lépések