Kérések hangolása variánsokkal

A jó üzenet létrehozása kihívást jelentő feladat, amely sok kreativitást, egyértelműséget és relevanciát igényel. A jó kérések egy előre betanított nyelvi modellből kiválthatják a kívánt kimenetet, míg a hibás kérések pontatlan, irreleváns vagy nem érzékeny kimenetekhez vezethetnek. Ezért szükség van a kérések hangolására, hogy optimalizálni tudják a teljesítményüket és a robusztusságukat a különböző feladatokhoz és tartományokhoz.

Bemutatjuk tehát a változatok fogalmát, amelyek segítségével tesztelheti a modell viselkedését különböző feltételek mellett, például különböző szövegezéssel, formázással, környezettel, hőmérséklettel vagy top-k értékekkel, összehasonlíthatja és megtalálhatja a modell pontosságát, sokféleségét vagy koherenciáját maximalizáló legjobb utasításokat és konfigurációkat.

Ebben a cikkben bemutatjuk, hogyan hangolhatja a kéréseket, és hogyan értékelheti ki a különböző változatok teljesítményét.

Előfeltételek

A cikk elolvasása előtt érdemes végighaladni:

• Rövid útmutató
• Folyamat tömeges tesztelése és kiértékelése

Hogyan hangolhatja a kéréseket a változatok használatával?

Ebben a cikkben példaként a webes besorolási mintafolyamatot fogjuk használni.

1. Nyissa meg a mintafolyamatot, és első lépésként távolítsa el a prepare_examples csomópontot.

   

2. Használja a következő parancssort alapkonfigurációként a classify_with_llm csomópontban.

Your task is to classify a given url into one of the following types:
Movie, App, Academic, Channel, Profile, PDF or None based on the text content information.
The classification will be based on the url, the webpage text content summary, or both.

For a given URL : {{url}}, and text content: {{text_content}}.
Classify above url to complete the category and indicate evidence.

The output shoule be in this format: {"category": "App", "evidence": "Both"} 
OUTPUT:

A folyamat optimalizálásához többféleképpen is lehet, és az alábbiak két irányt követnek:

• A classify_with_llm csomópont: Megtanultam a közösség és a papírok, hogy az alacsonyabb hőmérséklet nagyobb pontosságot, de kevesebb kreativitást és meglepetést, így az alacsonyabb hőmérséklet alkalmas besorolási feladatok és a kevés lövés rákérdezés növelheti LLM teljesítményét. Ezért szeretném tesztelni, hogyan viselkedik a folyamatom, amikor a hőmérséklet 1-ről 0-ra változik, és ha a kérdés néhány lövéses példával jelenik meg.

• Summarize_text_content csomópont esetén: Azt is szeretném tesztelni, hogy a folyamat viselkedése 100 szóról 300-ra változik-e, hogy több szöveges tartalom segíthet-e a teljesítmény javításában.

Változatok létrehozása

1. Válassza a Változatok megjelenítése gombot az LLM-csomópont jobb felső sarkában. A meglévő LLM-csomópont variant_0, és az alapértelmezett változat.
2. Válassza a Klónozás gombot a variant_0 variant_1 létrehozásához, majd konfigurálhatja a paramétereket különböző értékekre, vagy frissítheti a kérést variant_1.
3. Ismételje meg a lépést további változatok létrehozásához.
4. Válassza a Változatok elrejtése lehetőséget a további változatok hozzáadásának leállításához. Minden változat össze van hajtva. A csomópont alapértelmezett változata jelenik meg.

Classify_with_llm csomópont esetén a következő variant_0 alapján:

• Hozzon létre variant_1, ahol a hőmérséklet 1-ről 0-ra változik.
• Hozzon létre variant_2, ahol a hőmérséklet 0, és használja az alábbi utasításokat, beleértve néhány lövéses példákat.

Your task is to classify a given url into one of the following types:
Movie, App, Academic, Channel, Profile, PDF or None based on the text content information.
The classification will be based on the url, the webpage text content summary, or both.

Here are a few examples:

URL: https://play.google.com/store/apps/details?id=com.spotify.music 
Text content: Spotify is a free music and podcast streaming app with millions of songs, albums, and original podcasts. It also offers audiobooks, so users can enjoy thousands of stories. It has a variety of features such as creating and sharing music playlists, discovering new music, and listening to popular and exclusive podcasts. It also has a Premium subscription option which allows users to download and listen offline, and access ad-free music. It is available on all devices and has a variety of genres and artists to choose from. 
OUTPUT: {"category": "App", "evidence": "Both"} 
		
URL: https://www.youtube.com/channel/UC_x5XG1OV2P6uZZ5FSM9Ttw 
Text content: NFL Sunday Ticket is a service offered by Google LLC that allows users to watch NFL games on YouTube. It is available in 2023 and is subject to the terms and privacy policy of Google LLC. It is also subject to YouTube's terms of use and any applicable laws. 
OUTPUT: {"category": "Channel", "evidence": "URL"} 
		
URL: https://arxiv.org/abs/2303.04671 
Text content: Visual ChatGPT is a system that enables users to interact with ChatGPT by sending and receiving not only languages but also images, providing complex visual questions or visual editing instructions, and providing feedback and asking for corrected results. It incorporates different Visual Foundation Models and is publicly available. Experiments show that Visual ChatGPT opens the door to investigating the visual roles of ChatGPT with the help of Visual Foundation Models. 
OUTPUT: {"category": "Academic", "evidence": "Text content"} 
		
URL: https://ab.politiaromana.ro/ 
Text content: There is no content available for this text. 
OUTPUT: {"category": "None", "evidence": "None"}
		
For a given URL : {{url}}, and text content: {{text_content}}.
Classify above url to complete the category and indicate evidence.
OUTPUT:    

Summarize_text_content csomópont esetében variant_0 alapján létrehozhat variant_1, ahol 100 words a rendszer a parancssorban lévő szavakra 300 változik.

A folyamat most a következőképpen néz ki: 2 változat summarize_text_content csomóponthoz, 3 pedig classify_with_llm csomóponthoz.

Az összes variáns futtatása egyetlen adatsorsal, és a kimenetek ellenőrzése

Annak érdekében, hogy az összes változat sikeresen fusson, és a várt módon működjön, a folyamatot egyetlen adatsorsal futtathatja a teszteléshez.

Megjegyzés:

Minden alkalommal, amikor csak egy olyan LLM-csomópontot választhat ki, amelyen futtatandó változatok vannak, míg más LLM-csomópontok az alapértelmezett változatot használják.

Ebben a példában summarize_text_content csomóponthoz és classify_with_llm csomóponthoz is konfigurálunk változatokat, ezért kétszer kell futtatnia az összes változat teszteléséhez.

1. Válassza a futtatás gombot a jobb felső sarokban.
2. Válasszon ki egy variánsokat tartalmazó LLM-csomópontot. A többi LLM-csomópont az alapértelmezett változatot fogja használni.
3. Küldje el a folyamatfuttatást.
4. A folyamatfuttatás befejezése után ellenőrizheti az egyes változatok megfelelő eredményét.
5. Küldjön egy másik folyamatfuttatást a másik LLM-csomóponttal variánsokkal, és ellenőrizze a kimeneteket.
6. Módosíthatja egy másik bemeneti adatot (például egy Wikipedia-oldal URL-címét), és megismételheti a fenti lépéseket a különböző adatok variánsainak teszteléséhez.

Változatok kiértékelése

Ha a változatokat néhány adatrészlettel futtatja, és szabad szemmel ellenőrzi az eredményeket, az nem tükrözi a valós adatok összetettségét és sokféleségét, miközben a kimenet nem mérhető, így nehéz összehasonlítani a különböző változatok hatékonyságát, majd kiválasztani a legjobbat.

Elküldhet egy kötegfuttatást, amely lehetővé teszi, hogy nagy mennyiségű adattal tesztelje a változatokat, és metrikákkal értékelje ki őket, így könnyebben megtalálhatja a legmegfelelőbbet.

1. Először elő kell készítenie egy adatkészletet, amely elég reprezentatív a valós problémára, amelyet gyors folyamattal szeretne megoldani. Ebben a példában az URL-címek listája és azok besorolási alapigazsága. A variánsok teljesítményének kiértékeléséhez pontosságot használunk.

2. Válassza a Lap jobb felső részén található Kiértékelés lehetőséget.

3. A Batch futtatására és kiértékelésére szolgáló varázsló jelenik meg. Az első lépés egy csomópont kiválasztása az összes változat futtatásához.

   Annak teszteléséhez, hogy a különböző változatok mennyire működnek a folyamat egyes csomópontjainál, egyenként kell futtatnia egy kötegfuttatást az egyes csomópontokhoz különböző változatokkal. Ez segít elkerülni más csomópontok variánsainak hatását, és a csomópont változatainak eredményeire összpontosítani. Ez az ellenőrzött kísérlet szabályát követi, ami azt jelenti, hogy egyszerre csak egy dolgot kell megváltoztatnia, és minden mást változatlanul kell tartania.

   Kiválaszthatja például classify_with_llm csomópontot az összes változat futtatásához, a summarize_text_content csomópont az alapértelmezett változatot fogja használni ehhez a kötegfuttatáshoz.

4. A Batch futtatási beállításainak következő lépéseként beállíthatja a batch-futtatás nevét, kiválaszthat egy futtatókörnyezetet, feltöltheti az előkészített adatokat.

5. Ezután a Kiértékelési beállítások területen válasszon ki egy kiértékelési módszert.

   Mivel ez a folyamat besoroláshoz készült, a pontosság kiértékeléséhez kiválaszthatja a Besorolási pontosság kiértékelési módszerét.

   A pontosság kiszámítása úgy történik, hogy összehasonlítja a folyamat által hozzárendelt előrejelzett címkéket (előrejelzést) az adatok tényleges címkéivel (alapigazság), és megszámolja, hogy hányan egyeznek.

   A Kiértékelési bemenet leképezése szakaszban meg kell adnia a bemeneti adathalmaz kategóriaoszlopából származó alapigazságot, az előrejelzés pedig az egyik folyamatkimenetből származik: kategória.

6. Az összes beállítás áttekintése után elküldheti a kötegelt futtatást.

7. A futtatás elküldése után válassza a hivatkozást, és nyissa meg a futtatás részleteit tartalmazó lapot.

Megjegyzés:

A futtatás több percet is igénybe vehet.

Kimenetek vizualizációja

1. A kötegelt futtatás és a kiértékelési futtatás befejezése után a futtatás részletei lapon jelölje ki az egyes változatokhoz tartozó kötegfuttatásokat, majd válassza a Kimenetek vizualizációja lehetőséget. A classify_with_llm csomópont 3 variánsának metrikái és az LLM által előrejelzett kimenetek láthatók az egyes adatrekordokhoz.
2. Miután azonosította, hogy melyik változat a legjobb, visszatérhet a folyamatkészítő oldalra, és beállíthatja a változatot a csomópont alapértelmezett változataként
3. A fenti lépéseket megismételve kiértékelheti summarize_text_content csomópont változatait is.

Most befejezte a kérések változatok használatával történő finomhangolását. Ezt a technikát alkalmazhatja a saját parancssori folyamatára, hogy megtalálja az LLM-csomóponthoz legmegfelelőbb változatot.

További lépések

• Testreszabott kiértékelési folyamat fejlesztése
• Integrálás a LangChainnel
• Folyamat üzembe helyezése