Megosztás a következőn keresztül:

A Prompt Builder használatának első lépései az AI-eszközkészletben VS Code

Az AI Toolkit for VS Code (AI Toolkit) egy VS Code bővítmény, amely lehetővé teszi AI-modellek letöltését, tesztelését, finomhangolását és üzembe helyezését az alkalmazásokkal vagy a felhőben. További információkért tekintse meg az AI-eszközkészlet áttekintését.

Az AI-eszközkészlet egyik fő funkciója a Prompt Builder. A Prompt Builder egy eszköz, amely segít az AI-modellek létrehozásában, szerkesztésében és tesztelésében. Ez egy felhasználóbarát felületet biztosít a kérések létrehozásához, és lehetővé teszi a következő lehetőségeket:

  • A kérések létrehozása, szerkesztése és tesztelése
  • AI által létrehozott kérések létrehozása
  • Strukturált kimenet létrehozása az alkalmazáshoz előre definiált sémával
  • Kód generálása a lekérdezés és a modell alapján az Ön munkaterületén történő kérdés-alapú interakciókhoz.

Megjegyzés:

Az AI-eszközkészlet további dokumentációi és oktatóanyagai a VS Code dokumentációban érhetők el: VS Code. Útmutatást talál a Playground szolgáltatással, az AI-modellekkel való munkával, a helyi és felhőalapú modellek finomhangolásával kapcsolatban.

Ebben a cikkben megtudhatja, hogyan:

  • Helyi Phi 3.5 Mini CPU-alapú kis nyelvi modell (SLM) letöltése, betöltése és használata
  • Kérések létrehozása, szerkesztése és tesztelése a helyi modell használatával
  • Strukturált kimenet létrehozása előre definiált sémával
  • Python-kód létrehozása a modell futtatásához a megadott kérésekkel

Előfeltételek

Az AI-funkciók használatakor javasoljuk, hogy tekintse át a következőt: Felelős Generatív AI-alkalmazások és -szolgáltatások fejlesztése Windows rendszeren.

Felszerel

Tekintse meg az AI Toolkit telepítési útmutatóját az AI Toolkit használatának megkezdéséhez.

Válassza ki a helyi modellt

Ebben a szakaszban megtudhatja, hogyan töltheti be a Phi 3.5 Mini CPU-alapú SLM-modellt. Az AI-eszközkészlet támogatja a VS Code helyben futó modelleket és a felhőben üzemeltetett modelleket is.

  1. Nyissa meg az AI-eszközkészlet nézetetVS Code az ablak oldalán található Tevékenységsáv AI-eszközkészlet ikonjának kiválasztásával.

  2. Az AI-eszközkészlet nézetben válassza a Prompt Builder elemet a bal oldali panel Eszközök szakaszában.

    Képernyőkép az AI-eszközkészlet Eszközök paneljéről

  3. A Prompt Builder nézetben válassza a Modellek tallózása gombot a Modellkatalógus megnyitásához.

  4. Keresse meg a Phi 3.5-öt a modellkatalógusban. A Phi 3.5 Mini (CPU - Kicsi, Gyors, Pontos) modellnek szerepelnie kell az ONNX-modellek szakaszban található listában.

  5. Válassza a Hozzáadás gombot a modell munkaterülethez való hozzáadásához. A rendszer letölti és hozzáadja a modellt a bal oldali panel Saját modellek szakaszához.

  6. A modell letöltése után térjen vissza a Prompt Builder nézethez.

    Képernyőkép az AI Toolkit Prompt Builder ablakáról

  7. Írja be a következő parancssort a System prompt szövegmezőbe:

    You are a professor of marine biology at a respected university. Answer the following questions as best you can.

  8. Írja be a következő parancssort a Felhasználó parancssori szövegmezőbe:

    Please provide a concise list of 10 types of marine mammals that live in the Pacific Ocean.

  9. A Futtatás gombra kattintva futtassa a modellt a megadott kérésekkel.

  10. A modell a megadott kérések alapján hoz létre választ. A válasz megjelenik a Válasz szövegmezőben.

    Képernyőkép az AI Toolkit Prompt Builder ablakáról a tengeri emlősökkel kapcsolatos lekérdezés eredményeivel

  11. Ha pontosítani szeretné az eredményeket, néhány lehetőség közül választhat:

    • Szerkessze a rendszerkérést vagy a felhasználói kérést , és futtassa újra a modell lekérdezését.
    • Válassza az Add prompt (Hozzáadás) lehetőséget , ha új kérdést szeretne hozzáadni a Felhasználói üzenet szövegmezőhöz. Ez lehetővé teszi, hogy összetettebb lekérdezést hozzon létre több kéréssel.
    • Válassza a Válasz használata segédüzenetként lehetőséget, hogy környezetként használhassa a modell viselkedésének irányításához.
    • Ismételje meg a fenti lépések tetszőleges kombinációját, amíg meg nem kapja a kívánt eredményt.

  12. A Kód megtekintése gombra kattintva létrehozhat olyan Python-kódot, amely az SDK használatával futtatja a modellt a megadott kérésekkel. A létrehozott kód egy új szerkesztőlapon jelenik meg. A kód a következőhöz hasonlóan fog kinézni:

     """Run this model in Python

 > pip install openai
 """
 from openai import OpenAI

 client = OpenAI(
     base_url = "http://localhost:5272/v1/",
     api_key = "unused", # required for the API but not used
 )

 response = client.chat.completions.create(
     messages = [
         {
             "role": "system",
             "content": "You are a professor of marine biology at a university",
         },
         {
             "role": "user",
             "content": [
                 {
                     "type": "text",
                     "text": "Please provide a concise list of 10 types of marine mammals that live in the Pacific Ocean.",
                 },
             ],
         },
     ],
     model = "Phi-3.5-mini-cpu-int4-awq-block-128-acc-level-4-onnx",
     max_tokens = 256,
     frequency_penalty = 1,
 )

 print(response.choices[0].message.content)

  13. Ha futtatni szeretné a létrehozott kódot, győződjön meg arról, hogy telepítve vannak a szükséges függőségek. A szükséges függőségeket a pip használatával telepítheti:

  14. A létrehozott kódot a Python-környezetben is futtathatja. A Python windowsos telepítésével és használatának megkezdésével kapcsolatos további információkért tekintse meg a Python windowsos használatának első lépéseit kezdőknek szóló cikkben.

A Prompt Builder hatékony eszköz az AI-modellekre vonatkozó kérések létrehozásához és finomításához. Segítségével gyorsan iterálhat az utasításokat, és tesztelheti a különböző változatokat, hogy megtalálja a legjobb eredményt. A Prompt Builder és funkcióinak részletesebb áttekintéséért lásd: Parancssori tervezés az AI-eszközkészletben.

Kapcsolódó tartalom