A parancssori folyamat első lépései
Ez a cikk végigvezeti a parancssori folyamat Azure Machine Tanulás Studióban való használatának fő felhasználói folyamatán. Megtudhatja, hogyan engedélyezheti a parancssori folyamatot az Azure Machine Tanulás-munkaterületen, hogyan hozhatja létre és fejlesztheti az első parancssori folyamatot, tesztelheti és értékelheti, majd üzembe helyezheti éles környezetben.
Előfeltételek
Győződjön meg arról, hogy a munkaterület alapértelmezett adattára blobtípus.
Ha biztonságossá teszi a parancssori folyamatot a virtuális hálózattal, a további részletekért kövesse a hálózatelkülönítést a parancssori folyamatban .
Kapcsolat beállítása
Először be kell állítania a kapcsolatot.
A Csatlakozás ion segít biztonságosan tárolni és kezelni a titkos kulcsokat vagy más bizalmas hitelesítő adatokat, amelyek az LLM-sel (nagy nyelvi modellek) és más külső eszközökkel való interakcióhoz szükségesek, például az Azure Content Széf ty.
Lépjen a parancssor kezdőlapjára, és válassza a Csatlakozás ions lapot. Csatlakozás ion a munkaterület összes tagja számára megosztott erőforrás. Ha tehát már lát olyan kapcsolatot, amelynek a szolgáltatója az AzureOpenAI, kihagyhatja ezt a lépést, és futtatókörnyezetet hozhat létre.
Ha még nem csatlakozott az AzureOpenAI-hoz, válassza a Létrehozás gombot, majd az AzureOpenAI elemet a legördülő menüből.
Ekkor megjelenik egy jobb oldali panel. Itt ki kell választania az előfizetést és az erőforrásnevet, meg kell adnia a kapcsolat nevét, az API-kulcsot (ha a hitelesítési típus megegyezik az API-kulccsal), az API-alap, az API típusa és az API-verziót a Mentés gomb kiválasztása előtt. A parancssori folyamat az Azure OpenAI-erőforrás identitásalapú hitelesítésének hitelesítési típusaként is támogatja a Microsoft Entra-azonosítót. További információ az Azure OpenAI szolgáltatás felügyelt identitásokkal való konfigurálásáról.
Az API-kulcs, az alap, a típus és a verzió beszerzéséhez lépjen az Azure OpenAI portál csevegőterére , és válassza a Kód megtekintése gombot. Innen átmásolhatja a szükséges információkat, és beillesztheti őket a kapcsolatlétrehozási panelre.
A szükséges mezők bevitele után válassza a Mentés lehetőséget a kapcsolat létrehozásához.
A parancssori folyamat létrehozása és fejlesztése
A folyamat kezdőlapjának Folyamatok lapján válassza a Létrehozás lehetőséget az első parancssori folyamat létrehozásához. A gyűjteményben lévő minták klónozásával létrehozhat egy folyamatot.
Klónozás mintából
A beépített minták a katalógusban láthatók.
Ebben az útmutatóban webes besorolási mintával mutatjuk be a fő felhasználói folyamatot. A minta előnézetének megtekintéséhez válassza a Webbesorolás csempén a Részletek megtekintése lehetőséget. Ekkor megjelenik egy előnézeti ablak. A mintabemutatóban böngészve megállapíthatja, hogy a minta hasonló-e a forgatókönyvéhez. Vagy egyszerűen válassza a Klónozás lehetőséget a minta közvetlen klónozásához, majd a folyamat ellenőrzéséhez, teszteléséhez és módosításához.
A Klónozás lehetőség kiválasztása után létrejön egy új folyamat, amelyet a munkaterület fájlmegosztási tárolójában lévő adott mappába ment. A mappa nevét a jobb oldali panel beállításainak megfelelően szabhatja testre.
Automatikus futtatókörnyezet indítása (előzetes verzió)
Ezután beírja a folyamatkészítő lapot. Mielőtt belemerülnénk, először indítsunk egy futtatókörnyezetet.
A futtatókörnyezet az alkalmazás futtatásához szükséges számítási erőforrásokat tartalmazza, beleértve az összes szükséges függőségi csomagot tartalmazó Docker-rendszerképet is. A folyamat végrehajtásához kötelező megadni.
Az új felhasználók számára azt javasoljuk, hogy használja az automatikus futtatókörnyezetet (előzetes verzió), amely kívülről használható, és egyszerűen testre szabhatja a környezetet, ha requirements.txt fájlban lévő csomagokat adja hozzá a folyamatmappában. Mivel az automatikus futtatókörnyezet indítása egy ideig tart, javasoljuk, hogy a folyamat létrehozása előtt kezdje el először.
Folyamatkészítő oldal
Az automatikus futtatókörnyezet létrehozásakor áttekinthetjük a folyamatkészítő oldalt.
A szerzői oldal bal oldalán található az összesimított nézet, a fő munkaterület, ahol létrehozhatja a folyamatot, például új csomópontot adhat hozzá, szerkesztheti a kérést, kiválaszthatja a folyamat bemeneti adatait stb.
A jobb felső sarokban látható a folyamat mappaszerkezete. Minden folyamat rendelkezik egy flow.dag.yaml fájlt, forráskódfájlokat és rendszermappákat tartalmazó mappával. A folyamatokat egyszerűen exportálhatja vagy importálhatja tesztelési, üzembe helyezési vagy együttműködési célokra.
A csomópont összesimított nézetben történő beágyazott szerkesztése mellett bekapcsolhatja a Nyers fájl mód kapcsolót is, és kiválaszthatja a fájl nevét a fájl szerkesztéséhez a fájl megnyitása lapon.
A jobb alsó sarokban csak a vizualizáció gráfnézete látható. Nagyíthat, kicsinyíthet, automatikus elrendezést stb.
Ebben az útmutatóban webes besorolási mintát használunk a fő felhasználói folyamat végigjárásához. A webes besorolás egy többosztályos besorolást szemléltető folyamat az LLM használatával. Az URL-cím alapján az URL-címet egy webkategóriába sorolja be néhány lövéssel, egyszerű összegzéssel és besorolási kérésekkel. Például a "https://www.imdb.com/"" elemet megadva ezt az URL-címet a "Film" osztályba sorolja.
A gráfnézetben láthatja, hogyan néz ki a mintafolyamat. A bemenet egy URL-cím, amelyet osztályozni szeretne, majd Egy Python-szkripttel lekéri a szöveges tartalmat az URL-címből, az LLM használatával 100 szóban összegzi a szöveges tartalmat, majd az URL-cím és az összegzett szöveges tartalom alapján osztályozza, végül Python-szkripttel konvertálja az LLM-kimenetet szótárlá. A prepare_examples csomópont a besorolási csomópont parancssorának néhány példaképét ismerteti.
Folyamatbemeneti adatok
A Bemenetek szakasz kibontásakor bemeneteket hozhat létre és tekinthet meg. A webes besorolási minta esetében az alábbi képernyőképen látható módon a folyamat bemenete egy sztring típusú URL-cím.
A bemeneti séma (név: url; típus: sztring) és az érték már be van állítva a minták klónozásakor. Manuálisan másik értékre válthat, például "https://www.imdb.com/"" értékre.
LLM-csomópontok beállítása
Minden LLM-csomóponthoz ki kell választania egy kapcsolatot az LLM API-kulcsok beállításához.
Ebben a példában győződjön meg arról, hogy az API-típus csevegés, mivel az általunk megadott parancssori példa a csevegési API-hoz tartozik. A csevegési és befejezési API formátumbeli különbségének megismeréséhez tekintse meg a folyamat fejlesztését ismertető témakört.
Ezután a kiválasztott kapcsolattípustól függően ki kell választania egy üzembe helyezést vagy egy modellt. Ha Azure OpenAI-kapcsolatot használ, ki kell választania egy üzembe helyezést a legördülő listában (Ha nem rendelkezik üzembe helyezéssel, hozzon létre egyet az Azure OpenAI portálon az erőforrás létrehozása és a modell üzembe helyezése az Azure OpenAI használatával. Ha OpenAI-kapcsolatot használ, ki kell választania egy modellt.
A folyamatban két LLM-csomópont (summarize_text_content és classify_with_llm) található, ezért mindegyikhez be kell állítania.
Egyetlen csomópont futtatása
Egyetlen csomópont teszteléséhez és hibakereséséhez válassza a Futtatás ikont a csomóponton lapított nézetben. A futtatás állapota a legfelül jelenik meg, miután a futtatás befejeződött, ellenőrizze a kimenetet a csomópont kimeneti szakaszában.
Futtassa fetch_text_content_from_url, majd summarize_text_content, ellenőrizze, hogy a folyamat sikeresen le tudja-e kérni a tartalmat a webről, és összegezze a webes tartalmat.
Az egyetlen csomópont állapota a gráfnézetben is megjelenik. A folyamat bemeneti URL-címét is módosíthatja, hogy tesztelje a csomópont viselkedését a különböző URL-címek esetében.
A teljes folyamat futtatása
A teljes folyamat teszteléséhez és hibakereséséhez kattintson a jobb felső sarokban található Futtatás gombra.
Ezután ellenőrizheti az egyes csomópontok futtatási állapotát és kimenetét. A csomópontok állapota a gráf nézetben is megjelenik. Hasonlóképpen módosíthatja a folyamat bemeneti URL-címét, hogy tesztelje a folyamat viselkedését a különböző URL-címek esetében.
Folyamatkimenet beállítása és ellenőrzése
Az egyes csomópontokon lévő kimenetek ellenőrzése helyett beállíthatja a folyamat kimenetét, és több csomópont kimenetét is ellenőrizheti egy helyen. Ezenkívül a folyamat kimenete a következőkben segít:
- Tömeges teszteredmények ellenőrzése egyetlen táblában
- Kiértékelési felület leképezésének definiálása
- Üzembehelyezési válaszséma beállítása
A minta klónozásakor a folyamatkimenetek (kategória és bizonyítékok) már be vannak állítva. A kimenetek megtekintése lehetőséget választva ellenőrizheti a tábla kimeneteit.
Láthatja, hogy a folyamat egy kategóriával és bizonyítékkal előrejelzi a bemeneti URL-címet.
Tesztelés és értékelés
Miután a folyamat sikeresen lefutott egyetlen adatsorsal, érdemes lehet tesztelni, hogy jól működik-e nagy adatkészletekben, tömeges tesztet futtathat, és kiválaszthat néhány kiértékelési módszert, majd ellenőrizheti a metrikákat.
Adatok előkészítése
Először elő kell készítenie a tesztadatokat. Egyelőre támogatjuk a csv, a tsv és a jsonl fájlt.
Nyissa meg a GitHubot a "data.csv" letöltéséhez, amely a webbesorolási minta arany adatkészlete.
Értékelés
Válassza a Futtatás gomb melletti Kiértékelés gombot, majd megjelenik egy jobb oldali panel. Ez egy varázsló, amely végigvezeti a kötegelt futtatás elküldéséhez és a kiértékelési módszer kiválasztásához (nem kötelező).
Be kell állítania egy kötegelt futtatási nevet, leírást, ki kell jelölnie egy futtatókörnyezetet, majd az újonnan letöltött adatok feltöltéséhez válassza az Új adatok hozzáadása lehetőséget. Miután feltöltötte az adatokat, vagy ha a munkaterületen dolgozó munkatársai már létrehoztak egy adatkészletet, a legördülő menüből kiválaszthatja az adathalmazt, és megtekintheti az első öt sort. Az adathalmaz kiválasztásának legördülő menüje támogatja a keresést és az automatikus betöltést.
Emellett a bemeneti leképezés támogatja a folyamat bemenetének leképezését az adathalmaz egy adott adatoszlopára, ami azt jelenti, hogy bármely oszlopot használhat bemenetként, még akkor is, ha az oszlopnevek nem egyeznek.
Ezután válasszon ki egy vagy több kiértékelési módszert. A kiértékelési módszerek olyan folyamatok is, amelyek Pythont vagy LLM-et stb. használnak olyan metrikák kiszámításához, mint a pontosság, a relevancia pontszáma. A beépített kiértékelési folyamatok és a testre szabottak az oldalon jelennek meg. Mivel a webes besorolás egy besorolási forgatókönyv, érdemes kiválasztani a kiértékelendő besorolási pontosság kiértékelését .
Ha érdekli a metrikák definiálása a beépített kiértékelési módszerekhez, a További részletek lehetőség kiválasztásával megtekintheti a kiértékelési folyamatokat.
A besorolási pontosság kiértékelése kiértékelési módszerként való kiválasztása után a felületleképezést úgy állíthatja be, hogy az alapigazságot leképezi a folyamatbemenetre és az előrejelzést a folyamat kimenetére.
Ezután válassza a Véleményezés + küldés lehetőséget egy kötegelt futtatás és a kiválasztott értékelés elküldéséhez.
Eredmények ellenőrzése
A futtatás sikeres elküldése után válassza a Futtatási lista megtekintése lehetőséget a folyamat kötegelt futtatási listájára való navigáláshoz.
A kötegelt futtatás eltarthat egy ideig. A lap frissítésével betöltheti a legújabb állapotot.
A kötegelt futtatás befejezése után válassza ki a futtatás, majd a kimenetek vizualizálása a kötegelt futtatás eredményének megtekintéséhez. Válassza a Kimenetek megtekintése (szem ikon) lehetőséget, ha hozzá szeretné fűzni a kiértékelési eredményeket a kötegelt futtatási eredmények táblázatához. Láthatja a jogkivonatok teljes számát és általános pontosságát, majd a táblázatban az egyes adatsorok eredményeit láthatja: a bemenetet, a folyamat kimenetét és a kiértékelési eredményeket (mely esetek lesznek helyesen előre jelezve, és melyek nem)..
Módosíthatja az oszlopok szélességét, elrejtheti vagy felfedheti az oszlopokat, módosíthatja az oszlopsorrendeket. Az Exportálás lehetőséget választva további vizsgálat céljából letöltheti a kimeneti táblát. Két lehetőséget biztosítunk:
- Töltse le az aktuális lapot: a kötegelt futtatási kimenetek csv-fájlja az aktuális lapon.
- Töltse le az összes adatot: a letöltött fájl egy Jupyter-jegyzetfüzetfájl, amelyet le kell futtatnia a kimenetek jsonl vagy csv formátumban való letöltéséhez.
Mint bizonyára tudja, a pontosság nem az egyetlen metrika, amely kiértékelheti a besorolási feladatokat, például visszahívással is kiértékelheti. Ebben az esetben a "Kimenetek vizualizációja" gomb mellett válassza a Kiértékelés lehetőséget, és válasszon más kiértékelési módszereket.
Telepítés
A folyamat létrehozása és megfelelő tesztelése után érdemes lehet végpontként üzembe helyezni, hogy valós idejű következtetés céljából meghívhassa a végpontot.
A végpont konfigurálása
Válassza ki a batch run linket, majd a rendszer átirányítja a kötegelt futtatás részletes lapjára, és válassza az Üzembe helyezés lehetőséget. Megjelenik egy varázsló, amely lehetővé teszi a végpont konfigurálását. Adja meg a végpontot és az üzembe helyezés nevét, válasszon ki egy virtuális gépet, állítsa be a kapcsolatokat, végezze el a beállításokat (használhatja az alapértelmezett beállításokat), válassza a Véleményezés + létrehozás lehetőséget az üzembe helyezés elindításához.
A végpont tesztelése
Az értesítésből megnyithatja a végpont részleteinek lapját, vagy navigálhat a Végpontok elemre a stúdió bal oldali navigációs sávján, majd kiválaszthatja a végpontot a Valós idejű végpontok lapon. A végpont üzembe helyezése több percet vesz igénybe. A végpont sikeres üzembe helyezése után tesztelheti a Teszt lapon.
Helyezze a tesztelni kívánt URL-címet a beviteli mezőbe, és válassza a Tesztelés lehetőséget, majd megjelenik a végpont által előrejelzett eredmény.
Az erőforrások eltávolítása
Ha most tovább szeretné folytatni az útmutatókat, és használni szeretné az itt létrehozott erőforrásokat, ugorjon a Következő lépésekre.
Számítási példány leállítása
Ha most nem fogja használni, állítsa le a számítási példányt:
- A stúdió bal oldali navigációs területén válassza a Számítás lehetőséget.
- A felső lapokban válassza a Számítási példányok lehetőséget
- Válassza ki a számítási példányt a listában.
- A felső eszköztáron válassza a Leállítás lehetőséget.
Az összes erőforrás törlése
Ha nem tervezi használni a létrehozott erőforrások egyikét sem, törölje őket, hogy ne járjon költséggel:
- Az Azure Portalon válassza az Erőforráscsoportok lehetőséget a bal szélen.
- A listából válassza ki a létrehozott erőforráscsoportot.
- Válassza az Erőforráscsoport törlése elemet.
Következő lépések
Most, hogy megismerkedett a folyamatok fejlesztésének, tesztelésének, kiértékelésének és üzembe helyezésének folyamatával, az alábbi oktatóanyagokban további információt tudhat meg a folyamatról: