A JAIS üzembe helyezése az Azure Machine Learning Studióval

Cikk
10/16/2024

Ebből a cikkből megtudhatja, hogyan helyezheti üzembe a JAIS-modellt szolgáltatásként az Azure Machine Learning Studióval a számlázás során.

A JAIS-modell az Azure Machine Learning Studióban érhető el használatalapú jogkivonatalapú számlázással és szolgáltatásként használt modellekkel.

A JAIS-modellt a modellkatalógusban a JAIS-gyűjteményre való szűréssel találja meg.

Előfeltételek

Érvényes fizetési móddal rendelkező Azure-előfizetés. Az ingyenes vagy próbaverziós Azure-előfizetések nem működnek. Ha nem rendelkezik Azure-előfizetéssel, hozzon létre egy fizetős Azure-fiókot .
Egy Azure Machine Learning-munkaterület. Ha nem rendelkezik ezekkel, a gyorsútmutató lépéseit követve hozza létre a munkaterület erőforrásait ismertető cikket. A kiszolgáló nélküli API-modell üzembe helyezési ajánlata a JAIS-hez csak az ezekben a régiókban létrehozott munkaterületekkel érhető el:
- USA keleti régiója
- USA 2. keleti régiója
- USA északi középső régiója
- USA déli középső régiója
- USA nyugati régiója
- USA 3. nyugati régiója
- Közép-Svédország
A kiszolgáló nélküli API-végpontok üzembe helyezését támogató egyes modellekhez elérhető régiók listáját a kiszolgáló nélküli API-végpontok modelljeinek Régiónkénti rendelkezésre állása című témakörben találja.
Az Azure szerepköralapú hozzáférés-vezérlései (Azure RBAC) az Azure AI Studióban végzett műveletekhez való hozzáférést biztosítják. A cikkben ismertetett lépések végrehajtásához a felhasználói fiókhoz hozzá kell rendelni az Azure AI Developer szerepkört az erőforráscsoportban. Az engedélyekről további információt az Azure AI Studio szerepköralapú hozzáférés-vezérlésében talál.

JAIS 30b csevegés

A JAIS 30b Chat egy automatikus regresszív kétnyelvű LLM arab és angol nyelven. A hangolt verziók felügyelt finomhangolást (SFT) használnak. A modell arab és angol parancssori válaszpárokkal is finomhangolt. Az adathalmazok finomhangolása számos utasítási adatot tartalmazott különböző tartományokban. A modell számos gyakori feladatot tartalmaz, beleértve a kérdések megválaszolását, a kódgenerálást és a szöveges tartalomra vonatkozó érvelést. Az arab nyelv teljesítményének növelése érdekében a Core42 csapata kifejlesztett egy belső arab adatkészletet, valamint lefordított néhány nyílt forráskódú angol utasítást arabra.

Környezet hossza: A JAIS 30b Csevegés 8K-s környezethosszt támogat.

Bemenet: A modell bemenete csak szöveg.

Kimenet: A modell csak szöveget hoz létre.

Fontos

Ez a funkció jelenleg nyilvános előzetes verzióban érhető el. Ez az előzetes verzió szolgáltatásszintű szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik.

További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.

Üzembe helyezés használatalapú fizetéssel

A modellkatalógus egyes modelljei használatalapú fizetéssel üzembe helyezhetők szolgáltatásként, így anélkül használhatják őket API-ként, hogy azokat az előfizetésben üzemeltetni kellene, miközben a vállalati biztonsági és megfelelőségi szervezeteknek is szükségük van rájuk. Ez az üzembe helyezési beállítás nem igényel kvótát az előfizetésből.

A korábban említett JAIS 30b csevegőmodell használatalapú fizetéses szolgáltatásként telepíthető, és a Core42 a Microsoft Azure Marketplace-en keresztül kínálja. A Core42 módosíthatja vagy frissítheti a modell használati feltételeit és díjszabását.

Új üzembe helyezés létrehozása

Üzembe helyezés létrehozása:

Nyissa meg az Azure Machine Learning Studiót.
Válassza ki azt a munkaterületet, amelyben üzembe szeretné helyezni a modelleket. A használatalapú fizetéses modell üzembe helyezési ajánlatának használatához a munkaterületnek az EastUS2 vagy a Svédország középső régiójához kell tartoznia.
Keresse meg a JAIS-t, és válassza ki a Jais-30b-chat modellt a modellkatalógusból.
A modellkatalógus áttekintési lapján válassza az Üzembe helyezés lehetőséget.
Az üzembe helyezési varázslóban válassza az Azure Marketplace-feltételekre mutató hivatkozást, hogy többet tudjon meg a használati feltételekről.
A kiválasztott modell díjszabásáról a Díjszabás és a feltételek lapon is tájékozódhat.
Ha először helyezi üzembe a modellt a munkaterületen, elő kell fizetnie a munkaterületet a modell adott ajánlatára. Ehhez a lépéshez a fióknak rendelkeznie kell az Azure AI Fejlesztői szerepkör engedélyekkel az erőforráscsoporton az előfeltételekben felsorolt módon. Minden munkaterület saját előfizetéssel rendelkezik az adott Azure Marketplace-ajánlathoz, amely lehetővé teszi a kiadások szabályozását és monitorozását. Válassza a Feliratkozás és üzembe helyezés lehetőséget. Jelenleg egy munkaterületen belül minden modellhez csak egy üzemelő példány lehet.
Miután előfizetett a munkaterületre az adott Azure Marketplace-ajánlatra, ugyanazon ajánlat későbbi üzembe helyezései ugyanazon a munkaterületen nem igényelnek újra előfizetést. Ha ez a forgatókönyv vonatkozik Önre, akkor a Tovább telepítendő lehetőséget kell választania.
Adjon nevet az üzembe helyezésnek. Ez a név az üzembehelyezési API URL-címének részévé válik. Ennek az URL-címnek minden Azure-régióban egyedinek kell lennie.
Válassza az Üzembe helyezés lehetőséget. Várja meg, amíg az üzembe helyezés befejeződik, és a rendszer átirányítja a kiszolgáló nélküli végpontok lapjára.
Válassza ki a végpontot a Részletek lap megnyitásához.
Válassza a Teszt fület a modell használatához.
A Végpontok kiszolgáló nélküli végpontjaira>lépve> mindig megtalálhatja a végpont részleteit, URL-címét és hozzáférési kulcsait.
Jegyezze fel a cél URL-címét és a titkos kulcsot. Az API-k használatával kapcsolatos további információkért tekintse meg a referenciaszakaszt.

A használatalapú fizetéssel üzembe helyezett modellek számlázásával kapcsolatos információkért tekintse meg a szolgáltatásként üzembe helyezett JAIS-modellek költség- és kvótaalapú szempontjait.

A JAIS 30b csevegőmodell használata szolgáltatásként

Ezek a modellek a csevegő API használatával használhatók.

A munkaterületen válassza a végpontok lapot a bal oldalon.
Lépjen a Kiszolgáló nélküli végpontok lapra.
Válassza ki az üzembe helyezést a JAIS 30b Csevegéshez.
Az üzembe helyezést a Teszt lapon tesztelheti.
Az API-k használatához másolja a cél URL-címét és a kulcs értékét.

Az API-k használatával kapcsolatos további információkért tekintse meg a referenciaszakaszt.

Chat API-referencia szolgáltatásként üzembe helyezett JAIS-hez

v1/chat/completions

Kérés

    POST /v1/chat/completions HTTP/1.1
    Host: <DEPLOYMENT_URI>
    Authorization: Bearer <TOKEN>
    Content-type: application/json

v1/chat/completions kérelemséma

A JAIS 30b Chat a következő paramétereket fogadja el egy válaszkövető v1/chat/completions híváshoz:

Tulajdonság	Típus	Alapértelmezett	Leírás
`messages`	`array`	`None`	Szövegbevitel a modellhez, amelyre válaszolni szeretne.
`max_tokens`	`integer`	`None`	A modell által a válasz részeként létrehozott jogkivonatok maximális száma. Megjegyzés: Az alacsony érték beállítása hiányos generációkhoz vezethet. Ha nincs megadva, jogkivonatokat hoz létre a sorozat végéig.
`temperature`	`float`	`0.3`	Szabályozza a modell véletlenszerűségét. Az alacsonyabb értékek determinisztikusabbá teszik a modellt, a magasabb értékek pedig véletlenszerűbbé teszik a modellt.
`top_p`	`float`	`None`	A legnagyobb valószínűségű paraméterszkincs-jogkivonatok eloszlási valószínűsége a magminták mintavételezéséhez, alapértelmezés szerint null.
`top_k`	`integer`	`None`	A legnagyobb valószínűségű szókincs-jogkivonatok száma a legfelső szintű szűréshez, alapértelmezés szerint null.

A rendszer vagy a felhasználói üzenet a következő tulajdonságokat támogatja:

Tulajdonság	Típus	Alapértelmezett	Leírás
`role`	`enum`	Kötelező	`role=system` vagy `role=user`.
`content`	`string`	Kötelező	Szövegbevitel a modellhez, amelyre válaszolni szeretne.

A segédüzenetek a következő tulajdonságokat támogatják:

Tulajdonság	Típus	Alapértelmezett	Leírás
`role`	`enum`	Szükséges	`role=assistant`
`content`	`string`	Szükséges	Az asszisztens üzenetének tartalma.

v1/chat/completions válaszséma

A válasz hasznos adata egy szótár, amely a következő mezőket tartalmazza:

Kulcs	Típus	Leírás
`id`	`string`	A befejezés egyedi azonosítója.
`choices`	`array`	A bemeneti üzenetekhez létrehozott modell által létrehozott befejezési lehetőségek listája.
`created`	`integer`	A befejezés létrehozásának unix-időbélyege (másodpercben).
`model`	`string`	A befejezéshez használt model_id.
`object`	`string`	chat.completion.
`usage`	`object`	A befejezési kérelem használati statisztikái.

Az choices objektum egy szótár, amely a következő mezőket tartalmazza:

Kulcs	Típus	Leírás
`index`	`integer`	Választási lehetőségek indexe.
`messages` vagy `delta`	`string`	A csevegés befejezése üzenetobjektumot eredményez. Streamelési mód használata esetén a rendszer deltakulcsot használ.
`finish_reason`	`string`	A modell leállította a jogkivonatok létrehozásának leállítását.

Az usage objektum egy szótár, amely a következő mezőket tartalmazza:

Kulcs	Típus	Leírás
`prompt_tokens`	`integer`	A jogkivonatok száma a parancssorban.
`completion_tokens`	`integer`	A befejezéskor létrehozott jogkivonatok száma.
`total_tokens`	`integer`	Összes jogkivonat.

Példák

Arab

Kérés:

    "messages": [
        {
        "role": "user",
        "content": "ما هي الأماكن الشهيرة التي يجب زيارتها في الإمارات؟"
        }
    ]

Válasz:

    {
        "id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
        "choices": [
            {
                "index": 0,
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": "هناك العديد من الأماكن المذهلة للزيارة في الإمارات! ومن أشهرها برج خليفة في دبي وهو أطول مبنى في العالم ، ومسجد الشيخ زايد الكبير في أبوظبي والذي يعد أحد أجمل المساجد في العالم ، وصحراء ليوا في الظفرة والتي تعد أكبر صحراء رملية في العالم وتجذب الكثير من السياح لتجربة ركوب الجمال والتخييم في الصحراء. كما يمكن للزوار الاستمتاع بالشواطئ الجميلة في دبي وأبوظبي والشارقة ورأس الخيمة، وزيارة متحف اللوفر أبوظبي للتعرف على تاريخ الفن والثقافة العالمية"
                }
            }
        ],
        "created": 1711734274,
        "model": "jais-30b-chat",
        "object": "chat.completion",
        "usage": {
            "prompt_tokens": 23,
            "completion_tokens": 744,
            "total_tokens": 767
        }
    }

Angol

Kérés:

    "messages": [
        {
        "role": "user",
        "content": "List the emirates of the UAE."
        }
    ]

Válasz:

    {
        "id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
        "choices": [
            {
                "index": 0,
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": "The seven emirates of the United Arab Emirates are: Abu Dhabi, Dubai, Sharjah, Ajman, Umm Al-Quwain, Fujairah, and Ras Al Khaimah."
                }
            }
        ],
        "created": 1711734274,
        "model": "jais-30b-chat",
        "object": "chat.completion",
        "usage": {
            "prompt_tokens": 23,
            "completion_tokens": 60,
            "total_tokens": 83
        }
    }

További következtetési példák

Mintatípus	Minta jegyzetfüzet:
CLI CURL- és Python-webkérelmek használatával	webrequests.ipynb
OpenAI SDK (kísérleti)	openaisdk.ipynb
LiteLLM	litellm.ipynb

Költség és kvóták

A szolgáltatásként üzembe helyezett modellek költség- és kvótaalapú szempontjai

A JAIS 30b Chat szolgáltatásként van üzembe helyezve, amelyet a Core42 kínál az Azure Marketplace-en keresztül, és integrálva van az Azure AI Studióval használatra. A modell üzembe helyezésekor megtalálja az Azure Marketplace díjszabását.

Minden alkalommal, amikor egy projekt előfizet egy adott ajánlatra az Azure Marketplace-ről, egy új erőforrás jön létre a használathoz kapcsolódó költségek nyomon követéséhez. Ugyanazt az erőforrást használja a következtetéshez kapcsolódó költségek nyomon követésére; azonban több mérőeszköz is rendelkezésre áll az egyes forgatókönyvek egymástól függetlenül történő nyomon követéséhez.

A költségek nyomon követéséről további információt az Azure Marketplace-en kínált modellek költségeinek monitorozása című témakörben talál.

A kvóta kezelése üzemelő példányonként történik. Minden üzemelő példányhoz 200 000 token/perc sebességkorlát és percenként 1000 API-kérés tartozik. Jelenleg azonban modellenként és projektenként csak egy telepítésre van lehetőség. Lépjen kapcsolatba a Microsoft Azure ügyfélszolgálatával, ha az aktuális díjszabási korlátok nem elegendőek az Ön forgatókönyveihez.

Tartalomszűrés

A szolgáltatásként használatalapú fizetéssel üzembe helyezett modelleket az Azure AI Content Safety védi. Az Azure AI-tartalombiztonsággal a parancssor és a befejezés is olyan besorolási modellek együttesén megy keresztül, amelyek célja a káros tartalmak kimenetének észlelése és megakadályozása. A tartalomszűrési (előzetes verzió) rendszer észleli és műveletet hajt végre a potenciálisan káros tartalmak meghatározott kategóriáiban mind a bemeneti kérésekben, mind a kimeneti befejezésekben. A tartalomszűrésről itt olvashat bővebben.

Megosztás a következőn keresztül: