Megosztás a következőn keresztül:

Mistral-modellek üzembe helyezése az Azure Machine Learning Studióval

  • Cikk

Ebből a cikkből megtudhatja, hogyan helyezheti üzembe az Azure Machine Learning Studióval a Mistral modellcsaládot kiszolgáló nélküli API-kként használatalapú jogkivonatalapú számlázással.

A Mistral AI két modellkategóriát kínál az Azure Machine Learning Studióban. Ezek a modellek a modellkatalógusban érhetők el.

  • Prémium modellek: Mistral Large (2402), Mistral Large (2407) és Mistral Small.
  • Nyitott modellek: Mistral Nemo, Mixtral-8x7B-Instruct-v01, Mixtral-8x7B-v01, Mistral-7B-Instruct-v01 és Mistral-7B-v01.

Az összes prémium modell és a Mistral Nemo (nyitott modell) kiszolgáló nélküli API-ként telepíthető használatalapú jogkivonatalapú számlázással. A többi nyitott modell üzembe helyezhető a saját Azure-előfizetésében lévő felügyelt számításokhoz.

A modellkatalógus Mistral-modellcsaládját a Mistral-gyűjteményre való szűréssel böngészheti.

Mistral modellcsalád

A Mistral Large a Mistral AI legfejlettebb nagy nyelvi modellje (LLM). Bármilyen nyelvalapú feladathoz használható, a legkorszerűbb érvelési és tudásbeli képességeinek köszönhetően. A Mistral Large modellverzióhoz két változat érhető el:

  • Mistral Large (2402)
  • Mistral Large (2407)

Emellett a Mistral Large (2402) néhány attribútuma a következők:

  • RAG-ra specializálódott. A fontos információk nem vesznek el a hosszú környezetablakok közepén (legfeljebb 32 K-jogkivonat).
  • Erős kódolás. Kódlétrehozás, áttekintés és megjegyzések. Támogatja az összes általános kódolási nyelvet.
  • Többnyelvű kialakítás. Az osztály legjobb teljesítménye francia, német, spanyol és olasz nyelven az angol mellett. Több tucat más nyelv is támogatott.
  • Felelős AI-kompatibilis. Hatékony védőkorlátok a modellben, és extra biztonsági réteg a safe_mode lehetőséggel.

A Mistral Large (2407) attribútumai a következők:

  • Többnyelvű kialakítás. Több tucat nyelvet támogat, köztük az angolt, a franciát, a németet, a spanyolt és az olaszt.
  • Jártas a kódolásban. Több mint 80 kódolási nyelvre van betanítva, beleértve a Pythont, a Java-t, a C-t, a C++-ot, a JavaScriptet és a Basht. Emellett speciálisabb nyelvekre, például Swiftre és Fortran-ra is betanított.
  • Ügynök-központú. Ügynöki képességekkel rendelkezik natív függvényhívással és JSON-kimenettel.
  • Speciális érvelés. A legkorszerűbb matematikai és érvelési képességeket mutatja be.

Fontos

Ez a funkció jelenleg nyilvános előzetes verzióban érhető el. Ez az előzetes verzió szolgáltatásszintű szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik.

További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.

Mistral modellcsalád üzembe helyezése kiszolgáló nélküli API-ként

A modellkatalógus bizonyos modelljei üzembe helyezhetők kiszolgáló nélküli API-ként használatalapú számlázással. Ez a fajta üzembe helyezés lehetővé teszi a modellek API-ként való használatát anélkül, hogy az előfizetésében üzemelteti őket, miközben megtartja a vállalati biztonságot és megfelelőséget, amire a szervezeteknek szükségük van. Ez az üzembe helyezési beállítás nem igényel kvótát az előfizetésből.

A Mistral Large (2402), a Mistral Large (2407), a Mistral Small és a Mistral Nemo kiszolgáló nélküli API-ként telepíthető használatalapú számlázással, és a Mistral AI a Microsoft Azure Marketplace-en keresztül kínálja. A Mistral AI módosíthatja vagy frissítheti ezeknek a modelleknek a használati feltételeit és díjszabását.

Előfeltételek

  • Érvényes fizetési móddal rendelkező Azure-előfizetés. Az ingyenes vagy próbaverziós Azure-előfizetések nem működnek. Ha nem rendelkezik Azure-előfizetéssel, hozzon létre egy fizetős Azure-fiókot .

  • Egy Azure Machine Learning-munkaterület. Ha nincs munkaterülete, a gyorsútmutató lépéseit követve hozzon létre egy munkaterület-erőforrást tartalmazó cikket. A kiszolgáló nélküli API-modell üzembe helyezési ajánlata a Mistral-család jogosult modelljeihez csak az ezekben a régiókban létrehozott munkaterületeken érhető el:

    • USA keleti régiója
    • USA 2. keleti régiója
    • USA északi középső régiója
    • USA déli középső régiója
    • USA nyugati régiója
    • USA 3. nyugati régiója
    • Közép-Svédország

    A kiszolgáló nélküli API-végpontok üzembe helyezését támogató egyes modellekhez elérhető régiók listáját lásd : A kiszolgáló nélküli API-végpontok modelljeinek régiónkénti rendelkezésre állása

  • Az Azure-beli szerepköralapú hozzáférés-vezérlések (Azure RBAC) az Azure gépi tanulás műveleteihez való hozzáférést biztosítják. A cikkben ismertetett lépések végrehajtásához a felhasználói fiókhoz hozzá kell rendelni az Azure AI Developer szerepkört az erőforráscsoportban. Az engedélyekről további információt az Azure gépi tanulás munkaterülethez való hozzáférés kezelése témakörnél talál.

Új üzembe helyezés létrehozása

Az alábbi lépések a Mistral Large (2402) üzembe helyezését mutatják be, de ugyanezekkel a lépésekkel helyezheti üzembe a Mistral Nemo-t vagy a prémium Mistral-modellek bármelyikét a modell nevének lecserélésével.

Üzembe helyezés létrehozása:

  1. Nyissa meg az Azure Machine Learning Studiót.

  2. Válassza ki azt a munkaterületet, amelyben üzembe szeretné helyezni a modellt. A kiszolgáló nélküli API-modell üzembe helyezési ajánlatának használatához a munkaterületnek az előfeltételek között felsorolt régiók egyikéhez kell tartoznia.

  3. Válassza ki az üzembe helyezni kívánt modellt, például a Mistral Large (2402) modellt a modellkatalógusból.

    Másik lehetőségként elindíthatja az üzembe helyezést a munkaterületre lépve, és válassza a Kiszolgáló nélküli végpontok>>létrehozása lehetőséget.

  4. A modell áttekintési lapján a modellkatalógusban válassza a Központi telepítés lehetőséget a modell kiszolgáló nélküli API üzembehelyezési ablakának megnyitásához.

  5. Jelölje be a jelölőnégyzetet a Microsoft vásárlási szabályzatának nyugtázásához.

    Képernyőkép a modell kiszolgáló nélküli API-ként való üzembe helyezéséről.

  6. Az üzembe helyezési varázslóban válassza az Azure Marketplace-feltételekre mutató hivatkozást, hogy többet tudjon meg a használati feltételekről.

  7. A kiválasztott modell díjszabásáról a Díjszabás és a feltételek lapon is tájékozódhat.

  8. Ha először helyezi üzembe a modellt a munkaterületen, elő kell fizetnie a munkaterületet az adott ajánlatra (például Mistral Large (2402)). Ehhez a lépéshez a fióknak rendelkeznie kell az Azure AI Fejlesztői szerepkör engedélyekkel az erőforráscsoporton az előfeltételekben felsorolt módon. Minden munkaterület saját előfizetéssel rendelkezik az adott Azure Marketplace-ajánlathoz, amely lehetővé teszi a kiadások szabályozását és monitorozását. Válassza a Feliratkozás és üzembe helyezés lehetőséget. Jelenleg egy munkaterületen belül minden modellhez csak egy üzemelő példány lehet.

  9. Miután előfizetett a munkaterületre az adott Azure Marketplace-ajánlatra, ugyanazon ajánlat későbbi üzembe helyezései ugyanazon a munkaterületen nem igényelnek újra előfizetést. Ha ez a forgatókönyv vonatkozik Önre, megjelenik egy tovább üzembe helyezési lehetőség, amely kiválasztva lesz.

    Képernyőkép az ajánlatra már előfizetett munkaterületről.

  10. Adjon nevet az üzembe helyezésnek. Ez a név az üzembehelyezési API URL-címének részévé válik. Ennek az URL-címnek minden Azure-régióban egyedinek kell lennie.

    Képernyőkép arról, hogyan jelezheti a létrehozni kívánt üzembe helyezés nevét.

  11. Válassza az Üzembe helyezés lehetőséget. Várja meg, amíg az üzembe helyezés befejeződik, és a rendszer átirányítja a kiszolgáló nélküli végpontok lapjára.

  12. Válassza ki a végpontot a Részletek lap megnyitásához.

  13. Válassza a Teszt fület a modell használatához.

  14. A Végpontok kiszolgáló nélküli végpontjaira>lépve> mindig megtalálhatja a végpont részleteit, URL-címét és hozzáférési kulcsait.

A kiszolgáló nélküli API-ként, használatalapú jogkivonatalapú számlázással üzembe helyezett Mistral-modellek számlázásáról a szolgáltatásként üzembe helyezett Mistral-modellek költség- és kvótaalapú szempontjait ismertető cikkben olvashat.

A modellek Mistral-családjának használata szolgáltatásként

A Mistral-modelleket a csevegési API használatával használhatja.

  1. A munkaterületen válassza a Kiszolgáló nélküli végpontok>végpontokat.
  2. Keresse meg és válassza ki a létrehozott üzembe helyezést.
  3. Másolja ki a cél URL-címét és a kulcsjogkivonat értékeit.
  4. Hozzon létre egy API-kérést az útvonalOn található Azure AI-modell következtetési API-jának és a natív Mistral Chat API-nak /v1/chat/completionsa /chat/completions használatával.

Az API-k használatával kapcsolatos további információkért tekintse meg a referenciaszakaszt.

Referencia a szolgáltatásként üzembe helyezett Mistral modellcsaládra

A Mistral-modellek elfogadják az útvonalon futó Azure AI-modell következtetési API-t és a natív /chat/completionsMistral Chat API-t is./v1/chat/completions

Azure AI-modell következtetési API

Az Azure AI-modell következtetési API sémája megtalálható a Csevegésbefejezések referenciája című cikkben, és OpenAPI-specifikáció is beszerezhető magáról a végpontról.

Mistral Chat API

A metódus POST használatával küldje el a kérést az /v1/chat/completions útvonalra:

Kérelem

POST /v1/chat/completions HTTP/1.1
Host: <DEPLOYMENT_URI>
Authorization: Bearer <TOKEN>
Content-type: application/json

Séma kérése

A hasznos adat egy JSON formátumú sztring, amely a következő paramétereket tartalmazza:

Kulcs Típus Alapértelmezett Leírás
messages string Nincs alapértelmezett értéke. Ezt az értéket meg kell adni. A modell kéréséhez használandó üzenetek üzenete vagy előzményei.
stream boolean False A streamelés lehetővé teszi, hogy a létrehozott jogkivonatok csak a kiszolgáló által küldött eseményekként legyenek elküldve, amikor elérhetővé válnak.
max_tokens integer 8192 A befejezéskor létrehozandó jogkivonatok maximális száma. A parancssor jogkivonatszáma plusz max_tokens nem haladhatja meg a modell környezethosszát.
top_p float 1 A hőmérséklettel történő mintavételezés alternatíva, az úgynevezett magmintavétel, ahol a modell a valószínűségi tömeggel rendelkező top_p tokenek eredményeit veszi figyelembe. A 0.1 tehát csak a felső 10%-os valószínűségi tömeget tartalmazó jogkivonatokat jelenti. Általában azt javasoljuk, hogy top_p módosítsa vagy temperature, de nem mindkettőt.
temperature float 1 A használandó mintavételi hőmérséklet 0 és 2 között. A magasabb értékek a modellminták szélesebb körű eloszlását jelentik. A nulla a kapzsi mintavételezést jelenti. Javasoljuk, hogy módosítsa ezt a paramétert vagy top_p, de mindkettőt nem.
ignore_eos boolean False Figyelmen kívül hagyja-e az EOS-jogkivonatot, és folytatja-e a jogkivonatok létrehozásának folytatását az EOS-jogkivonat létrehozása után.
safe_prompt boolean False Azt jelzi, hogy minden beszélgetés előtt be kell-e szúrni egy biztonsági kérdést.

Az messages objektum a következő mezőket tartalmazza:

Kulcs Típus Érték
content string Az üzenet tartalma. Minden üzenethez tartalomra van szükség.
role string Az üzenet szerzőjének szerepe. Az egyik systemvagy userassistanta másik.

Példa kérése

Törzs

{
    "messages":
    [
        { 
        "role": "system", 
        "content": "You are a helpful assistant that translates English to Italian."
        },
        {
        "role": "user", 
        "content": "Translate the following sentence from English to Italian: I love programming."
        }
    ],
    "temperature": 0.8,
    "max_tokens": 512,
}

Válaszséma

A válasz hasznos adatai egy szótár, amely a következő mezőket tartalmazza.

Kulcs Típus Leírás
id string A befejezés egyedi azonosítója.
choices array A bemeneti üzenetekhez létrehozott modell által létrehozott befejezési lehetőségek listája.
created integer A befejezés létrehozásának unix-időbélyege (másodpercben).
model string A befejezéshez használt model_id.
object string Az objektum típusa, amely mindig chat.completion.
usage object A befejezési kérelem használati statisztikái.

Tipp.

A streamelési módban a válasz minden egyes adattömbje mindig nullelérhető, finish_reason kivéve az utolsót, amely egy hasznos adattal [DONE]végződik . choices Minden objektumban a kulcs messages módosítása a következő szerint deltatörténik: .

Az choices objektum egy szótár, amely a következő mezőket tartalmazza.

Kulcs Típus Leírás
index integer Választási lehetőségek indexe. 1 esetén best_of> előfordulhat, hogy a tömb indexe nem megfelelő, és lehet, hogy nem 0 a következő.n-1
messages vagy delta string A csevegés befejezése objektumot eredményez messages . Streamelési mód használata delta esetén a rendszer a kulcsot használja.
finish_reason string Az ok, amiért a modell leállította a jogkivonatok előállítását:
- stop: a modell egy természetes leállítási pontot vagy egy megadott leállítási sorozatot ért el.
- length: ha elérte a jogkivonatok maximális számát.
- content_filter: Amikor az RAI moderál és a CMP moderálást kényszerít
- content_filter_error: hiba a moderálás során, és nem tudott döntést hozni a válaszról
- null: Az API-válasz még folyamatban van vagy hiányos.
logprobs object A kimeneti szövegben létrehozott jogkivonatok napló valószínűségei.

Az usage objektum egy szótár, amely a következő mezőket tartalmazza.

Kulcs Típus Érték
prompt_tokens integer A jogkivonatok száma a parancssorban.
completion_tokens integer A befejezéskor létrehozott jogkivonatok száma.
total_tokens integer Összes jogkivonat.

Az logprobs objektum egy szótár, amely a következő mezőket tartalmazza:

Kulcs Típus Érték
text_offsets arrayintegers-ból Az egyes tokenek pozíciója vagy indexe a befejezési kimenetben.
token_logprobs arrayfloat-ból A tömb szótárából van kiválasztva logprobs top_logprobs .
tokens arraystring-ból Kijelölt jogkivonatok.
top_logprobs arraydictionary-ból Szótártömb. Minden szótárban a kulcs a jogkivonat, az érték pedig a próba.

Példa válaszra

A következő JSON egy példaválasz:

{
    "id": "12345678-1234-1234-1234-abcdefghijkl",
    "object": "chat.completion",
    "created": 2012359,
    "model": "",
    "choices": [
        {
            "index": 0,
            "finish_reason": "stop",
            "message": {
                "role": "assistant",
                "content": "Sure, I\'d be happy to help! The translation of ""I love programming"" from English to Italian is:\n\n""Amo la programmazione.""\n\nHere\'s a breakdown of the translation:\n\n* ""I love"" in English becomes ""Amo"" in Italian.\n* ""programming"" in English becomes ""la programmazione"" in Italian.\n\nI hope that helps! Let me know if you have any other sentences you\'d like me to translate."
            }
        }
    ],
    "usage": {
        "prompt_tokens": 10,
        "total_tokens": 40,
        "completion_tokens": 30
    }
}

További következtetési példák

Mintatípus Minta jegyzetfüzet:
CLI CURL- és Python-webkérelmek használatával webrequests.ipynb
OpenAI SDK (kísérleti) openaisdk.ipynb
LangChain langchain.ipynb
Miistral AI mistralai.ipynb
LiteLLM litellm.ipynb

Költség és kvóták

A szolgáltatásként üzembe helyezett Mistral modellcsalád költség- és kvótaalapú szempontjai

A szolgáltatásként üzembe helyezett Mistral-modelleket a Mistral AI kínálja az Azure Marketplace-en keresztül, és integrálva van az Azure Machine Learning Studióval használat céljából. A modellek üzembe helyezésekor megtalálja az Azure Marketplace díjszabását.

Minden alkalommal, amikor egy munkaterület előfizet egy adott modellajánlatra az Azure Marketplace-ről, egy új erőforrás jön létre a használathoz kapcsolódó költségek nyomon követéséhez. Ugyanazt az erőforrást használja a következtetéshez kapcsolódó költségek nyomon követésére; azonban több mérőeszköz is rendelkezésre áll az egyes forgatókönyvek egymástól függetlenül történő nyomon követéséhez.

A költségek nyomon követéséről további információt az Azure Marketplace-en kínált modellek költségeinek monitorozása című témakörben talál.

A kvóta kezelése üzemelő példányonként történik. Minden üzemelő példányhoz 200 000 token/perc sebességkorlát és percenként 1000 API-kérés tartozik. Jelenleg azonban modellenként egy üzembe helyezést korlátozunk munkaterületenként. Lépjen kapcsolatba a Microsoft Azure ügyfélszolgálatával, ha az aktuális díjszabási korlátok nem elegendőek az Ön forgatókönyveihez.

Tartalomszűrés

A szolgáltatásként használatalapú fizetéssel üzembe helyezett modelleket az Azure AI tartalombiztonsága védi. Ha az Azure AI-tartalombiztonság engedélyezve van, a kérés és a befejezés is olyan besorolási modellek együttesén megy keresztül, amelyek célja a káros tartalmak kimenetének észlelése és megakadályozása. A tartalomszűrési rendszer észleli és műveletet hajt végre a potenciálisan káros tartalmak meghatározott kategóriáiban mind a bemeneti kérésekben, mind a kimeneti befejezésekben. További információ az Azure AI Content Safetyről.

Kapcsolódó tartalom