Modell katalógus és gyűjtemények

Az Azure Machine Learning Studióban található modellkatalógus a Generatív AI-alkalmazások készítését lehetővé tevő modellek széles skálájának felderítésére és használatára használható. A modellkatalógus több száz modellt tartalmaz olyan modellszolgáltatóktól, mint az Azure OpenAI szolgáltatás, a Mistral, a Meta, a Cohere, az Nvidia, az Ölelés arc, beleértve a Microsoft által betanított modelleket. A Microsofttól eltérő szolgáltatóktól származó modellek nem Microsoft-termékek, a Microsoft termékfeltételeiben meghatározottak szerint, és a modellben megadott feltételekre is vonatkoznak.

Modellgyűjtemények

A modellek a modellkatalógus gyűjteményei szerint vannak rendszerezve. A modellkatalógusban három gyűjteménytípus létezik:

• Az Azure AI által válogatott modellek: A legnépszerűbb, harmadik féltől származó nyílt súlyú és igényes modellek, amelyek csomagolva és optimalizálva, zökkenőmentesen működnek az Azure AI-platformon. Ezeknek a modelleknek a használatára a modellszolgáltatónak a modellhez megadott licencfeltételei vonatkoznak. Az Azure Machine Learning üzembe helyezésekor a modell rendelkezésre állására a vonatkozó Azure SLA vonatkozik, és a Microsoft támogatást nyújt az üzembe helyezési problémákhoz. Az olyan partnerektől származó modellek, mint a Meta, az NVIDIA és a Mistral AI, példák a katalógus "Az Azure AI által válogatott" gyűjteményében elérhető modellekre. Ezeket a modelleket a katalógusban található modellcsempék zöld pipája jelöli, vagy szűrhet a „Curated by Azure AI” gyűjtemény alapján.
• Kizárólag az Azure-ban elérhető Azure OpenAI-modellek: Az Azure OpenAI-modellek zászlóshajója az "Azure OpenAI" gyűjteményen keresztül az Azure OpenAI szolgáltatással való integráción keresztül. Ezeket a modelleket a Microsoft támogatja, és használatukra az Azure OpenAI Service termékfeltételei és SLA-ja vonatkozik.
• Nyitott modellek az Ölelés Face Hubból: Az Ölelésarc hub több száz modellje érhető el az "Ölelés Arc" gyűjteményen keresztül, hogy valós idejű következtetéseket kövessünk online végpontokkal. A Hugging Face hozza létre és tartja karban a Hugging Face gyűjteményben felsorolt modelleket. Használja a HuggingFace fórumát vagy a a HuggingFace-támogatást segítségért. További információ arról, hogyan helyezhet üzembe modelleket a Hugging Face-ből.

Javaslat a modellkatalógus kiegészítésére: Ezzel az űrlappal elküldheti a modellkatalógushoz való hozzáadásra vonatkozó kérelmet.

A modellkatalógus képességeinek áttekintése

Az Azure OpenAI-modellekkel kapcsolatos információkért tekintse meg az Azure OpenAI Service szolgáltatást.

Az Azure AI által válogatott és az Ölelés Face Hubon megnyitott modellek esetében ezek némelyike felügyelt számítási lehetőséggel telepíthető, és ezek némelyike elérhető a használatalapú fizetéses számlázással rendelkező kiszolgáló nélküli API-k használatával történő üzembe helyezéshez. Ezek a modellek felderíthetők, összehasonlíthatók, kiértékelhetők, finomhangolhatók (ha támogatottak), és nagy léptékben üzembe helyezhetők, és integrálhatók a nagyvállalati szintű biztonsággal és adatszabályozással rendelkező Generatív AI-alkalmazásokba.

• Felfedezés: Modellkártyák áttekintése, mintakövetkeztetés kipróbálása és kódminták tallózása a modell kiértékeléséhez, finomhangolásához vagy üzembe helyezéséhez.
• Összehasonlítás: Hasonlítsa össze az iparágban elérhető modellek és adathalmazok teljesítménymutatóit annak felméréséhez, hogy melyik felel meg az üzleti forgatókönyvnek.
• Értékelés: Saját tesztadatok megadásával kiértékelheti, hogy a modell megfelel-e az adott számítási feladatnak. A kiértékelési metrikák segítségével egyszerűen megjeleníthető, hogy a kiválasztott modell milyen jól teljesített az adott forgatókönyvben.
• Finomhangolás: Testre szabhatja a finomhangolható modelleket a saját betanítási adataival, és a legjobb modellt választhatja ki az összes finomhangolási feladat metrikáinak összehasonlításával. A beépített optimalizálás felgyorsítja a finomhangolást, és csökkenti a finomhangoláshoz szükséges memóriát és számítást.
• Üzembe helyezés: Előre betanított modellek vagy finomhangolt modellek zökkenőmentes üzembe helyezése következtetés céljából. A felügyelt számításhoz üzembe helyezhető modellek is letölthetők.

Modell üzembe helyezése: Felügyelt számítási és kiszolgáló nélküli API (használatalapú fizetés)

A Modellkatalógus két különböző módszert kínál a modellek katalógusból való üzembe helyezésére az Ön számára: felügyelt számítási és kiszolgáló nélküli API-k. Az egyes modellekhez elérhető üzembehelyezési lehetőségek eltérőek; Az alábbi táblázatokban további információt talál az üzembe helyezési lehetőségek funkcióiról és az egyes modellekhez elérhető lehetőségekről. További információ az üzembe helyezési lehetőségekkel végzett adatfeldolgozásról.

Funkciók	Felügyelt számítás	Kiszolgáló nélküli API (használatalapú fizetés)
Üzembe helyezési élmény és számlázás	A modell súlyozása felügyelt online végpontokkal rendelkező dedikált virtuális gépekre van üzembe helyezve. A felügyelt online végpont, amely egy vagy több üzembe helyezéssel rendelkezhet, rest API-t tesz elérhetővé a következtetéshez. Az üzemelő példányok által használt virtuálisgép-magórákért kell fizetnie.	A modellekhez való hozzáférés olyan üzembe helyezésen keresztül történik, amely egy API-t helyez üzembe a modell eléréséhez. Az API hozzáférést biztosít a Microsoft által felügyelt központi GPU-készletben üzemeltetett modellhez következtetés céljából. Ezt a hozzáférési módot "Modellek szolgáltatásnak" nevezzük. Az API-k bemeneteiért és kimeneteiért díjat kell fizetnie, általában jogkivonatokban; az üzembe helyezés előtt meg kell adni a díjszabással kapcsolatos információkat.
API-hitelesítés	Kulcsok és Microsoft Entra-azonosító hitelesítése. További információ.	Csak kulcsok.
Tartalombiztonság	Azure Content Safety szolgáltatás API-k használata.	Az Azure AI Content Safety-szűrők integrálva érhetők el a következtetési API-kkal. Az Azure AI Tartalombiztonsági szűrői külön számlázhatók.
Hálózati elkülönítés	Felügyelt virtuális hálózat online végpontokkal. További információ.

Telepítési beállítások

Modell	Felügyelt számítás	Kiszolgáló nélküli API (használatalapú fizetés)
Láma családi modellek	Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B	Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat
Mistral családi modellek	mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01	Mistral-large Mistral-small
Családi modellek összehevesítése	Nem elérhető	Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-többnyelvű
JAIS	Nem elérhető	jais-30b-chat
Phi3 családi modellek	Phi-3-small-128k-Instruct Phi-3-small-8k-Instruct Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-medium-4k-instruct	Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi3-medium-128k-instruct Phi3-medium-4k-instruct
Nixtla	Nem elérhető	TimeGEN-1
Egyéb modellek	Elérhető	Nem érhető el

Felügyelt számítás

A modellek felügyelt számítással való üzembe helyezésének képessége az Azure Machine Learning platformfunkcióira épülve lehetővé teszi a modellkatalógusban található modellek széles gyűjteményének zökkenőmentes integrációját a teljes LLMOps-életciklusban.

Hogyan teszik elérhetővé a modelleket a felügyelt számításhoz?

A modellek olyan Azure Machine Learning-nyilvántartásokon keresztül érhetők el, amelyek lehetővé teszik az ml első megközelítését a Machine Learning-eszközök üzemeltetéséhez és terjesztéséhez, például a modell súlyozásához, a modellek futtatásához használt tároló futtatókörnyezeteihez, a modellek és adathalmazok kiértékeléséhez és finomhangolásához szükséges folyamatokat a teljesítménymutatókhoz és mintákhoz. Ezek az ML-nyilvántartások nagymértékben méretezhető és nagyvállalati használatra kész infrastruktúrára épülnek, amelyek:

• Alacsony késésű hozzáférési modellösszetevőket biztosít az összes Azure-régióba beépített georeplikálással.

• Támogatja a vállalati biztonsági követelményeket, amelyek korlátozzák a modellekhez való hozzáférést az Azure Policy használatával, és biztonságos üzembe helyezés felügyelt virtuális hálózatokkal.

Felügyelt számítással üzembe helyezett modellek kiértékelése és finomhangolása

A "Curated by Azure AI" gyűjteményben kiértékelheti és finomhangolhatja az Azure Machine Learningben az Azure Machine Learning Pipelines használatával. Dönthet úgy, hogy saját kiértékelési és finomhangolási kódot hoz létre, és csak a modell súlyozásához fér hozzá, vagy olyan Azure Machine Learning-összetevőket használ, amelyek beépített kiértékelési és finomhangolási képességeket kínálnak. További információért kövesse ezt a hivatkozást.

Modellek üzembe helyezése következtetéshez felügyelt számítással

A felügyelt számítással történő üzembe helyezéshez elérhető modellek valós idejű következtetés céljából üzembe helyezhetők az Azure Machine Learning online végpontjaiban, vagy az Azure Machine Learning kötegelt következtetéséhez használhatók az adatok kötegelt feldolgozásához. A felügyelt számításra való üzembe helyezéshez virtuálisgép-kvótát kell használnia az Azure-előfizetésben a modell optimális futtatásához szükséges adott termékváltozatokhoz. Egyes modellek lehetővé teszik, hogy ideiglenesen megosztott kvótát telepítsen a modell teszteléséhez. További információ a modellek üzembe helyezéséről:

• Meta Llama-modellek üzembe helyezése
• Az Azure AI által létrehozott nyílt modellek üzembe helyezése
• Arcmodellek ölelése üzembe helyezése

Generatív AI-alkalmazások létrehozása felügyelt számítással

A prompt flow képességeket kínál az AI-alkalmazások prototípus-készítéshez, kísérletezéshez, iteráláshoz és üzembe helyezéséhez. Az Open Model LLM eszközzel felügyelt számítással üzembe helyezett modelleket a Prompt Flow-ban használhatja. A felügyelt számítások által közzétett REST API-t olyan népszerű LLM-eszközökben is használhatja, mint például a LangChain az Azure Machine Learning bővítményével.

Tartalombiztonság felügyelt számítással üzembe helyezett modellekhez

Az Azure AI Content Safety (AACS) szolgáltatás olyan modellekhez használható, amelyeket a felügyelt számításhoz telepítettek a káros tartalmak különböző kategóriáinak, például a szexuális tartalmak, az erőszak, a gyűlölet és az önkárosítás, valamint az olyan speciális fenyegetések szűrésére, mint a Jailbreak kockázatészlelése és a védett anyagszöveg-észlelés. Erre a jegyzetfüzetre hivatkozva referenciaintegrációt végezhet a Láma 2 AACS-jével, vagy a Prompt Flow Content Safety (Text) eszközével a modell válaszait továbbíthatja az AACS-nek szűrés céljából. Az ilyen használatért az AACS díjszabása szerint külön kell fizetnie.

A modellkatalógusban nem szereplő modellek használata

A modellkatalógusban nem elérhető modellek esetében az Azure Machine Learning egy nyílt és bővíthető platformot biztosít a választott modellek használatához. Bármilyen keretrendszerrel vagy futtatókörnyezettel rendelkező modellt hozhat létre az Azure Machine Learning nyílt és bővíthető platformjának képességeivel, például a tárolókhoz készült Azure Machine Learning-környezetekkel , amelyek keretrendszereket, futtatókörnyezeteket és Azure Machine Learning-folyamatokat csomagolhatnak a modellek kiértékeléséhez vagy finomhangolásához kódhoz. Ebben a jegyzetfüzetben mintaként hivatkozhat a modellek importálására, valamint a beépített futtatókörnyezetek és folyamatok használatára.

Kiszolgáló nélküli API-k használatalapú fizetéses számlázással

A modellkatalógus bizonyos modelljei üzembe helyezhetők kiszolgáló nélküli API-kként használatalapú számlázással; ezt az üzembe helyezési módszert szolgáltatásként (Models-as-a Service, MaaS) nevezzük. A MaaS-on keresztül elérhető modelleket a Microsoft által felügyelt infrastruktúrában üzemeltetik, amely API-alapú hozzáférést tesz lehetővé a modellszolgáltató modelljéhez. Az API-alapú hozzáférés jelentősen csökkentheti a modell elérésének költségeit, és jelentősen leegyszerűsítheti a kiépítési élményt. A Legtöbb MaaS-modell jogkivonatalapú díjszabással érhető el.

Hogyan érhetők el harmadik féltől származó modellek a MaaS-ben?

A kiszolgáló nélküli, használatalapú számlázással rendelkező, kiszolgáló nélküli API-kként elérhető modelleket a modellszolgáltató kínálja, de a Microsoft által felügyelt Azure-infrastruktúrában üzemelteti, és API-val érhető el. A modellszolgáltatók meghatározzák a licencfeltételeket, és beállítják a modelljeik használati árát, míg az Azure Machine Learning szolgáltatás kezeli az üzemeltetési infrastruktúrát, elérhetővé teszi a következtetési API-kat, és adatfeldolgozóként működik a MaaS-en keresztül üzembe helyezett modellek által küldött kérések és tartalomkimenetek esetében. A MaaS-hez készült adatfeldolgozásról az adatvédelmi cikkben talál további információt.

Modellhasználat kifizetése a MaaS-ben

A MaaS-en keresztül üzembe helyezett modellek felderítési, előfizetési és használati élménye az Azure AI Studióban és az Azure Machine Learning Studióban található. A felhasználók elfogadják a modellek használatára vonatkozó licencfeltételeket, és a használatra vonatkozó díjszabási információkat az üzembe helyezés során adják meg. A külső szolgáltatóktól származó modellek számlázása az Azure Marketplace-en keresztül történik, a kereskedelmi piactér használati feltételeivel összhangban; a Microsofttól származó modellek számlázása Azure-mérőkkel történik, mint első féltől származó fogyasztási szolgáltatás. A termékfeltételekben leírtaknak megfelelően a belső használatalapú szolgáltatások az Azure-mérők használatával vásárolhatók meg, de nem vonatkoznak az Azure szolgáltatási feltételeire. Ezeknek a modelleknek a használatára a megadott licencfeltételek vonatkoznak.

Modellek üzembe helyezése következtetéshez a MaaS-ben

A modell MaaS-sel történő üzembe helyezése lehetővé teszi a felhasználók számára, hogy az infrastruktúra konfigurálása vagy GPU-k kiépítése nélkül is hozzáférjenek a következtetési API-k használatra kész állapotához, így időt és erőforrásokat takarítva meg. Ezek az API-k több LLM-eszközzel integrálhatók, és a használat számlázása az előző szakaszban leírtak szerint történik.

Modellek finomhangolása a MaaS-ben használatalapú fizetéssel

A MaaS-on keresztül elérhető és a finomhangolást támogató modellek esetében a felhasználók használatalapú fizetéses számlázással kihasználhatják az üzemeltetett finomhangolás előnyeit, hogy az általuk megadott adatok alapján testre szabhassák a modelleket. További információ: Llama 2-modell finomhangolása az Azure AI Studióban.

RAG a MaaS-on keresztül üzembe helyezett modellekkel

Az Azure AI Studio lehetővé teszi a felhasználók számára a vektorindexek használatát és a kiterjesztett generáció lekérését. A kiszolgáló nélküli API-kként üzembe helyezhető modellek használatával egyéni adatokon alapuló beágyazások és következtetések hozhatók létre a használati esetükre vonatkozó válaszok létrehozásához. További információkért tekintse meg a bővített generáció és indexek lekérését ismertető témakört.

Ajánlatok és modellek regionális elérhetősége

A használatalapú fizetéses üzembe helyezés csak azoknak a felhasználóknak érhető el, akiknek az Azure-előfizetése egy számlázási fiókhoz tartozik egy olyan országban, ahol a modellszolgáltató elérhetővé tette az ajánlatot (lásd az "ajánlat rendelkezésre állási régióját" a következő szakaszban található táblázatban). Ha az ajánlat elérhető az adott régióban, akkor a felhasználónak rendelkeznie kell egy Azure-régióban található munkaterületmel, ahol a modell üzembe helyezésre vagy finomhangolásra használható (lásd az alábbi táblázat "Munkaterület régiója" oszlopait).

Modell	Ajánlat rendelkezésre állási régiója	Munkaterületi régió üzembe helyezéshez	Munkaterületi régió finomhangoláshoz
Llama-3-70B-Instruct Llama-3-8B-Instruct	Microsoft által felügyelt országok	USA 2. keleti régiója, Közép-Svédország, USA északi középső régiója, USA déli középső régiója, USA nyugati régiója, USA 3. nyugati régiója	Nem elérhető
Llama-2-7b Llama-2-13b Llama-2-70b	Microsoft által felügyelt országok	USA 2. keleti régiója, USA keleti régiója, USA 3. nyugati régiója, USA nyugati régiója, USA északi középső régiója, USA déli középső régiója	USA 3. nyugati régiója
Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat	Microsoft által felügyelt országok	USA 2. keleti régiója, USA keleti régiója, USA 3. nyugati régiója, USA nyugati régiója, USA északi középső régiója, USA déli középső régiója	Nem elérhető
Mistral Small	Microsoft által felügyelt országok	USA 2. keleti régiója, Közép-Svédország, USA északi középső régiója, USA déli középső régiója, USA keleti régiója, USA 3. nyugati régiója, USA nyugati régiója	Nem elérhető
Mistral-Large	Microsoft által felügyelt országok Brazília Hongkong Izrael	USA keleti régiója, USA 2. keleti régiója, Közép-Franciaország, USA északi középső régiója, USA déli középső régiója, Svédország középső régiója, USA nyugati régiója, USA 3. nyugati régiója	Nem elérhető
Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-többnyelvű	Microsoft által felügyelt országok Japán	USA 2. keleti régiója, Közép-Svédország, USA északi középső régiója, USA déli középső régiója, USA keleti régiója, USA 3. nyugati régiója, USA nyugati régiója	Nem elérhető
TimeGEN-1	Microsoft által felügyelt országok Mexikó Izrael	USA keleti régiója, USA 2. keleti régiója, USA északi középső régiója, USA déli középső régiója, Svédország középső régiója, USA nyugati régiója, USA 3. nyugati régiója	Nem elérhető
jais-30b-chat	Microsoft által felügyelt országok	USA 2. keleti régiója, Közép-Svédország, USA északi középső régiója, USA déli középső régiója, USA keleti régiója, USA 3. nyugati régiója, USA nyugati régiója	Nem elérhető
Phi-3-mini-4k-instruct	Microsoft által felügyelt országok	USA 2. keleti régiója, Közép-Svédország, Közép-Kanada, USA 3. nyugati régiója	Nem elérhető
Phi-3-mini-128k-instruct	Microsoft által felügyelt országok	USA 2. keleti régiója, Közép-Svédország	Nem elérhető
Phi-3-medium-4k-instruct, Phi-3-medium-128k-instruct	Microsoft által felügyelt országok	USA 2. keleti régiója, Közép-Svédország	Nem elérhető

Tartalombiztonság a MaaS-en keresztül üzembe helyezett modellekhez

Fontos

Ez a funkció jelenleg nyilvános előzetes verzióban érhető el. Ez az előzetes verzió szolgáltatásszintű szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik.

További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.

Az Azure Machine Learning az Azure AI Content Safety szövegmoderálási szűrőinek alapértelmezett konfigurációját implementálja a MaaS-szel üzembe helyezett nyelvi modellek káros tartalmaihoz (gyűlölet, önkárosítás, szexuális és erőszak). A tartalomszűrésről (előzetes verzió) további információt az Azure AI Content Safety kárkategóriáiban talál. A tartalomszűrés (előzetes verzió) szinkron módon történik, amikor a szolgáltatásfolyamatok tartalom létrehozására kérik, és az ilyen használatért az AACS díjszabása szerint külön kell fizetnie. A tartalomszűrés (előzetes verzió) letiltható az egyes kiszolgáló nélküli végpontok esetében a nyelvi modell első üzembe helyezésekor vagy az üzembe helyezés részletei lapon a tartalomszűrési kapcsoló kiválasztásával. Ha kikapcsolja a tartalomszűrőket, nagyobb a kockázata annak, hogy a felhasználókat káros tartalmakká teszi.

További információ

• Megtudhatja , hogyan használhat alapmodelleket az Azure Machine Learningben az Azure Machine Learningben az Azure Machine Learning studio felhasználói felületének vagy kódalapú módszereinek finomhangolásához, kiértékeléséhez és üzembe helyezéséhez.
• Fedezze fel a modellkatalógust az Azure Machine Learning Studióban. A katalógus megismeréséhez Azure Machine Learning-munkaterületre van szüksége.
• Az Azure Machine Learning által készített modellek kiértékelése, finomhangolása és üzembe helyezése.