Modellkatalógus és gyűjtemények az Azure AI Studióban
Fontos
A cikkben megjelölt (előzetes verziójú) elemek jelenleg nyilvános előzetes verzióban érhetők el. Ez az előzetes verzió szolgáltatásszint-szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik. További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.
Az Azure AI Studio modellkatalógusa a generatív AI-alkalmazások készítéséhez használható modellek széles skáláját kínálja. A modellkatalógus több száz modellt tartalmaz olyan modellszolgáltatók között, mint az Azure OpenAI Service, a Mistral, a Meta, a Cohere, az NVIDIA és az Ölelés Arc, beleértve a Microsoft által betanított modelleket is. A Microsofttól eltérő szolgáltatóktól származó modellek nem Microsoft-termékek, a Microsoft termékfeltételeiben meghatározottak szerint, és a modellekhez megadott feltételek vonatkoznak gombra.
Modellgyűjtemények
A modellkatalógus három gyűjteménybe rendezi a modelleket:
Az Azure AI által válogatott: A legnépszerűbb nem Microsoft-alapú nyílt súlyú és saját fejlesztésű modellek, amelyek az Azure AI platform zökkenőmentes működésére van csomagolva és optimalizálva. Ezeknek a modelleknek a használatára a modellszolgáltatók licencfeltételei vonatkoznak. Amikor ezeket a modelleket az Azure AI Studióban telepíti, azok rendelkezésre állására a vonatkozó Azure szolgáltatásiszint-szerződés (SLA) vonatkozik, és a Microsoft támogatást nyújt az üzembe helyezési problémákhoz.
Az olyan partnerektől származó modellek, mint a Meta, az NVIDIA és a Mistral AI, példák a katalógus gyűjteményében elérhető modellekre. Ezeket a modelleket úgy azonosíthatja, ha zöld pipát keres a katalógusban lévő modellcsempéken. Vagy szűrhet az Azure AI-gyűjtemény által válogatottak alapján is.
Kizárólag az Azure-ban elérhető Azure OpenAI-modellek: Az Azure OpenAI szolgáltatással való integráción keresztül elérhető Kiemelt Azure OpenAI-modellek. A Microsoft ezeket a modelleket és azok használatát az Azure OpenAI Szolgáltatás termékfeltételei és SLA-ja szerint támogatja.
Modellek megnyitása az ölelő Face Hubból: Több száz modell az Ölelés Face Hubból a felügyelt számítással való valós idejű következtetéshez. Az Arc ölelése a gyűjteményben felsorolt modelleket hoz létre és tart fenn. Ha segítségre van szüksége, használja az Ölelés Arc fórumot vagy az Ölelés Arc támogatást. További információ a nyílt modellek üzembe helyezéséről az Azure AI Studióval.
Ezen az űrlapon elküldheti a modellkatalógushoz való hozzáadására vonatkozó kérelmet.
A modellkatalógus képességeinek áttekintése
Néhány modellt üzembe helyezhet az Azure AI által válogatott és nyitott modellekben az Ölelés Face Hub-gyűjteményekből egy felügyelt számítási lehetőséggel. Egyes modellek a használatalapú számlázással rendelkező kiszolgáló nélküli API-kon keresztül telepíthetők.
Ezeket a modelleket nagy méretekben fedezheti fel, hasonlíthatja össze, értékelheti, finomhangolhatja (ha támogatott), és üzembe helyezheti őket. Ezután integrálhatja a modelleket a generatív AI-alkalmazásokba nagyvállalati szintű biztonsággal és adatszabályozással. Az alábbi lista részletesen ismerteti a tevékenységeket:
- Felfedezés: Modellkártyák áttekintése, mintakövetkeztetés kipróbálása és kódminták tallózása a modell kiértékeléséhez, finomhangolásához vagy üzembe helyezéséhez.
- Összehasonlítás: Hasonlítsa össze az iparágban elérhető modellek és adathalmazok teljesítménymutatóit annak felméréséhez, hogy melyik felel meg az üzleti forgatókönyvnek.
- Értékelés: Saját tesztadatok megadásával kiértékelheti, hogy a modell megfelel-e az adott számítási feladatnak. A kiértékelési metrikák használatával megjelenítheti, hogy a kiválasztott modell milyen jól teljesít a forgatókönyvben.
- Finomhangolás: Testre szabhatja a finomhangolható modelleket a saját betanítási adataival, és a legjobb modellt választhatja ki az összes finomhangolási feladat metrikáinak összehasonlításával. A beépített optimalizálás felgyorsítja a finomhangolást, és csökkenti a szükséges memóriát és számítást.
- Üzembe helyezés: Előre betanított modellek vagy finomhangolt modellek zökkenőmentes üzembe helyezése következtetés céljából. A felügyelt számításhoz üzembe helyezhető modelleket is letöltheti.
További információ az Azure OpenAI-modellekről: Mi az Az Azure OpenAI szolgáltatás?.
Modell üzembe helyezése: Felügyelt számítási és kiszolgáló nélküli API (használatalapú fizetés)
A modellkatalógus két különböző módszert kínál a modellek üzembe helyezésére a használatra: felügyelt számítási és kiszolgáló nélküli API-k.
Az egyes modellekhez elérhető üzembehelyezési lehetőségek és funkciók az alábbi táblázatokban leírtak szerint változnak. További információ az üzembe helyezési lehetőségekkel végzett adatfeldolgozásról.
A modell üzembehelyezési lehetőségeinek képességei
| Funkciók | Felügyelt számítás | Kiszolgáló nélküli API (használatalapú fizetés) |
|---|---|---|
| Üzembe helyezési élmény és számlázás | A modell súlyozása felügyelt számítással rendelkező dedikált virtuális gépekre van üzembe helyezve. Egy felügyelt számítás, amely egy vagy több üzembe helyezéssel rendelkezhet, rest API-t tesz elérhetővé a következtetéshez. A rendszer kiszámlázzák a virtuális gépek központi óráit, amelyeket az üzemelő példányok használnak. | A modellekhez való hozzáférés olyan üzembe helyezésen keresztül történik, amely egy API-t helyez üzembe a modell eléréséhez. Az API hozzáférést biztosít a Microsoft által üzemeltetett és felügyelt modellhez a következtetés érdekében. Az API-k bemeneteiért és kimeneteiért díjat kell fizetnie, általában jogkivonatokban. A díjszabási információk az üzembe helyezés előtt lesznek megadva. |
| API-hitelesítés | Kulcsok és Microsoft Entra-hitelesítés. | Csak kulcsok. |
| Tartalombiztonság | Azure AI Content Safety szolgáltatás API-k használata. | Az Azure AI Tartalom Biztonság-szűrők integrálva érhetők el a következtetési API-kkal. Az Azure AI Content Safety-szűrők külön kerülnek számlázásra. |
| Hálózati elkülönítés | Felügyelt hálózatok konfigurálása az Azure AI Studio-központokhoz. | A felügyelt számítás a központ nyilvános hálózati hozzáférési (PNA) jelzőbeállítását követi. További információ: A kiszolgáló nélküli API-kon keresztül üzembe helyezett modellek hálózati elkülönítése a cikk későbbi részében. |
Támogatott üzembehelyezési lehetőségek elérhető modelljei
| Modell | Felügyelt számítás | Kiszolgáló nélküli API (használatalapú fizetés) |
|---|---|---|
| Llama-családbeli modellek | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Mistral-családbeli modellek | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large (2402) Mistral-large (2407) Mistral-small Ministral-3B Mistral-NeMo |
| Családi modellek összehevesítése | Nem elérhető | Cohere-command-r-plus-08-2024 Cohere-command-r-08-2024 Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-többnyelvű Cohere-rerank-v3-english Cohere-rerank-v3-többnyelvű |
| JAIS | Nem elérhető | jais-30b-chat |
| Egészségügyi AI családi modellek | MedImageInsight CxrReportGen MedImageParse |
Nem elérhető |
| Phi-3 családi modellek | Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3-vision-128k-Instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct |
| Nixtla | Nem elérhető | TimeGEN-1 |
| Egyéb modellek | Elérhető | Nem érhető el |
Felügyelt számítás
A modellek felügyelt számításként való üzembe helyezésének képessége az Azure Machine Learning platformképességére épül, így lehetővé teszi a modellkatalógusban található modellek széles gyűjteményének zökkenőmentes integrációját a nagy méretű nyelvi modellek (LLM) műveleteinek teljes életciklusa során.
Modellek rendelkezésre állása felügyelt számításként történő üzembe helyezéshez
A modellek az Azure Machine Learning regisztrációs adatbázisain keresztül érhetők el. Ezek a nyilvántartások lehetővé teszik az Azure Machine Learning-eszközök üzemeltetésének és terjesztésének első gépi tanulási megközelítését. Ezek az eszközök közé tartoznak a modellek súlyozása, a modellek futtatásához használt tároló-futtatókörnyezetek, a modellek kiértékelésére és finomhangolására szolgáló folyamatok, valamint a benchmarkok és minták adatkészletei.
A regisztrációs adatbázisok egy nagy mértékben méretezhető és nagyvállalati használatra kész infrastruktúrára épülnek, amely:
Alacsony késésű hozzáférési modellösszetevőket biztosít az összes Azure-régiónak beépített georeplikálással.
Támogatja a vállalati biztonsági követelményeket, például a modellekhez való hozzáférés korlátozását az Azure Policy használatával, valamint a felügyelt virtuális hálózatok használatával történő biztonságos üzembe helyezést.
Modellek üzembe helyezése következtetéshez felügyelt számítással
A felügyelt számítás üzembe helyezéséhez rendelkezésre álló modellek valós idejű következtetés céljából üzembe helyezhetők az Azure Machine Learning által felügyelt számításban. A felügyelt számításra való üzembe helyezéshez rendelkeznie kell egy virtuálisgép-kvótával az Azure-előfizetésben azokhoz a termékekhez, amelyekre a modell optimális futtatásához szüksége van. Egyes modellek lehetővé teszik, hogy ideiglenesen megosztott kvótára telepítsen modelltesztelés céljából.
További információ a modellek üzembe helyezéséről:
Generatív AI-alkalmazások létrehozása felügyelt számítással
Az Azure Machine Learning parancssori folyamat funkciója nagyszerű élményt nyújt a prototípus-készítéshez. A modellmegnyitási LLM eszközzel a felügyelt számítással üzembe helyezett modelleket a parancssori folyamatban is használhatja. A felügyelt számítás által közzétett REST API-t olyan népszerű LLM-eszközökben is használhatja, mint például a LangChain az Azure Machine Learning bővítményével.
Tartalombiztonság felügyelt számításként üzembe helyezett modellekhez
Az Azure AI Content Safety szolgáltatás felügyelt számítással használható a káros tartalmak különböző kategóriáinak , például a szexuális tartalmaknak, az erőszaknak, a gyűlöletnek és az önkárosításnak a szűréséhez. A szolgáltatással olyan speciális fenyegetéseket is megjeleníthet, mint a feltörési kockázatészlelés és a védett anyagszöveg-észlelés.
Ebben a jegyzetfüzetben hivatkozhat az Azure AI Content Safety for Llama 2-vel való integrációra. Vagy használhatja a Content Safety (Text) eszközt a gyors folyamat során a modell válaszainak az Azure AI Content Safetybe való továbbításához szűrés céljából. Az Azure AI Content Safety díjszabásában leírtak szerint külön kell fizetnie az ilyen felhasználásért.
Kiszolgáló nélküli API-k használatalapú fizetéses számlázással
A modellkatalógusban bizonyos modellek üzembe helyezhetők kiszolgáló nélküli API-kként használatalapú számlázással. Ez az üzembe helyezési módszer, más néven modell szolgáltatásként (MaaS) lehetővé teszi a modellek API-kként való használatát anélkül, hogy az előfizetésében üzemelteti őket. A modellek egy Microsoft által felügyelt infrastruktúrában vannak üzemeltetve, amely api-alapú hozzáférést tesz lehetővé a modellszolgáltató modelljéhez. Az API-alapú hozzáférés jelentősen csökkentheti a modell elérésének költségeit, és leegyszerűsítheti a kiépítési élményt.
A kiszolgáló nélküli API-kként, használatalapú számlázással elérhető modelleket a modellszolgáltató kínálja, de egy Microsoft által felügyelt Azure-infrastruktúrában üzemeltetik őket, és API-val érhetők el. A modellszolgáltatók határozzák meg a licencfeltételeket, és meghatározzák a modelljeik használati árát. Az Azure Machine Learning szolgáltatás:
- Kezeli az üzemeltetési infrastruktúrát.
- Elérhetővé teszi a következtetési API-kat.
- Adatfeldolgozóként működik a MaaS-en keresztül üzembe helyezett modellek által küldött kérések és tartalomkimenetek esetében.
További információ a MaaS adatkezeléséről az adatvédelemről szóló cikkben.
Számlázás
A MaaS-en keresztül üzembe helyezett modellek felderítési, előfizetési és használati élménye az Azure AI Studióban és az Azure Machine Learning Studióban található. A felhasználók a modellek használatára vonatkozó licencfeltételeket fogadnak el. A használat díjszabási információi az üzembe helyezés során találhatók.
A nem Microsoft-szolgáltatóktól származó modellek számlázása az Azure Marketplace-en keresztül történik, a Microsoft Kereskedelmi Piactér használati feltételeinek megfelelően.
A Microsofttól származó modellek számlázása Azure-mérőken keresztül, első féltől származó fogyasztási szolgáltatásként. A termékfeltételekben leírtaknak megfelelően az Azure-mérők használatával vásárolja meg a first party consumption services szolgáltatást, de nem vonatkoznak rájuk az Azure szolgáltatási feltételei. Ezeknek a modelleknek a használatára a megadott licencfeltételek vonatkoznak.
Modellek finomhangolása
Egyes modellek a kiszolgáló nélküli finomhangolást is támogatják. Ezekben a modellekben kihasználhatja az üzemeltetett finomhangolás előnyeit használatalapú fizetéses számlázással, hogy a megadott adatok alapján testre szabhassa a modelleket. További információkért tekintse meg a finomhangolási áttekintést.
RAG kiszolgáló nélküli API-kként üzembe helyezett modellekkel
Az Azure AI Studióban vektorindexeket és lekéréses kiegészítésű generációt (RAG) használhat. A kiszolgáló nélküli API-kon keresztül üzembe helyezhető modellek használatával beágyazást és következtetést hozhat létre egyéni adatok alapján. Ezek a beágyazások és következtetések ezután a használati esetre vonatkozó válaszokat hozhatnak létre. További információ: Vektorindexek létrehozása és felhasználása az Azure AI Studióban.
Ajánlatok és modellek regionális elérhetősége
A használatalapú fizetéses számlázás csak azoknak a felhasználóknak érhető el, akiknek az Azure-előfizetése egy számlázási fiókhoz tartozik egy olyan országban, ahol a modellszolgáltató elérhetővé tette az ajánlatot. Ha az ajánlat elérhető az adott régióban, akkor a felhasználónak rendelkeznie kell egy központtal/projektel abban az Azure-régióban, ahol a modell elérhető az üzembe helyezéshez vagy a finomhangoláshoz, adott esetben. Tekintse meg a régiók rendelkezésre állását a kiszolgáló nélküli API-végpontok modelljeihez | Részletes információkért lásd az Azure AI Studiót .
Tartalombiztonság kiszolgáló nélküli API-k használatával üzembe helyezett modellekhez
A kiszolgáló nélküli API-kon keresztül üzembe helyezett nyelvi modellek esetében az Azure AI az Azure AI Content Safety szövegmoderálási szűrőinek alapértelmezett konfigurációját implementálja, amely észleli a káros tartalmakat, például a gyűlöletet, az önkárosítást, a szexuális és az erőszakos tartalmakat. A tartalomszűrésről (előzetes verzió) további információt az Azure AI Content Safety kárkategóriái című témakörben talál.
Tipp.
A tartalomszűrés (előzetes verzió) nem érhető el bizonyos, kiszolgáló nélküli API-kon keresztül üzembe helyezett modelltípusokhoz. Ezek a modelltípusok közé tartoznak a modellek és az idősorozat-modellek beágyazása.
A tartalomszűrés (előzetes verzió) szinkron módon történik, amikor a szolgáltatás a tartalom létrehozására kéri. Előfordulhat, hogy az Azure AI Content Safety díjszabása szerint külön kell fizetnie az ilyen felhasználásért. A tartalomszűrés (előzetes verzió) letiltható az egyes kiszolgáló nélküli végpontok esetében:
- Nyelvi modell első üzembe helyezésekor
- Később a tartalomszűrés váltógombjának kiválasztásával az üzembe helyezés részletei lapon
Tegyük fel, hogy az Azure AI Model Inference API-tól eltérő API-t használ egy kiszolgáló nélküli API-val üzembe helyezett modell használatához. Ilyen esetben a tartalomszűrés (előzetes verzió) csak akkor engedélyezett, ha külön implementálja az Azure AI Content Safety használatával.
Az Azure AI Content Safety használatának megkezdéséhez tekintse meg a szöveges tartalom elemzésével kapcsolatos rövid útmutatót. Ha nem használ tartalomszűrést (előzetes verziót) a kiszolgáló nélküli API-kon keresztül üzembe helyezett modellek használatakor, nagyobb a kockázata annak, hogy a felhasználókat káros tartalmakká teszi.
Hálózatelkülönítés kiszolgáló nélküli API-k használatával üzembe helyezett modellekhez
A kiszolgáló nélküli API-ként üzembe helyezett modellek felügyelt számításai a központi telepítést tartalmazó AI Studio Hub nyilvános hálózati hozzáférési jelölőbeállítását követik. A felügyelt számítás biztonságossá tételéhez tiltsa le a nyilvános hálózati hozzáférési jelzőt az AI Studio hubon. Az ügyfél és a felügyelt számítás közötti bejövő kommunikáció biztonságossá tételéhez használhat privát végpontot a központ számára.
Az AI Studio Hub nyilvános hálózati hozzáférési jelölőjének beállítása:
- Nyissa meg az Azure Portalt.
- Keresse meg azt az erőforráscsoportot, amelyhez a központ tartozik, és válassza ki az AI Studio-központot az erőforráscsoporthoz tartozó erőforrások közül.
- A központ áttekintési lapján, a bal oldali panelen válassza a Beállítások>hálózatkezelése lehetőséget.
- A Nyilvános hozzáférés lapon konfigurálhatja a nyilvános hálózati hozzáférési jelző beállításait.
- Mentse a módosításokat. A módosítások propagálása akár öt percet is igénybe vehet.
Korlátozások
Ha 2024. július 11-e előtt létrehozott felügyelt számítással rendelkező AI Studio-központtal rendelkezik, a központ projektjeihez hozzáadott felügyelt számítások nem fogják követni a központ hálózati konfigurációját. Ehelyett létre kell hoznia egy új felügyelt számítást a központ számára, és új kiszolgáló nélküli API-telepítéseket kell létrehoznia a projektben, hogy az új üzembe helyezések követni tudják a központ hálózati konfigurációját.
Ha 2024. július 11-e előtt létrehozott MaaS-telepítésekkel rendelkező AI Studio-központtal rendelkezik, és engedélyezi a felügyelt számítást ezen a központon, a meglévő MaaS-telepítések nem fogják követni a központ hálózati konfigurációját. Ahhoz, hogy a központ kiszolgáló nélküli API-üzemelő példányai kövessék a központ hálózati konfigurációját, újra létre kell hoznia az üzembe helyezéseket.
Az Azure OpenAI On Your Data támogatása jelenleg nem érhető el a privát központokban lévő MaaS-környezetekhez, mert a privát központokban le van tiltva a nyilvános hálózati hozzáférési jelző.
A hálózati konfiguráció bármilyen módosítása (például a nyilvános hálózati hozzáférési jelző engedélyezése vagy letiltása) propagálása akár öt percet is igénybe vehet.