Modellkatalógus és gyűjtemények az Azure AI Foundry portálon
Fontos
A cikkben megjelölt (előzetes verziójú) elemek jelenleg nyilvános előzetes verzióban érhetők el. Ez az előzetes verzió szolgáltatásszint-szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik. További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.
Az Azure AI Foundry portál modellkatalógusa a generatív AI-alkalmazások készítéséhez használt modellek széles skálájának felderítésére és használatára szolgáló központ. A modellkatalógus több száz modellt tartalmaz olyan modellszolgáltatók között, mint az Azure OpenAI Service, a Mistral, a Meta, a Cohere, az NVIDIA és az Ölelés Arc, beleértve a Microsoft által betanított modelleket is. A Microsofttól eltérő szolgáltatóktól származó modellek nem Microsoft-termékek, a Microsoft termékfeltételeiben meghatározottak szerint, és a modellekhez megadott feltételek vonatkoznak gombra.
Modellgyűjtemények
A modellkatalógus különböző gyűjteményekbe rendezi a modelleket:
Az Azure AI által válogatott: A legnépszerűbb nem Microsoft-alapú nyílt súlyú és saját fejlesztésű modellek, amelyek az Azure AI platform zökkenőmentes működésére van csomagolva és optimalizálva. Ezeknek a modelleknek a használatára a modellszolgáltatók licencfeltételei vonatkoznak. Amikor ezeket a modelleket az Azure AI Foundry portálon helyezi üzembe, azok rendelkezésre állására a vonatkozó Azure szolgáltatásiszint-szerződés (SLA) vonatkozik, és a Microsoft támogatást nyújt az üzembe helyezési problémákhoz.
Az olyan partnerektől származó modellek, mint a Meta, az NVIDIA és a Mistral AI, példák a katalógus gyűjteményében elérhető modellekre. Ezeket a modelleket úgy azonosíthatja, ha zöld pipát keres a katalógusban lévő modellcsempéken. Vagy szűrhet az Azure AI-gyűjtemény által válogatottak alapján is.
Kizárólag az Azure-ban elérhető Azure OpenAI-modellek: Az Azure OpenAI szolgáltatással való integráción keresztül elérhető Kiemelt Azure OpenAI-modellek. A Microsoft ezeket a modelleket és azok használatát az Azure OpenAI Szolgáltatás termékfeltételei és SLA-ja szerint támogatja.
Modellek megnyitása az ölelő Face Hubból: Több száz modell az Ölelés Face Hubból a felügyelt számítással való valós idejű következtetéshez. Az Arc ölelése a gyűjteményben felsorolt modelleket hoz létre és tart fenn. Ha segítségre van szüksége, használja az Ölelés Arc fórumot vagy az Ölelés Arc támogatást. További információ a nyílt modellek üzembe helyezéséről az Azure AI Foundryvel.
Ezen az űrlapon elküldheti a modellkatalógushoz való hozzáadására vonatkozó kérelmet.
A modellkatalógus képességeinek áttekintése
Olyan modelleket kereshet és fedezhet fel, amelyek megfelelnek az igényeinek keyword searchfilters. A modellkatalógus a modell teljesítménymutató-mérőszámait is kínálja a kiválasztott modellekhez. A teljesítményteszt eléréséhez kattintson Compare Models vagy a modellkártya Benchmark lapján.
A modellkártyán a következőt találja:
- Gyors tények: a modell legfontosabb információi rövid áttekintést kapnak.
- Részletek: ez az oldal tartalmazza a modellre vonatkozó részletes információkat, beleértve a leírást, a verzióinformációkat, a támogatott adattípust stb.
- Teljesítménytesztek: a kiválasztott modellek teljesítménymutató-mérőszámait találja.
- Meglévő üzemelő példányok: ha már telepítette a modellt, a Meglévő üzembe helyezések lapon találja.
- Kódminták: az AI-alkalmazások fejlesztésének első lépéseihez megtalálja az alapvető kódmintákat.
- Licenc: a modelllicenceléssel kapcsolatos jogi információkat talál.
- Összetevők: ez a lap csak nyitott modellek esetén jelenik meg. Megtekintheti a modellegységeket, és letöltheti őket a felhasználói felületen keresztül.
Modell üzembe helyezése: Azure OpenAI
További információ az Azure OpenAI-modellekről: Mi az Az Azure OpenAI szolgáltatás?.
Modell üzembe helyezése: Felügyelt számítási és kiszolgáló nélküli API-k
Az Azure OpenAI-szolgáltatásmodellek mellett a modellkatalógus két különböző módszert kínál a modellek üzembe helyezésére az Ön számára: felügyelt számítási és kiszolgáló nélküli API-k.
Az egyes modellekhez elérhető üzembehelyezési lehetőségek és funkciók az alábbi táblázatokban leírtak szerint változnak. További információ az üzembe helyezési lehetőségekkel végzett adatfeldolgozásról.
A modell üzembehelyezési lehetőségeinek képességei
| Funkciók | Felügyelt számítás | Kiszolgáló nélküli API (jogkivonatonkénti fizetés) |
|---|---|---|
| Üzembe helyezési élmény és számlázás | A modell súlyozása felügyelt számítással rendelkező dedikált virtuális gépekre van üzembe helyezve. Egy felügyelt számítás, amely egy vagy több üzembe helyezéssel rendelkezhet, rest API-t tesz elérhetővé a következtetéshez. A rendszer kiszámlázzák a virtuális gépek központi óráit, amelyeket az üzemelő példányok használnak. | A modellekhez való hozzáférés olyan üzembe helyezésen keresztül történik, amely egy API-t helyez üzembe a modell eléréséhez. Az API hozzáférést biztosít a Microsoft által üzemeltetett és felügyelt modellhez a következtetés érdekében. Az API-k bemeneteiért és kimeneteiért díjat kell fizetnie, általában jogkivonatokban. A díjszabási információk az üzembe helyezés előtt lesznek megadva. |
| API-hitelesítés | Kulcsok és Microsoft Entra-hitelesítés. | Csak kulcsok. |
| Tartalombiztonság | Azure AI Content Safety szolgáltatás API-k használata. | Az Azure AI Tartalom Biztonság-szűrők integrálva érhetők el a következtetési API-kkal. Az Azure AI Content Safety-szűrők külön kerülnek számlázásra. |
| Hálózati elkülönítés | Felügyelt hálózatok konfigurálása az Azure AI Foundry-központokhoz. | A felügyelt számítás a központ nyilvános hálózati hozzáférési (PNA) jelzőbeállítását követi. További információ: A kiszolgáló nélküli API-kon keresztül üzembe helyezett modellek hálózati elkülönítése a cikk későbbi részében. |
Támogatott üzembehelyezési lehetőségek elérhető modelljei
Az alábbi lista kiszolgáló nélküli API-modelleket tartalmaz. Az Azure OpenAI-modellekről az Azure OpenAI-szolgáltatásmodellek című témakörben olvashat.
| Modell | Felügyelt számítás | Kiszolgáló nélküli API (jogkivonatonkénti fizetés) |
|---|---|---|
| AI21 családi modellek | Nem elérhető | Jamba-1.5-Mini Jamba-1.5-Large |
| Családi modellek összehevesítése | Nem elérhető | Cohere-command-r-plus-08-2024 Cohere-command-r-08-2024 Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-többnyelvű Cohere-rerank-v3-english Cohere-rerank-v3-többnyelvű |
| DeepSeek-modellek a Microsofttól | Nem elérhető | DeepSeek-R1 |
| Juliska | Nem elérhető | Gretel-Navigátor |
| Egészségügyi AI családi modellek | MedImageParse MedImageInsight CxrReportGen Virchow Virchow2 Prizma BiomedCLIP-PubMedBERT microsoft-llava-med-v1.5 m42-health-llama3-med4 biomistral-biomistral-7b microsoft-biogpt-large-pub microsoft-biomednlp-pub stanford-crfm-biomedlm medicalai-clinicalbert microsoft-biogpt microsoft-biogpt-large microsoft-biomednlp-pub |
Nem elérhető |
| JAIS | Nem elérhető | jais-30b-chat |
| Meta Llama családi modellek | Llama-3.3-70B-Instruct Llama-3.2-3B-Instruct Llama-3.2-1B-Instruct Llama-3.2-1B Llama-3.2-90B-Vision-Instruct Llama-3.2-11B-Vision-Instruct Llama-3.1-8B-Instruct Llama-3.1-8B Llama-3.1-70B-Instruct Llama-3.1-70B Llama-3-8B-Instruct Llama-3-70B Llama-3-8B Llama-Guard-3-1B Llama-Guard-3-8B Llama-Guard-3-11B-Vision Llama-2-7b Llama-2-70b Llama-2-7b-chat Llama-2-13b-chat CodeLlama-7b-hf CodeLlama-7b-Instruct-hf CodeLlama-34b-hf CodeLlama-34b-Python-hf CodeLlama-34b-Instruct-hf CodeLlama-13b-Instruct-hf CodeLlama-13b-Python-hf Prompt-Guard-86M CodeLlama-70b-hf |
Llama-3.3-70B-Instruct Llama-3.2-90B-Vision-Instruct Llama-3.2-11B-Vision-Instruct Llama-3.1-8B-Instruct Llama-3.1-70B-Instruct Llama-3.1-405B-Instruct Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-70b Llama-2-70b-chat Llama-2-13b Llama-2-13b-chat |
| Microsoft Phi családi modellek | Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3-vision-128k-Instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct Phi-4 |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct Phi-4 |
| Mistral-családbeli modellek | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large (2402) Mistral-large (2407) Mistral-small Ministral-3B Mistral-NeMo |
| Nixtla | Nem elérhető | TimeGEN-1 |
Modell életciklusa: elavulás és kivonás
Az AI-modellek gyorsan fejlődnek, és ha egy új verzió vagy egy új, frissített képességekkel rendelkező modell válik elérhetővé ugyanabban a modellcsaládban, a régebbi modellek kivonhatók az AI Foundry modellkatalógusból. Az újabb modellverziókra való zökkenőmentes áttérés érdekében egyes modellek lehetővé teszik az automatikus frissítések engedélyezését a felhasználóknak. A különböző modellek modelléletciklusáról, a modell közelgő kivonási dátumairól, valamint a javasolt helyettesítő modellekről és verziókról a következő témakörben olvashat bővebben:
- Az Azure OpenAI-szolgáltatásmodell elavulása és kivonása
- A severless API-modell elavulása és kivonása
Felügyelt számítás
A modellek felügyelt számításként való üzembe helyezésének képessége az Azure Machine Learning platformképességére épül, így lehetővé teszi a modellkatalógusban található modellek széles gyűjteményének zökkenőmentes integrációját a nagy méretű nyelvi modellek (LLM) műveleteinek teljes életciklusa során.
Modellek rendelkezésre állása felügyelt számításként történő üzembe helyezéshez
A modellek az Azure Machine Learning regisztrációs adatbázisain keresztül érhetők el. Ezek a nyilvántartások lehetővé teszik az Azure Machine Learning-eszközök üzemeltetésének és terjesztésének első gépi tanulási megközelítését. Ezek az eszközök közé tartoznak a modellek súlyozása, a modellek futtatásához használt tároló-futtatókörnyezetek, a modellek kiértékelésére és finomhangolására szolgáló folyamatok, valamint a benchmarkok és minták adatkészletei.
A regisztrációs adatbázisok egy nagy mértékben méretezhető és nagyvállalati használatra kész infrastruktúrára épülnek, amely:
Alacsony késésű hozzáférési modellösszetevőket biztosít az összes Azure-régiónak beépített georeplikálással.
Támogatja a vállalati biztonsági követelményeket, például a modellekhez való hozzáférés korlátozását az Azure Policy használatával, valamint a felügyelt virtuális hálózatok használatával történő biztonságos üzembe helyezést.
Modellek üzembe helyezése következtetéshez felügyelt számítással
A felügyelt számítás üzembe helyezéséhez rendelkezésre álló modellek valós idejű következtetés céljából üzembe helyezhetők az Azure Machine Learning által felügyelt számításban. A felügyelt számításra való üzembe helyezéshez rendelkeznie kell egy virtuálisgép-kvótával az Azure-előfizetésben azokhoz a termékekhez, amelyekre a modell optimális futtatásához szüksége van. Egyes modellek lehetővé teszik, hogy ideiglenesen megosztott kvótára telepítsen modelltesztelés céljából.
További információ a modellek üzembe helyezéséről:
Generatív AI-alkalmazások létrehozása felügyelt számítással
Az Azure Machine Learning parancssori folyamat funkciója nagyszerű élményt nyújt a prototípus-készítéshez. A modellmegnyitási LLM eszközzel a felügyelt számítással üzembe helyezett modelleket a parancssori folyamatban is használhatja. A felügyelt számítás által közzétett REST API-t olyan népszerű LLM-eszközökben is használhatja, mint például a LangChain az Azure Machine Learning bővítményével.
Tartalombiztonság felügyelt számításként üzembe helyezett modellekhez
Az Azure AI Content Safety szolgáltatás felügyelt számítással használható a káros tartalmak különböző kategóriáinak , például a szexuális tartalmaknak, az erőszaknak, a gyűlöletnek és az önkárosításnak a szűréséhez. A szolgáltatással olyan speciális fenyegetéseket is megjeleníthet, mint a feltörési kockázatészlelés és a védett anyagszöveg-észlelés.
Ebben a jegyzetfüzetben hivatkozhat az Azure AI Content Safety for Llama 2-vel való integrációra. Vagy használhatja a Content Safety (Text) eszközt a gyors folyamat során a modell válaszainak az Azure AI Content Safetybe való továbbításához szűrés céljából. Az Azure AI Content Safety díjszabásában leírtak szerint külön kell fizetnie az ilyen felhasználásért.
Kiszolgáló nélküli API -számlázás (jogkivonatonkénti fizetés)
A modellkatalógusban bizonyos modelleket jogkivonatonkénti számlázással helyezhet üzembe. Ez a kiszolgáló nélküli API-nak is nevezett üzembe helyezési módszer lehetővé teszi a modellek API-kként való használatát anélkül, hogy az előfizetésében üzemeltetné őket. A modellek egy Microsoft által felügyelt infrastruktúrában vannak üzemeltetve, amely api-alapú hozzáférést tesz lehetővé a modellszolgáltató modelljéhez. Az API-alapú hozzáférés jelentősen csökkentheti a modell elérésének költségeit, és leegyszerűsítheti a kiépítési élményt.
A kiszolgáló nélküli API-kként, használatalapú számlázással elérhető modelleket a modellszolgáltató kínálja, de egy Microsoft által felügyelt Azure-infrastruktúrában üzemeltetik őket, és API-val érhetők el. A modellszolgáltatók határozzák meg a licencfeltételeket, és meghatározzák a modelljeik használati árát. Az Azure Machine Learning szolgáltatás:
- Kezeli az üzemeltetési infrastruktúrát.
- Elérhetővé teszi a következtetési API-kat.
- Adatfeldolgozóként működik a MaaS-en keresztül üzembe helyezett modellek által küldött kérések és tartalomkimenetek esetében.
További információ a MaaS adatkezeléséről az adatvédelemről szóló cikkben.
Feljegyzés
Felhőszolgáltató (CSP)-előfizetések nem vásárolhatnak kiszolgáló nélküli API-üzemi (MaaS-) modelleket.
Számlázás
A MaaS-en keresztül üzembe helyezett modellek felderítési, előfizetési és használati élménye az Azure AI Foundry portálon és az Azure Machine Learning Studióban található. A felhasználók a modellek használatára vonatkozó licencfeltételeket fogadnak el. A használat díjszabási információi az üzembe helyezés során találhatók.
A nem Microsoft-szolgáltatóktól származó modellek számlázása az Azure Marketplace-en keresztül történik, a Microsoft Kereskedelmi Piactér használati feltételeinek megfelelően.
A Microsofttól származó modellek számlázása Azure-mérőken keresztül, első féltől származó fogyasztási szolgáltatásként. A termékfeltételekben leírtaknak megfelelően az Azure-mérők használatával vásárolja meg a first party consumption services szolgáltatást, de nem vonatkoznak rájuk az Azure szolgáltatási feltételei. Ezeknek a modelleknek a használatára a megadott licencfeltételek vonatkoznak.
Modellek finomhangolása
Bizonyos modellek a finomhangolást is támogatják. Ezekben a modellekben kihasználhatja a felügyelt számítási (előzetes verzió) vagy a kiszolgáló nélküli API finomhangolását, hogy a megadott adatok alapján testre szabja a modelleket. További információkért tekintse meg a finomhangolási áttekintést.
RAG kiszolgáló nélküli API-kként üzembe helyezett modellekkel
Az Azure AI Foundry portálon vektorindexeket és lekéréses kiegészítésű generációt (RAG) használhat. A kiszolgáló nélküli API-kon keresztül üzembe helyezhető modellek használatával beágyazást és következtetést hozhat létre egyéni adatok alapján. Ezek a beágyazások és következtetések ezután a használati esetre vonatkozó válaszokat hozhatnak létre. További információ: Vektorindexek létrehozása és felhasználása az Azure AI Foundry portálon.
Ajánlatok és modellek regionális elérhetősége
A jogkivonatonkénti számlázás csak azoknak a felhasználóknak érhető el, akiknek az Azure-előfizetése egy számlázási fiókhoz tartozik egy olyan országban vagy régióban, ahol a modellszolgáltató elérhetővé tette az ajánlatot. Ha az ajánlat elérhető az adott régióban, akkor a felhasználónak rendelkeznie kell egy projekterőforrással abban az Azure-régióban, ahol a modell elérhető az üzembe helyezéshez vagy a finomhangoláshoz, adott esetben. Tekintse meg a régiók rendelkezésre állását a kiszolgáló nélküli API-végpontok modelljeihez | Részletes információkért lásd az Azure AI Foundryt .
Tartalombiztonság kiszolgáló nélküli API-k használatával üzembe helyezett modellekhez
A kiszolgáló nélküli API-kon keresztül üzembe helyezett nyelvi modellek esetében az Azure AI az Azure AI Content Safety szövegmoderálási szűrőinek alapértelmezett konfigurációját implementálja, amely észleli a káros tartalmakat, például a gyűlöletet, az önkárosítást, a szexuális és az erőszakos tartalmakat. A tartalomszűrésről (előzetes verzió) további információt az Azure AI Content Safety kárkategóriái című témakörben talál.
Tipp.
A tartalomszűrés (előzetes verzió) nem érhető el bizonyos, kiszolgáló nélküli API-kon keresztül üzembe helyezett modelltípusokhoz. Ezek a modelltípusok közé tartoznak a modellek és az idősorozat-modellek beágyazása.
A tartalomszűrés (előzetes verzió) szinkron módon történik, amikor a szolgáltatás a tartalom létrehozására kéri. Előfordulhat, hogy az Azure AI Content Safety díjszabása szerint külön kell fizetnie az ilyen felhasználásért. A tartalomszűrés (előzetes verzió) letiltható az egyes kiszolgáló nélküli végpontok esetében:
- Nyelvi modell első üzembe helyezésekor
- Később a tartalomszűrés váltógombjának kiválasztásával az üzembe helyezés részletei lapon
Tegyük fel, hogy az Azure AI Model Inference API-tól eltérő API-t használ egy kiszolgáló nélküli API-val üzembe helyezett modell használatához. Ilyen esetben a tartalomszűrés (előzetes verzió) csak akkor engedélyezett, ha külön implementálja az Azure AI Content Safety használatával.
Az Azure AI Content Safety használatának megkezdéséhez tekintse meg a szöveges tartalom elemzésével kapcsolatos rövid útmutatót. Ha nem használ tartalomszűrést (előzetes verziót) a kiszolgáló nélküli API-kon keresztül üzembe helyezett modellek használatakor, nagyobb a kockázata annak, hogy a felhasználókat káros tartalmakká teszi.
Hálózatelkülönítés kiszolgáló nélküli API-k használatával üzembe helyezett modellekhez
A kiszolgáló nélküli API-ként üzembe helyezett modellek végpontjai az Üzembe helyezést tartalmazó projekttel rendelkező Azure AI Foundry Hub nyilvános hálózati hozzáférési jelzőbeállítását követik. A kiszolgáló nélküli API-végpont biztonságossá tételéhez tiltsa le a nyilvános hálózati hozzáférési jelzőt az Azure AI Foundry hubon. Az ügyfél és a végpont közötti bejövő kommunikáció biztonságossá tételéhez használhat privát végpontot a központ számára.
Az Azure AI Foundry Hub nyilvános hálózati hozzáférési jelölőjének beállítása:
- Nyissa meg az Azure Portalt.
- Keresse meg azt az erőforráscsoportot, amelyhez a központ tartozik, és válassza ki az Azure AI Foundry-központot az erőforráscsoportban felsorolt erőforrások közül.
- A központ áttekintési lapján, a bal oldali panelen válassza a Beállítások>hálózatkezelése lehetőséget.
- A Nyilvános hozzáférés lapon konfigurálhatja a nyilvános hálózati hozzáférési jelző beállításait.
- Mentse a módosításokat. A módosítások propagálása akár öt percet is igénybe vehet.
Korlátozások
Ha 2024. július 11-e előtt létrehozott privát végponttal rendelkező Azure AI Foundry-központtal rendelkezik, akkor a központ projektjeihez hozzáadott kiszolgáló nélküli API-végpontok nem fogják követni a központ hálózati konfigurációját. Ehelyett létre kell hoznia egy új privát végpontot a központ számára, és új kiszolgáló nélküli API-üzemelő példányokat kell létrehoznia a projektben, hogy az új üzembe helyezések követni tudják a központ hálózati konfigurációját.
Ha 2024. július 11-e előtt létrehozott MaaS-telepítésekkel rendelkező Azure AI Foundry-központtal rendelkezik, és engedélyezi a privát végpontot ezen a központban, a meglévő kiszolgáló nélküli API-telepítések nem fogják követni a központ hálózati konfigurációját. Ahhoz, hogy a központ kiszolgáló nélküli API-üzemelő példányai kövessék a központ hálózati konfigurációját, újra létre kell hoznia az üzembe helyezéseket.
Az Azure OpenAI On Your Data támogatása jelenleg nem érhető el a privát központok kiszolgáló nélküli API-üzemelő példányaihoz, mert a privát központokban le van tiltva a nyilvános hálózati hozzáférési jelző.
A hálózati konfiguráció bármilyen módosítása (például a nyilvános hálózati hozzáférési jelző engedélyezése vagy letiltása) propagálása akár öt percet is igénybe vehet.