Megosztás a következőn keresztül:


Modellkatalógus és gyűjtemények az Azure AI Foundry portálon

Fontos

A cikkben megjelölt (előzetes verziójú) elemek jelenleg nyilvános előzetes verzióban érhetők el. Ez az előzetes verzió szolgáltatásszint-szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik. További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.

Az Azure AI Foundry portál modellkatalógusa a generatív AI-alkalmazások készítéséhez használt modellek széles skálájának felderítésére és használatára szolgáló központ. A modellkatalógus több száz modellt tartalmaz olyan modellszolgáltatók között, mint az Azure OpenAI Service, a Mistral, a Meta, a Cohere, az NVIDIA és az Ölelés Arc, beleértve a Microsoft által betanított modelleket is. A Microsofttól eltérő szolgáltatóktól származó modellek nem Microsoft-termékek, a Microsoft termékfeltételeiben meghatározottak szerint, és a modellekhez megadott feltételek vonatkoznak gombra.

Modellgyűjtemények

A modellkatalógus különböző gyűjteményekbe rendezi a modelleket:

  • Az Azure AI által válogatott: A legnépszerűbb nem Microsoft-alapú nyílt súlyú és saját fejlesztésű modellek, amelyek az Azure AI platform zökkenőmentes működésére van csomagolva és optimalizálva. Ezeknek a modelleknek a használatára a modellszolgáltatók licencfeltételei vonatkoznak. Amikor ezeket a modelleket az Azure AI Foundry portálon helyezi üzembe, azok rendelkezésre állására a vonatkozó Azure szolgáltatásiszint-szerződés (SLA) vonatkozik, és a Microsoft támogatást nyújt az üzembe helyezési problémákhoz.

    Az olyan partnerektől származó modellek, mint a Meta, az NVIDIA és a Mistral AI, példák a katalógus gyűjteményében elérhető modellekre. Ezeket a modelleket úgy azonosíthatja, ha zöld pipát keres a katalógusban lévő modellcsempéken. Vagy szűrhet az Azure AI-gyűjtemény által válogatottak alapján is.

  • Kizárólag az Azure-ban elérhető Azure OpenAI-modellek: Az Azure OpenAI szolgáltatással való integráción keresztül elérhető Kiemelt Azure OpenAI-modellek. A Microsoft ezeket a modelleket és azok használatát az Azure OpenAI Szolgáltatás termékfeltételei és SLA-ja szerint támogatja.

  • Modellek megnyitása az ölelő Face Hubból: Több száz modell az Ölelés Face Hubból a felügyelt számítással való valós idejű következtetéshez. Az Arc ölelése a gyűjteményben felsorolt modelleket hoz létre és tart fenn. Ha segítségre van szüksége, használja az Ölelés Arc fórumot vagy az Ölelés Arc támogatást. További információ a nyílt modellek üzembe helyezéséről az Azure AI Foundryvel.

Ezen az űrlapon elküldheti a modellkatalógushoz való hozzáadására vonatkozó kérelmet.

A modellkatalógus képességeinek áttekintése

Olyan modelleket kereshet és fedezhet fel, amelyek megfelelnek az igényeinek keyword searchfilters. A modellkatalógus a modell teljesítménymutató-mérőszámait is kínálja a kiválasztott modellekhez. A teljesítményteszt eléréséhez kattintson Compare Models vagy a modellkártya Benchmark lapján.

A modellkártyán a következőt találja:

  • Gyors tények: a modell legfontosabb információi rövid áttekintést kapnak.
  • Részletek: ez az oldal tartalmazza a modellre vonatkozó részletes információkat, beleértve a leírást, a verzióinformációkat, a támogatott adattípust stb.
  • Teljesítménytesztek: a kiválasztott modellek teljesítménymutató-mérőszámait találja.
  • Meglévő üzemelő példányok: ha már telepítette a modellt, a Meglévő üzembe helyezések lapon találja.
  • Kódminták: az AI-alkalmazások fejlesztésének első lépéseihez megtalálja az alapvető kódmintákat.
  • Licenc: a modelllicenceléssel kapcsolatos jogi információkat talál.
  • Összetevők: ez a lap csak nyitott modellek esetén jelenik meg. Megtekintheti a modellegységeket, és letöltheti őket a felhasználói felületen keresztül.

Modell üzembe helyezése: Azure OpenAI

További információ az Azure OpenAI-modellekről: Mi az Az Azure OpenAI szolgáltatás?.

Modell üzembe helyezése: Felügyelt számítási és kiszolgáló nélküli API-k

Az Azure OpenAI-szolgáltatásmodellek mellett a modellkatalógus két különböző módszert kínál a modellek üzembe helyezésére az Ön számára: felügyelt számítási és kiszolgáló nélküli API-k.

Az egyes modellekhez elérhető üzembehelyezési lehetőségek és funkciók az alábbi táblázatokban leírtak szerint változnak. További információ az üzembe helyezési lehetőségekkel végzett adatfeldolgozásról.

A modell üzembehelyezési lehetőségeinek képességei

Funkciók Felügyelt számítás Kiszolgáló nélküli API (jogkivonatonkénti fizetés)
Üzembe helyezési élmény és számlázás A modell súlyozása felügyelt számítással rendelkező dedikált virtuális gépekre van üzembe helyezve. Egy felügyelt számítás, amely egy vagy több üzembe helyezéssel rendelkezhet, rest API-t tesz elérhetővé a következtetéshez. A rendszer kiszámlázzák a virtuális gépek központi óráit, amelyeket az üzemelő példányok használnak. A modellekhez való hozzáférés olyan üzembe helyezésen keresztül történik, amely egy API-t helyez üzembe a modell eléréséhez. Az API hozzáférést biztosít a Microsoft által üzemeltetett és felügyelt modellhez a következtetés érdekében. Az API-k bemeneteiért és kimeneteiért díjat kell fizetnie, általában jogkivonatokban. A díjszabási információk az üzembe helyezés előtt lesznek megadva.
API-hitelesítés Kulcsok és Microsoft Entra-hitelesítés. Csak kulcsok.
Tartalombiztonság Azure AI Content Safety szolgáltatás API-k használata. Az Azure AI Tartalom Biztonság-szűrők integrálva érhetők el a következtetési API-kkal. Az Azure AI Content Safety-szűrők külön kerülnek számlázásra.
Hálózati elkülönítés Felügyelt hálózatok konfigurálása az Azure AI Foundry-központokhoz. A felügyelt számítás a központ nyilvános hálózati hozzáférési (PNA) jelzőbeállítását követi. További információ: A kiszolgáló nélküli API-kon keresztül üzembe helyezett modellek hálózati elkülönítése a cikk későbbi részében.

Támogatott üzembehelyezési lehetőségek elérhető modelljei

Az alábbi lista kiszolgáló nélküli API-modelleket tartalmaz. Az Azure OpenAI-modellekről az Azure OpenAI-szolgáltatásmodellek című témakörben olvashat.

Modell Felügyelt számítás Kiszolgáló nélküli API (jogkivonatonkénti fizetés)
AI21 családi modellek Nem elérhető Jamba-1.5-Mini
Jamba-1.5-Large
Családi modellek összehevesítése Nem elérhető Cohere-command-r-plus-08-2024
Cohere-command-r-08-2024
Cohere-command-r-plus
Cohere-command-r
Cohere-embed-v3-english
Cohere-embed-v3-többnyelvű
Cohere-rerank-v3-english
Cohere-rerank-v3-többnyelvű
DeepSeek-modellek a Microsofttól Nem elérhető DeepSeek-R1
Juliska Nem elérhető Gretel-Navigátor
Egészségügyi AI családi modellek MedImageParse
MedImageInsight
CxrReportGen
Virchow
Virchow2
Prizma
BiomedCLIP-PubMedBERT
microsoft-llava-med-v1.5
m42-health-llama3-med4
biomistral-biomistral-7b
microsoft-biogpt-large-pub
microsoft-biomednlp-pub
stanford-crfm-biomedlm
medicalai-clinicalbert
microsoft-biogpt
microsoft-biogpt-large
microsoft-biomednlp-pub
Nem elérhető
JAIS Nem elérhető jais-30b-chat
Meta Llama családi modellek Llama-3.3-70B-Instruct
Llama-3.2-3B-Instruct
Llama-3.2-1B-Instruct
Llama-3.2-1B
Llama-3.2-90B-Vision-Instruct
Llama-3.2-11B-Vision-Instruct
Llama-3.1-8B-Instruct
Llama-3.1-8B
Llama-3.1-70B-Instruct
Llama-3.1-70B
Llama-3-8B-Instruct
Llama-3-70B
Llama-3-8B
Llama-Guard-3-1B
Llama-Guard-3-8B
Llama-Guard-3-11B-Vision
Llama-2-7b
Llama-2-70b
Llama-2-7b-chat
Llama-2-13b-chat
CodeLlama-7b-hf
CodeLlama-7b-Instruct-hf
CodeLlama-34b-hf
CodeLlama-34b-Python-hf
CodeLlama-34b-Instruct-hf
CodeLlama-13b-Instruct-hf
CodeLlama-13b-Python-hf
Prompt-Guard-86M
CodeLlama-70b-hf
Llama-3.3-70B-Instruct
Llama-3.2-90B-Vision-Instruct
Llama-3.2-11B-Vision-Instruct
Llama-3.1-8B-Instruct
Llama-3.1-70B-Instruct
Llama-3.1-405B-Instruct
Llama-3-8B-Instruct
Llama-3-70B-Instruct
Llama-2-7b
Llama-2-7b-chat
Llama-2-70b
Llama-2-70b-chat
Llama-2-13b
Llama-2-13b-chat
Microsoft Phi családi modellek Phi-3-mini-4k-Instruct
Phi-3-mini-128k-Instruct
Phi-3-small-8k-Instruct
Phi-3-small-128k-Instruct
Phi-3-medium-4k-instruct
Phi-3-medium-128k-instruct
Phi-3-vision-128k-Instruct
Phi-3.5-mini-Instruct
Phi-3.5-vision-Instruct
Phi-3.5-MoE-Instruct
Phi-4
Phi-3-mini-4k-Instruct
Phi-3-mini-128k-Instruct
Phi-3-small-8k-Instruct
Phi-3-small-128k-Instruct
Phi-3-medium-4k-instruct
Phi-3-medium-128k-instruct

Phi-3.5-mini-Instruct
Phi-3.5-vision-Instruct
Phi-3.5-MoE-Instruct
Phi-4
Mistral-családbeli modellek mistralai-Mixtral-8x22B-v0-1
mistralai-Mixtral-8x22B-Instruct-v0-1
mistral-community-Mixtral-8x22B-v0-1
mistralai-Mixtral-8x7B-v01
mistralai-Mistral-7B-Instruct-v0-2
mistralai-Mistral-7B-v01
mistralai-Mixtral-8x7B-Instruct-v01
mistralai-Mistral-7B-Instruct-v01
Mistral-large (2402)
Mistral-large (2407)
Mistral-small
Ministral-3B
Mistral-NeMo
Nixtla Nem elérhető TimeGEN-1

A modellek szolgáltatásként való ábrázolását és a felügyelt számítások szolgáltatási ciklusát bemutató ábra.

Modell életciklusa: elavulás és kivonás

Az AI-modellek gyorsan fejlődnek, és ha egy új verzió vagy egy új, frissített képességekkel rendelkező modell válik elérhetővé ugyanabban a modellcsaládban, a régebbi modellek kivonhatók az AI Foundry modellkatalógusból. Az újabb modellverziókra való zökkenőmentes áttérés érdekében egyes modellek lehetővé teszik az automatikus frissítések engedélyezését a felhasználóknak. A különböző modellek modelléletciklusáról, a modell közelgő kivonási dátumairól, valamint a javasolt helyettesítő modellekről és verziókról a következő témakörben olvashat bővebben:

Felügyelt számítás

A modellek felügyelt számításként való üzembe helyezésének képessége az Azure Machine Learning platformképességére épül, így lehetővé teszi a modellkatalógusban található modellek széles gyűjteményének zökkenőmentes integrációját a nagy méretű nyelvi modellek (LLM) műveleteinek teljes életciklusa során.

A nagy nyelvi modellműveletek életciklusát bemutató diagram.

Modellek rendelkezésre állása felügyelt számításként történő üzembe helyezéshez

A modellek az Azure Machine Learning regisztrációs adatbázisain keresztül érhetők el. Ezek a nyilvántartások lehetővé teszik az Azure Machine Learning-eszközök üzemeltetésének és terjesztésének első gépi tanulási megközelítését. Ezek az eszközök közé tartoznak a modellek súlyozása, a modellek futtatásához használt tároló-futtatókörnyezetek, a modellek kiértékelésére és finomhangolására szolgáló folyamatok, valamint a benchmarkok és minták adatkészletei.

A regisztrációs adatbázisok egy nagy mértékben méretezhető és nagyvállalati használatra kész infrastruktúrára épülnek, amely:

  • Alacsony késésű hozzáférési modellösszetevőket biztosít az összes Azure-régiónak beépített georeplikálással.

  • Támogatja a vállalati biztonsági követelményeket, például a modellekhez való hozzáférés korlátozását az Azure Policy használatával, valamint a felügyelt virtuális hálózatok használatával történő biztonságos üzembe helyezést.

Modellek üzembe helyezése következtetéshez felügyelt számítással

A felügyelt számítás üzembe helyezéséhez rendelkezésre álló modellek valós idejű következtetés céljából üzembe helyezhetők az Azure Machine Learning által felügyelt számításban. A felügyelt számításra való üzembe helyezéshez rendelkeznie kell egy virtuálisgép-kvótával az Azure-előfizetésben azokhoz a termékekhez, amelyekre a modell optimális futtatásához szüksége van. Egyes modellek lehetővé teszik, hogy ideiglenesen megosztott kvótára telepítsen modelltesztelés céljából.

További információ a modellek üzembe helyezéséről:

Generatív AI-alkalmazások létrehozása felügyelt számítással

Az Azure Machine Learning parancssori folyamat funkciója nagyszerű élményt nyújt a prototípus-készítéshez. A modellmegnyitási LLM eszközzel a felügyelt számítással üzembe helyezett modelleket a parancssori folyamatban is használhatja. A felügyelt számítás által közzétett REST API-t olyan népszerű LLM-eszközökben is használhatja, mint például a LangChain az Azure Machine Learning bővítményével.

Tartalombiztonság felügyelt számításként üzembe helyezett modellekhez

Az Azure AI Content Safety szolgáltatás felügyelt számítással használható a káros tartalmak különböző kategóriáinak , például a szexuális tartalmaknak, az erőszaknak, a gyűlöletnek és az önkárosításnak a szűréséhez. A szolgáltatással olyan speciális fenyegetéseket is megjeleníthet, mint a feltörési kockázatészlelés és a védett anyagszöveg-észlelés.

Ebben a jegyzetfüzetben hivatkozhat az Azure AI Content Safety for Llama 2-vel való integrációra. Vagy használhatja a Content Safety (Text) eszközt a gyors folyamat során a modell válaszainak az Azure AI Content Safetybe való továbbításához szűrés céljából. Az Azure AI Content Safety díjszabásában leírtak szerint külön kell fizetnie az ilyen felhasználásért.

Kiszolgáló nélküli API -számlázás (jogkivonatonkénti fizetés)

A modellkatalógusban bizonyos modelleket jogkivonatonkénti számlázással helyezhet üzembe. Ez a kiszolgáló nélküli API-nak is nevezett üzembe helyezési módszer lehetővé teszi a modellek API-kként való használatát anélkül, hogy az előfizetésében üzemeltetné őket. A modellek egy Microsoft által felügyelt infrastruktúrában vannak üzemeltetve, amely api-alapú hozzáférést tesz lehetővé a modellszolgáltató modelljéhez. Az API-alapú hozzáférés jelentősen csökkentheti a modell elérésének költségeit, és leegyszerűsítheti a kiépítési élményt.

A kiszolgáló nélküli API-kként, használatalapú számlázással elérhető modelleket a modellszolgáltató kínálja, de egy Microsoft által felügyelt Azure-infrastruktúrában üzemeltetik őket, és API-val érhetők el. A modellszolgáltatók határozzák meg a licencfeltételeket, és meghatározzák a modelljeik használati árát. Az Azure Machine Learning szolgáltatás:

  • Kezeli az üzemeltetési infrastruktúrát.
  • Elérhetővé teszi a következtetési API-kat.
  • Adatfeldolgozóként működik a MaaS-en keresztül üzembe helyezett modellek által küldött kérések és tartalomkimenetek esetében.

További információ a MaaS adatkezeléséről az adatvédelemről szóló cikkben.

A modell közzétevői szolgáltatási ciklusát bemutató diagram.

Feljegyzés

Felhőszolgáltató (CSP)-előfizetések nem vásárolhatnak kiszolgáló nélküli API-üzemi (MaaS-) modelleket.

Számlázás

A MaaS-en keresztül üzembe helyezett modellek felderítési, előfizetési és használati élménye az Azure AI Foundry portálon és az Azure Machine Learning Studióban található. A felhasználók a modellek használatára vonatkozó licencfeltételeket fogadnak el. A használat díjszabási információi az üzembe helyezés során találhatók.

A nem Microsoft-szolgáltatóktól származó modellek számlázása az Azure Marketplace-en keresztül történik, a Microsoft Kereskedelmi Piactér használati feltételeinek megfelelően.

A Microsofttól származó modellek számlázása Azure-mérőken keresztül, első féltől származó fogyasztási szolgáltatásként. A termékfeltételekben leírtaknak megfelelően az Azure-mérők használatával vásárolja meg a first party consumption services szolgáltatást, de nem vonatkoznak rájuk az Azure szolgáltatási feltételei. Ezeknek a modelleknek a használatára a megadott licencfeltételek vonatkoznak.

Modellek finomhangolása

Bizonyos modellek a finomhangolást is támogatják. Ezekben a modellekben kihasználhatja a felügyelt számítási (előzetes verzió) vagy a kiszolgáló nélküli API finomhangolását, hogy a megadott adatok alapján testre szabja a modelleket. További információkért tekintse meg a finomhangolási áttekintést.

RAG kiszolgáló nélküli API-kként üzembe helyezett modellekkel

Az Azure AI Foundry portálon vektorindexeket és lekéréses kiegészítésű generációt (RAG) használhat. A kiszolgáló nélküli API-kon keresztül üzembe helyezhető modellek használatával beágyazást és következtetést hozhat létre egyéni adatok alapján. Ezek a beágyazások és következtetések ezután a használati esetre vonatkozó válaszokat hozhatnak létre. További információ: Vektorindexek létrehozása és felhasználása az Azure AI Foundry portálon.

Ajánlatok és modellek regionális elérhetősége

A jogkivonatonkénti számlázás csak azoknak a felhasználóknak érhető el, akiknek az Azure-előfizetése egy számlázási fiókhoz tartozik egy olyan országban vagy régióban, ahol a modellszolgáltató elérhetővé tette az ajánlatot. Ha az ajánlat elérhető az adott régióban, akkor a felhasználónak rendelkeznie kell egy projekterőforrással abban az Azure-régióban, ahol a modell elérhető az üzembe helyezéshez vagy a finomhangoláshoz, adott esetben. Tekintse meg a régiók rendelkezésre állását a kiszolgáló nélküli API-végpontok modelljeihez | Részletes információkért lásd az Azure AI Foundryt .

Tartalombiztonság kiszolgáló nélküli API-k használatával üzembe helyezett modellekhez

A kiszolgáló nélküli API-kon keresztül üzembe helyezett nyelvi modellek esetében az Azure AI az Azure AI Content Safety szövegmoderálási szűrőinek alapértelmezett konfigurációját implementálja, amely észleli a káros tartalmakat, például a gyűlöletet, az önkárosítást, a szexuális és az erőszakos tartalmakat. A tartalomszűrésről (előzetes verzió) további információt az Azure AI Content Safety kárkategóriái című témakörben talál.

Tipp.

A tartalomszűrés (előzetes verzió) nem érhető el bizonyos, kiszolgáló nélküli API-kon keresztül üzembe helyezett modelltípusokhoz. Ezek a modelltípusok közé tartoznak a modellek és az idősorozat-modellek beágyazása.

A tartalomszűrés (előzetes verzió) szinkron módon történik, amikor a szolgáltatás a tartalom létrehozására kéri. Előfordulhat, hogy az Azure AI Content Safety díjszabása szerint külön kell fizetnie az ilyen felhasználásért. A tartalomszűrés (előzetes verzió) letiltható az egyes kiszolgáló nélküli végpontok esetében:

  • Nyelvi modell első üzembe helyezésekor
  • Később a tartalomszűrés váltógombjának kiválasztásával az üzembe helyezés részletei lapon

Tegyük fel, hogy az Azure AI Model Inference API-tól eltérő API-t használ egy kiszolgáló nélküli API-val üzembe helyezett modell használatához. Ilyen esetben a tartalomszűrés (előzetes verzió) csak akkor engedélyezett, ha külön implementálja az Azure AI Content Safety használatával.

Az Azure AI Content Safety használatának megkezdéséhez tekintse meg a szöveges tartalom elemzésével kapcsolatos rövid útmutatót. Ha nem használ tartalomszűrést (előzetes verziót) a kiszolgáló nélküli API-kon keresztül üzembe helyezett modellek használatakor, nagyobb a kockázata annak, hogy a felhasználókat káros tartalmakká teszi.

Hálózatelkülönítés kiszolgáló nélküli API-k használatával üzembe helyezett modellekhez

A kiszolgáló nélküli API-ként üzembe helyezett modellek végpontjai az Üzembe helyezést tartalmazó projekttel rendelkező Azure AI Foundry Hub nyilvános hálózati hozzáférési jelzőbeállítását követik. A kiszolgáló nélküli API-végpont biztonságossá tételéhez tiltsa le a nyilvános hálózati hozzáférési jelzőt az Azure AI Foundry hubon. Az ügyfél és a végpont közötti bejövő kommunikáció biztonságossá tételéhez használhat privát végpontot a központ számára.

Az Azure AI Foundry Hub nyilvános hálózati hozzáférési jelölőjének beállítása:

  • Nyissa meg az Azure Portalt.
  • Keresse meg azt az erőforráscsoportot, amelyhez a központ tartozik, és válassza ki az Azure AI Foundry-központot az erőforráscsoportban felsorolt erőforrások közül.
  • A központ áttekintési lapján, a bal oldali panelen válassza a Beállítások>hálózatkezelése lehetőséget.
  • A Nyilvános hozzáférés lapon konfigurálhatja a nyilvános hálózati hozzáférési jelző beállításait.
  • Mentse a módosításokat. A módosítások propagálása akár öt percet is igénybe vehet.

Korlátozások

  • Ha 2024. július 11-e előtt létrehozott privát végponttal rendelkező Azure AI Foundry-központtal rendelkezik, akkor a központ projektjeihez hozzáadott kiszolgáló nélküli API-végpontok nem fogják követni a központ hálózati konfigurációját. Ehelyett létre kell hoznia egy új privát végpontot a központ számára, és új kiszolgáló nélküli API-üzemelő példányokat kell létrehoznia a projektben, hogy az új üzembe helyezések követni tudják a központ hálózati konfigurációját.

  • Ha 2024. július 11-e előtt létrehozott MaaS-telepítésekkel rendelkező Azure AI Foundry-központtal rendelkezik, és engedélyezi a privát végpontot ezen a központban, a meglévő kiszolgáló nélküli API-telepítések nem fogják követni a központ hálózati konfigurációját. Ahhoz, hogy a központ kiszolgáló nélküli API-üzemelő példányai kövessék a központ hálózati konfigurációját, újra létre kell hoznia az üzembe helyezéseket.

  • Az Azure OpenAI On Your Data támogatása jelenleg nem érhető el a privát központok kiszolgáló nélküli API-üzemelő példányaihoz, mert a privát központokban le van tiltva a nyilvános hálózati hozzáférési jelző.

  • A hálózati konfiguráció bármilyen módosítása (például a nyilvános hálózati hozzáférési jelző engedélyezése vagy letiltása) propagálása akár öt percet is igénybe vehet.