Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
Megjegyzés:
Ez a dokumentum a Microsoft Foundry (klasszikus) portálra hivatkozik.
🔍Az új portállal kapcsolatos információkért tekintse meg a Microsoft Foundry (új) dokumentációját.
Az Foundry modellkatalógus a Microsoft Foundry modellek széles választékát kínálja, számos különböző szolgáltatótól. Különböző lehetőségei vannak a modellek üzembe helyezésére a modellkatalógusból. Ez a cikk a kiszolgáló nélküli API-üzemelő példányokra vonatkozó következtetési példákat sorolja fel.
Important
Az előzetes verzióban lévő modelleket a modellkatalógusban a modellkártyákon előnézetként jelölik meg.
A modellekkel való következtetés végrehajtásához egyes modellek, például a Nixtla TimeGEN-1 és a Cohere rerank használatához egyéni API-kat kell használnia a modellszolgáltatóktól. Mások támogatják a következtetést a Model Inference API használatával. Az egyes modellekről további részleteket az Foundry portál modellkatalógusában tekinthet meg.
Cohere
A Cohere modellcsalád különböző használati esetekre optimalizált modelleket tartalmaz, beleértve a rerankot, a csevegés befejezését és a beágyazási modelleket.
Következtetési példák: Cohere parancs és beágyazás
Az alábbi táblázat hivatkozásokat tartalmaz a Cohere-modellek használatára vonatkozó példákra.
| Description | Nyelv | Sample |
|---|---|---|
| Webes kérések | Bash |
Command-RCommand-R+ cohere-embed.ipynb |
| Azure AI-következtetési csomag C-hez# | C# | Link |
| Azure AI-következtetési csomag JavaScripthez | JavaScript | Link |
| Azure AI-következtetési csomag Pythonhoz | Python | Link |
| OpenAI SDK (kísérleti) | Python | Link |
| LangChain | Python | Link |
| Cohere SDK | Python |
Command Embed |
| LiteLLM SDK | Python | Link |
Retrieval Augmented Generation (RAG) és eszközhasználati minták: Cohere parancs és beágyazási példák
| Description | Packages | Sample |
|---|---|---|
| Helyi Facebook AI-hasonlósági keresés (FAISS) vektorindex létrehozása a Cohere beágyazások használatával – Langchain |
langchain, langchain_cohere |
cohere_faiss_langchain_embed.ipynb |
| A Cohere Command R/R+ használatával válaszolhat a helyi FAISS-vektorindex adatainak kérdéseire – Langchain |
langchain, langchain_cohere |
command_faiss_langchain.ipynb |
| A Cohere Command R/R+ használatával válaszolhat az AI keresési vektorindexében szereplő adatokkal kapcsolatos kérdésekre – Langchain |
langchain, langchain_cohere |
cohere-aisearch-langchain-rag.ipynb |
| A Cohere Command R/R+ használatával válaszolhat az AI keresési vektorindexében szereplő adatokkal kapcsolatos kérdésekre – Cohere SDK |
cohere, azure_search_documents |
cohere-aisearch-rag.ipynb |
| Command R+ funkció vagy eszköz meghívása a LangChain használatával. | \ |
command_tools-langchain.ipynb |
Összehangolt újrarendezés
A Cohere rerank-modellekkel való következtetés végrehajtásához a Cohere egyéni rerank API-jait kell használnia. A Cohere rerank modellről és képességeiről további információt a Cohere rerank című témakörben talál.
Cohere rerank-modellek díjszabása
A lekérdezések , nem tévesztendők össze egy felhasználó lekérdezésével, egy díjszabási mérő, amely a Cohere Rerank-modell következtetéséhez bemenetként használt jogkivonatokhoz tartozó költségekre hivatkozik. A cohere egyetlen keresési egységet számlál lekérdezésként, legfeljebb 100 rangsorolandó dokumentummal. Az 500-nál hosszabb dokumentumok (Cohere-rerank-v3.5 esetén), vagy a 4096-nál hosszabb dokumentumok (Cohere-rerank-v3-English és Cohere-rerank-v3-multilingual esetén), amikor a keresési lekérdezés hosszát is beleszámítjuk, több részre oszlanak fel, ahol minden rész egyetlen dokumentumnak számít.
Tekintse meg a Cohere modellgyűjteményt az Foundry portálon.
Core42
Az alábbi táblázat a Jais-modellek használatára vonatkozó példákra mutató hivatkozásokat tartalmaz.
| Description | Nyelv | Sample |
|---|---|---|
| Azure AI-következtetési csomag C-hez# | C# | Link |
| Azure AI-következtetési csomag JavaScripthez | JavaScript | Link |
| Azure AI-következtetési csomag Pythonhoz | Python | Link |
DeepSeek
A DeepSeek modellcsalád része a DeepSeek-R1, amely kiváló a lépésről-lépésre történő betanítást igénylő feladatokban, mint a nyelvi, tudományos érvelési és programozási feladatok. Továbbá tartalmazza a DeepSeek-V3-0324-et, amely egy szakértők keverékével (MoE) rendelkező nyelvi modell, és még sok mást.
Az alábbi táblázat a DeepSeek-modellek használatára vonatkozó példákra mutató hivatkozásokat tartalmaz.
| Description | Nyelv | Sample |
|---|---|---|
| Azure AI-következtetési csomag Pythonhoz | Python | Link |
| Azure AI-következtetési csomag JavaScripthez | JavaScript | Link |
| Azure AI-következtetési csomag C-hez# | C# | Link |
| Azure AI-következtetési csomag Java-hoz | Java | Link |
Meta
A Meta Llama modellek és eszközök előre betanított és finomhangolt, generatív AI szöveg- és képértelmező modellek gyűjteménye. A metamodellek tartománya a következőkre skálázható:
- Kis nyelvi modellek (SLM-ek), például 1B és 3B alapmodellek, valamint instrukciós modellek az eszköz- és peremhálózati következtetéshez
- Közepes méretű nagy nyelvi modellek (LLM-ek), például 7B, 8B és 70B alap- és instruktúramodellek
- Olyan nagy teljesítményű modellek, mint a Meta Llama 3.1-405B Instruct szintetikus adatgenerálási és adatsűrítési használati esetekhez.
- A nagy teljesítményű, natívan multimodális modellek, a Llama 4 Scout és a Llama 4 Maverick egy szakértőkből álló architektúrát használnak, hogy iparágvezető teljesítményt nyújtsanak a szöveg- és képértés terén.
Az alábbi táblázat a Meta Láma-modellek használatára vonatkozó példákra mutató hivatkozásokat tartalmaz.
| Description | Nyelv | Sample |
|---|---|---|
| CURL-kérés | Bash | Link |
| Azure AI-következtetési csomag C-hez# | C# | Link |
| Azure AI-következtetési csomag JavaScripthez | JavaScript | Link |
| Azure AI-következtetési csomag Pythonhoz | Python | Link |
| Python-webkérelmek | Python | Link |
| OpenAI SDK (kísérleti) | Python | Link |
| LangChain | Python | Link |
| LiteLLM | Python | Link |
Microsoft
A Microsoft-modellek különböző modellcsoportokat tartalmaznak, például MAI-modelleket, Phi-modelleket, egészségügyi AI-modelleket és egyebeket. Az összes elérhető Microsoft-modell megtekintéséhez tekintse meg a Microsoft-modellgyűjteményt az Foundry portálon.
Az alábbi táblázat a Microsoft-modellek használatára vonatkozó példákra mutató hivatkozásokat tartalmaz.
| Description | Nyelv | Sample |
|---|---|---|
| Azure AI-következtetési csomag C-hez# | C# | Link |
| Azure AI-következtetési csomag JavaScripthez | JavaScript | Link |
| Azure AI-következtetési csomag Pythonhoz | Python | Link |
| LangChain | Python | Link |
| Llama-Index | Python | Link |
Tekintse meg a Microsoft-modellgyűjteményt az Foundry portálon.
Miistral AI
A Mistral AI két modellkategóriát kínál, nevezetesen:
- Prémium modellek: Ezek közé tartoznak a Mistral Large, a Mistral Small, a Mistral-OCR-2503, a Mistral Medium 3 (25.05) és a Ministral 3B modellek, és kiszolgáló nélküli API-kként érhetők el használatalapú jogkivonatalapú számlázással.
- Nyitott modellek: Ezek közé tartozik a Mistral-small-2503, A Codestral és a Mistral Nemo (amelyek használatalapú fizetéses tokenalapú számlázással rendelkező kiszolgáló nélküli API-kként érhetők el), valamint Mixtral-8x7B-Instruct-v01, Mixtral-8x7B-v01, Mistral-7B-Instruct-v01 és Mistral-7B-v01 (amelyek letölthetők és futtathatók saját üzemeltetésű felügyelt végpontokon).
Az alábbi táblázat a Mistral-modellek használatára vonatkozó példákra mutató hivatkozásokat tartalmaz.
| Description | Nyelv | Sample |
|---|---|---|
| CURL-kérés | Bash | Link |
| Azure AI-következtetési csomag C-hez# | C# | Link |
| Azure AI-következtetési csomag JavaScripthez | JavaScript | Link |
| Azure AI-következtetési csomag Pythonhoz | Python | Link |
| Python-webkérelmek | Python | Link |
| OpenAI SDK (kísérleti) | Python | Mistral – OpenAI SDK-minta |
| LangChain | Python | Mistral – LangChain minta |
| Miistral AI | Python | Mistral – Mistral AI minta |
| LiteLLM | Python | Mistral – LiteLLM-minta |
Nixtla
A Nixtla TimeGEN-1 egy előre betanított előrejelzési és anomáliadetektálási modell az idősoradatokhoz. A TimeGEN-1 betanítás nélkül képes pontos előrejelzéseket készíteni az új idősorokra, bemenetként csak az előzményértékeket és exogén kovariatákat használva.
A következtetés végrehajtásához a TimeGEN-1 megköveteli a Nixtla egyéni következtetési API-jának használatát. További információ a TimeGEN-1 modellről és képességeiről: Nixtla.
A szükséges tokenek számának becslése
A TimeGEN-1 üzembe helyezése előtt érdemes megbecsülni a használni és számlázni kívánt tokenek számát. Egy token egy adatpontnak felel meg a bemeneti vagy kimeneti adathalmazban.
Tegyük fel, hogy a következő bemeneti idősor-adatkészlettel rendelkezik:
| Unique_id | Timestamp | Célváltozó | Exogén változó 1 | Exogén változó 2 |
|---|---|---|---|---|
| BE | 2016-10-22 00:00:00 | 70.00 | 49593.0 | 57253.0 |
| BE | 2016-10-22 01:00:00 | 37.10 | 46073.0 | 51887.0 |
A tokenek számának meghatározásához szorozza meg a sorok számát (ebben a példában kettő) és az előrejelzéshez használt oszlopok számát – a unique_id és az időbélyeg oszlopokat nem számítva (ebben a példában három), így összesen hat token lesz.
Tekintettel a következő kimeneti adatkészletre:
| Unique_id | Timestamp | Előrejelzett célváltozó |
|---|---|---|
| BE | 2016-10-22 02:00:00 | 46.57 |
| BE | 2016-10-22 03:00:00 | 48.57 |
A tokenek számát az adat-előrejelzés után visszaadott adatpontok számának megszámlálásával is meghatározhatja. Ebben a példában a tokenek száma kettő.
Árbecslés tokenek alapján
Négy díjszabási mérő van, amelyek meghatározzák a fizetendő árat. Ezek a mérők a következők:
| Díjszabási mérő | Description |
|---|---|
| paygo-inference-input-tokens | A következtetés bemeneteként használt tokenekhez kapcsolódó költségek, amikor finetune_steps = 0 |
| paygo-inference-output-tokens | A következtetés során kimenetként használt tokenekkel összefüggő költségek, amikor finetune_steps = 0 |
| paygo-finetuned-model-inference-input-tokens | A következtetési folyamat bemeneteként használt tokenekhez kapcsolódó költségek, amikor finetune_steps> 0. |
| paygo-finetuned-model-inference-output-tokens | Az 0 értékű finetune_steps esetén a következtetési kimenetként használt tokenekhez kapcsolódó költségek |
Tekintse meg a Nixtla modellgyűjteményt az Foundry portálon.
Stabilitási AI
A kiszolgáló nélküli API üzembe helyezésével üzembe helyezett stabilitási AI-modellek implementálják a Model Inference API-t az útvonalon /image/generations.
A stabilitási AI-modellek használatára a következő példákban talál példákat:
- Az OpenAI SDK használata stabilitási AI-modellekkel szöveg képkérelmekhez
- A Kérések tár használata stabilitási AI-modellekkel szöveg- és képkérelmekhez
- A Requests könyvtár használata a Stable Diffusion 3.5 Large programmal kép-a-képre kérésekhez
- Példa egy teljes kódolt képgenerálási válaszra
Gretel Navigátor
A Gretel Navigator egy összetett AI-architektúrát alkalmaz, amelyet kifejezetten szintetikus adatokhoz terveznek, és több mint 10 iparági tartományra finomhangolt nyílt forráskódú kis nyelvi modelleket (SLM-eket) kombinál. Ez a célként létrehozott rendszer sokszínű, tartományspecifikus adathalmazokat hoz létre több száz-millió példán alapuló skálán. A rendszer emellett megőrzi az összetett statisztikai kapcsolatokat, és nagyobb sebességet és pontosságot biztosít a manuális adatlétrehozáshoz képest.
| Description | Nyelv | Sample |
|---|---|---|
| Azure AI-következtetési csomag JavaScripthez | JavaScript | Link |
| Azure AI-következtetési csomag Pythonhoz | Python | Link |