Megosztás a következőn keresztül:


Kiszolgáló nélküli API-telepítéshez elérhető Azure AI Foundry-modellek

Az Azure AI-modellkatalógus számos szolgáltatótól származó Azure AI-öntödei modellek széles választékát kínálja. Különböző lehetőségei vannak a modellek üzembe helyezésére a modellkatalógusból. Ez a cikk a kiszolgáló nélküli API-telepítéssel üzembe helyezhető Azure AI Foundry-modelleket sorolja fel. Néhány ilyen modell esetében felügyelt számításon keresztül is üzemeltetheti őket az üzembe helyezéshez szükséges infrastruktúrán.

Fontos

Az előzetes verzióban lévő modelleket a modellkatalógusban a modellkártyákon előnézetként jelölik meg.

A modellekkel való következtetés végrehajtásához egyes modellek, például a Nixtla TimeGEN-1 és a Cohere rerank használatához egyéni API-kat kell használnia a modellszolgáltatóktól. Mások támogatják a következtetést a Model Inference API használatával. Az egyes modellekről további részleteket az Azure AI Foundry portál modellkatalógusában tekinthet meg.

Az Azure AI Foundry modellkatalógusának szakaszát és az elérhető modelleket bemutató animáció.

AI21 Labs

A Jamba család modelljei az AI21 Mamba-alapú, fejlett nagy nyelvi modelljei, amelyek az AI21 hibrid Mamba-Transformer architektúráját használják. Ez az AI21 hibrid struktúrált állapottér modellje (SSM) Jamba modelljének transzformátora, amelyet utasításokhoz hangoltak. A Jamba családi modellek megbízható kereskedelmi használatra készültek a minőség és a teljesítmény szempontjából.

Modell típus Képességek
AI21-Jamba-1.5-Mini csevegés befejezése - Bemenet: szöveg (262 144 tokenek)
- Kimenet: szöveg (4096 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON, strukturált kimenetek
AI21-Jamba-1.5-Large csevegés befejezése - Bemenet: szöveg (262 144 tokenek)
- Kimenet: szöveg (4096 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON, strukturált kimenetek

Tekintse meg ezt a modellgyűjteményt az Azure AI Foundry portálon.

Azure OpenAI

Az Azure OpenAI az Öntödei modellekben különböző képességekkel és árpontokkal rendelkező modellek széles halmazát kínálja. Ezek a modellek a következők:

  • A legkorszerűbb modellek, amelyek az érvelési és problémamegoldási feladatok nagyobb fókuszú és képességgel történő kezelésére lettek tervezve
  • Természetes nyelvet és kódot megértő és generáló modellek
  • Olyan modellek, amelyek átírhatják és lefordíthatják a beszédet szöveggé
Modell típus Képességek
o3-mini csevegés befejezése - Bemenet: szöveg és kép (200 000 token)
- Kimenet: szöveg (100 000 egység)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON, strukturált kimenetek
o1 csevegés befejezése (képekkel) - Bemenet: szöveg és kép (200 000 token)
- Kimenet: szöveg (100 000 egység)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON, strukturált kimenetek
o1-preview csevegés befejezése - Bemenet: szöveg (128 000 token)
- Kimenet: szöveg (32 768 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON, strukturált kimenetek
o1-mini csevegés befejezése - Bemenet: szöveg (128 000 token)
- Kimenet: szöveg (65 536 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
gpt-4o-realtime-preview valós idejű - Bemenet: vezérlés, szöveg és hang (131,072 token)
- Kimenet: szöveg és hang (16 384 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON
gpt-4o csevegés befejezése (kép- és hangtartalommal) - Bemenet: szöveg, kép és hang (131 072 token)
- Kimenet: szöveg (16 384 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON, strukturált kimenetek
gpt-4o-mini csevegés befejezése (kép- és hangtartalommal) - Bemenet: szöveg, kép és hang (131 072 token)
- Kimenet: szöveg (16 384 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON, strukturált kimenetek
szöveg-beágyazás-3-nagy beágyazások - Bemenet: szöveg (8191 token)
- Kimenet: Vektor (3,072 dim.)
szövegbeágyazás-3-kicsi beágyazások - Bemenet: szöveg (8191 token)
- Kimenet: Vektor (1,536 dim.)

Tekintse meg ezt a modellgyűjteményt az Azure AI Foundry portálon.

Összetart

A Cohere modellcsalád különböző használati esetekre optimalizált modelleket tartalmaz, beleértve a rerankot, a csevegés befejezését és a beágyazási modelleket.

Cohere parancs és beágyazás

Az alábbi táblázat felsorolja azokat a Cohere-modelleket, amelyek a Model Inference API-val következtethetők.

Modell típus Képességek
Cohere-command-A csevegés befejezése - Bemenet: szöveg (256 000 token)
- Kimenet: szöveg (8000 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg
Cohere-command-r-plus-08-2024 csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (4096 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON
Cohere-command-r-08-2024 csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (4096 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON
Cohere-command-r-plus
(elavult)
csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (4096 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON
Cohere-command-r
(elavult)
csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (4096 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON
Cohere-embed-v-4 beágyazások
képbeágyazások
- Bemenet: kép, szöveg
- Kimenet: kép, szöveg (128 000 token)
- Eszközhívás: Igen
- Válaszformátumok: kép, szöveg
Cohere-embed-v3-english beágyazások
képbeágyazások
- Bemenet: szöveg (512 token)
- Kimenet: Vektor (1024 dim.)
Cohere-embed-v3-többnyelvű beágyazások
képbeágyazások
- Bemenet: szöveg (512 token)
- Kimenet: Vektor (1024 dim.)

Következtetési példák: Cohere parancs és beágyazás

A Cohere-modellek használatára további példákat az alábbi példákban talál:

Leírás Nyelv Minta
Webes kérések Üt Command-RCommand-R+
cohere-embed.ipynb
Azure AI-következtetési csomag C-hez# C# Hivatkozás
Azure AI-következtetési csomag JavaScripthez JavaScript Hivatkozás
Azure AI-következtetési csomag Pythonhoz Piton Hivatkozás
OpenAI SDK (kísérleti) Piton Hivatkozás
LangChain Piton Hivatkozás
Cohere SDK Piton parancs
Beágyaz
LiteLLM SDK Piton Hivatkozás

Retrieval Augmented Generation (RAG) és eszközhasználati minták: Cohere parancs és beágyazási példák

Leírás Csomagok Minta
Helyi Facebook AI-hasonlósági keresés (FAISS) vektorindex létrehozása a Cohere beágyazások használatával – Langchain langchain, langchain_cohere cohere_faiss_langchain_embed.ipynb
A Cohere Command R/R+ használatával válaszolhat a helyi FAISS-vektorindex adatainak kérdéseire – Langchain langchain, langchain_cohere command_faiss_langchain.ipynb
A Cohere Command R/R+ használatával válaszolhat az AI keresési vektorindexében szereplő adatokkal kapcsolatos kérdésekre – Langchain langchain, langchain_cohere cohere-aisearch-langchain-rag.ipynb
A Cohere Command R/R+ használatával válaszolhat az AI keresési vektorindexében szereplő adatokkal kapcsolatos kérdésekre – Cohere SDK cohere, azure_search_documents cohere-aisearch-rag.ipynb
Command R+ funkció vagy eszköz meghívása a LangChain használatával. \, \, \ command_tools-langchain.ipynb

Összehangolt újrarendezés

Az alábbi táblázat a Cohere rerank modelleket sorolja fel. Ha következtetést szeretne végezni ezekkel a rerank-modellekkel, a Cohere táblában felsorolt egyéni rerank API-jait kell használnia.

Modell típus Következtetés API
Cohere-rerank-v3.5 újrangsorolás
szövegbesorolás
Cohere v2/rerank API-ja
Cohere-újrangsorolás-v3-angol
(elavult)
újrangsorolás
szövegbesorolás
Cohere v2/rerank API-ja
A Cohere v1/rerank API
Cohere-rerank-v3-többnyelvű
(elavult)
újrangsorolás
szövegbesorolás
Cohere v2/rerank API-ja
A Cohere v1/rerank API

Cohere rerank-modellek díjszabása

A lekérdezések , nem tévesztendők össze egy felhasználó lekérdezésével, egy díjszabási mérő, amely a Cohere Rerank-modell következtetéséhez bemenetként használt jogkivonatokhoz tartozó költségekre hivatkozik. A cohere egyetlen keresési egységet számlál lekérdezésként, legfeljebb 100 rangsorolandó dokumentummal. Az 500-nál hosszabb dokumentumok (Cohere-rerank-v3.5 esetén), vagy a 4096-nál hosszabb dokumentumok (Cohere-rerank-v3-English és Cohere-rerank-v3-multilingual esetén), amikor a keresési lekérdezés hosszát is beleszámítjuk, több részre oszlanak fel, ahol minden rész egyetlen dokumentumnak számít.

Tekintse meg a Cohere modellgyűjteményt az Azure AI Foundry portálon.

Core42

A Core42 autoregresszív kétnyelvű, arab és angol nyelvű LLM-eket tartalmaz, és a legmodernebb arab képességeket nyújtja.

Modell típus Képességek
jais-30b-chat csevegés befejezése - Bemenet: szöveg (8192 token)
- Kimenet: szöveg (4096 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON

Tekintse meg ezt a modellgyűjteményt az Azure AI Foundry portálon.

Következtetési példák: Core42

További példák a Jais-modellek használatára:

Leírás Nyelv Minta
Azure AI-következtetési csomag C-hez# C# Hivatkozás
Azure AI-következtetési csomag JavaScripthez JavaScript Hivatkozás
Azure AI-következtetési csomag Pythonhoz Piton Hivatkozás

DeepSeek

A DeepSeek modellcsalád része a DeepSeek-R1, amely kiváló a lépésről-lépésre történő betanítást igénylő feladatokban, mint a nyelvi, tudományos érvelési és programozási feladatok. Továbbá tartalmazza a DeepSeek-V3-0324-et, amely egy szakértők keverékével (MoE) rendelkező nyelvi modell, és még sok mást.

Modell típus Képességek
DeepSeek-R1-0528
csevegés befejezése érvelési tartalommal - Bemenet: szöveg (163 840 token)
- Kimenet: szöveg (163 840 token)
- Nyelvek:en és zh
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
DeekSeek-V3-0324 csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: (131 072 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg, JSON
DeepSeek-V3
(Örökölt)
csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (131 072 tokenek)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg, JSON
DeepSeek-R1 csevegés befejezése érvelési tartalommal - Bemenet: szöveg (163 840 token)
- Kimenet: szöveg (163 840 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg.

A DeepSeek-R1-ről szóló oktatóanyagért lásd : Oktatóanyag: Első lépések DeepSeek-R1 érvelési modellel az Foundry-modellekben.

Tekintse meg ezt a modellgyűjteményt az Azure AI Foundry portálon.

Következtetési példák: DeepSeek

További példák a DeepSeek-modellek használatára:

Leírás Nyelv Minta
Azure AI-következtetési csomag Pythonhoz Piton Hivatkozás
Azure AI-következtetési csomag JavaScripthez JavaScript Hivatkozás
Azure AI-következtetési csomag C-hez# C# Hivatkozás
Azure AI-következtetési csomag Java-hoz Jáva Hivatkozás

Meta

A Meta Llama-modellek és -eszközök előre betanított és finomhangolt AI-szöveges és képi érvelési modellek gyűjteményei. A metamodellek tartománya a következőkre skálázható:

  • Kis nyelvi modellek (SLM-ek), például 1B és 3B alapmodellek, valamint instrukciós modellek az eszköz- és peremhálózati következtetéshez
  • Közepes méretű nagy nyelvi modellek (LLM-ek), például 7B, 8B és 70B alap- és instruktúramodellek
  • Olyan nagy teljesítményű modellek, mint a Meta Llama 3.1-405B Instruct szintetikus adatgenerálási és adatsűrítési használati esetekhez.
  • A nagy teljesítményű, natívan multimodális modellek, a Llama 4 Scout és a Llama 4 Maverick egy szakértőkből álló architektúrát használnak, hogy iparágvezető teljesítményt nyújtsanak a szöveg- és képértés terén.
Modell típus Képességek
Llama-4-Scout-17B-16E-Instruct csevegés befejezése - Bemenet: szöveg és kép (128 000 token)
- Kimenet: szöveg (8192 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Llama 4-Maverick-17B-128E-Instruct-FP8 csevegés befejezése - Bemenet: szöveg és kép (128 000 token)
- Kimenet: szöveg (8192 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Llama-3.3-70B-Instruct csevegés befejezése - Bemenet: szöveg (128 000 token)
- Kimenet: szöveg (8192 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Llama-3.2-90B-Vision-Instruct csevegés befejezése (képekkel) - Bemenet: szöveg és kép (128 000 token)
- Kimenet: szöveg (8192 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Llama-3.2-11B-Vision-Instruct csevegés befejezése (képekkel) - Bemenet: szöveg és kép (128 000 token)
- Kimenet: szöveg (8192 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Meta-Llama-3.1-8B-Instruct csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (8192 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Meta-Llama-3.1-405B-Instruct csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (8192 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Meta-Llama-3.1-70B-Instruct (Az elavult) csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (8192 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Meta-Llama-3-8B-Instruct (nem támogatott) csevegés befejezése - Bemenet: szöveg (8192 token)
- Kimenet: szöveg (8192 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Meta-Llama-3-70B-Instruct (elavult) csevegés befejezése - Bemenet: szöveg (8192 token)
- Kimenet: szöveg (8192 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg

Tekintse meg ezt a modellgyűjteményt az Azure AI Foundry portálon.

Mintapéldák: Meta Llama

További példák a Meta Llama-modellek használatára:

Leírás Nyelv Minta
CURL-kérés Üt Hivatkozás
Azure AI-következtetési csomag C-hez# C# Hivatkozás
Azure AI-következtetési csomag JavaScripthez JavaScript Hivatkozás
Azure AI-következtetési csomag Pythonhoz Piton Hivatkozás
Python-webkérelmek Piton Hivatkozás
OpenAI SDK (kísérleti) Piton Hivatkozás
LangChain Piton Hivatkozás
LiteLLM Piton Hivatkozás

Microsoft

A Microsoft-modellek különböző modellcsoportokat tartalmaznak, például MAI-modelleket, Phi-modelleket, egészségügyi AI-modelleket és egyebeket. Az összes elérhető Microsoft-modell megtekintéséhez tekintse meg a Microsoft-modellgyűjteményt az Azure AI Foundry portálon.

Modell típus Képességek
MAI-DS-R1 csevegés befejezése érvelési tartalommal - Bemenet: szöveg (163 840 token)
- Kimenet: szöveg (163 840 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg.
Phi-4-érvelés csevegés befejezése érvelési tartalommal - Bemenet: szöveg (32768 token)
- Kimenet: szöveg (32768 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Phi-4-mini-gondolkodás csevegés befejezése érvelési tartalommal - Bemenet: szöveg (128 000 token)
- Kimenet: szöveg (128 000 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Phi-4-multimodális utasítás csevegés befejezése (kép- és hangtartalommal) - Bemenet: szöveg, képek és hang (131 072 token)
- Kimenet: szöveg (4096 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Phi-4-mini-instruktor csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (4096 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Phi-4 csevegés befejezése - Bemenet: szöveg (16,384 token)
- Kimenet: szöveg (16 384 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Phi-3.5-mini-instruktor csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (4096 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Phi-3.5-MoE-instruct csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (4096 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Phi-3.5-vision-instruct csevegés befejezése (képekkel) - Bemenet: szöveg és kép (131 072 tokenek)
- Kimenet: szöveg (4096 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Phi-3-mini-128k-instruct csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (4096 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Phi-3-mini-4k-instruct csevegés befejezése - Bemenet: szöveg (4096 token)
- Kimenet: szöveg (4096 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Phi-3-small-128k-instruct csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (4096 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Phi-3-small-8k-instruct csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (4096 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Phi-3-medium-128k-instruct csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (4096 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Phi-3-medium-4k-instruct csevegés befejezése - Bemenet: szöveg (4096 token)
- Kimenet: szöveg (4096 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg

Következtetési példák: Microsoft-modellek

További példák a Microsoft-modellek használatára:

Leírás Nyelv Minta
Azure AI-következtetési csomag C-hez# C# Hivatkozás
Azure AI-következtetési csomag JavaScripthez JavaScript Hivatkozás
Azure AI-következtetési csomag Pythonhoz Piton Hivatkozás
LangChain Piton Hivatkozás
Llama-Index Piton Hivatkozás

Tekintse meg a Microsoft-modellgyűjteményt az Azure AI Foundry portálon.

Miistral AI

A Mistral AI két modellkategóriát kínál, nevezetesen:

  • Prémium modellek: Ezek közé tartoznak a Mistral Large, a Mistral Small, a Mistral-OCR-2503, a Mistral Medium 3 (25.05) és a Ministral 3B modellek, és kiszolgáló nélküli API-kként érhetők el használatalapú jogkivonatalapú számlázással.
  • Nyitott modellek: Ezek közé tartozik a Mistral-small-2503, A Codestral és a Mistral Nemo (amelyek használatalapú fizetéses tokenalapú számlázással rendelkező kiszolgáló nélküli API-kként érhetők el), valamint Mixtral-8x7B-Instruct-v01, Mixtral-8x7B-v01, Mistral-7B-Instruct-v01 és Mistral-7B-v01 (amelyek letölthetők és futtathatók saját üzemeltetésű felügyelt végpontokon).
Modell típus Képességek
Codestral-2501 csevegés befejezése - Bemenet: szöveg (262 144 tokenek)
- Kimenet: szöveg (4096 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg
Ministral-3B csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (4096 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON
Mistral-Nemo csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (4096 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON
Mistral-Large-2411 csevegés befejezése - Bemenet: szöveg (128 000 token)
- Kimenet: szöveg (4096 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON
Mistral-large-2407
(elavult)
csevegés befejezése - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (4096 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON
Mistral-large
(elavult)
csevegés befejezése - Bemenet: szöveg (32 768 token)
- Kimenet: szöveg (4096 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON
Mistral-medium-2505 csevegés befejezése - Bemenet: szöveg (128 000 token), kép
- Kimenet: szöveg (128 000 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg, JSON
Mistral-OCR-2503 képről szövegre - Bemenet: kép- vagy PDF-oldalak (1000 oldal, legfeljebb 50 MB PDF-fájl)
- Kimenet: szöveg
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg, JSON, Markdown
Mistral-small-2503 csevegés befejezése (képekkel) - Bemenet: szöveg és képek (131 072 token),
A képalapú tokenek 16px x 16px méretűek.
az eredeti képek blokkjai
- Kimenet: szöveg (4096 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON
Mistral-small csevegés befejezése - Bemenet: szöveg (32 768 token)
- Kimenet: szöveg (4096 token)
- Eszközhívás: Igen
- Válaszformátumok: Szöveg, JSON

Tekintse meg ezt a modellgyűjteményt az Azure AI Foundry portálon.

Következtetési példák: Mistral

A Mistral-modellek használatára vonatkozó további példákért tekintse meg az alábbi példákat és oktatóanyagokat:

Leírás Nyelv Minta
CURL-kérés Üt Hivatkozás
Azure AI-következtetési csomag C-hez# C# Hivatkozás
Azure AI-következtetési csomag JavaScripthez JavaScript Hivatkozás
Azure AI-következtetési csomag Pythonhoz Piton Hivatkozás
Python-webkérelmek Piton Hivatkozás
OpenAI SDK (kísérleti) Piton Mistral – OpenAI SDK-minta
LangChain Piton Mistral – LangChain minta
Miistral AI Piton Mistral – Mistral AI minta
LiteLLM Piton Mistral – LiteLLM-minta

Nixtla

A Nixtla TimeGEN-1 egy előre betanított előrejelzési és anomáliadetektálási modell az idősoradatokhoz. A TimeGEN-1 betanítás nélkül képes pontos előrejelzéseket készíteni az új idősorokra, bemenetként csak az előzményértékeket és exogén kovariatákat használva.

A következtetés végrehajtásához a TimeGEN-1 megköveteli a Nixtla egyéni következtetési API-jának használatát.

Modell típus Képességek Következtetés API
TimeGEN-1 Előrejelzés - Bemenet: Idősoradatok JSON-ként vagy adatkeretként (többváltozós bemenet támogatásával)
- Hozam: Idősoradatok JSON-ként
- Eszköz hívás: Nincs
- Válaszformátumok: JSON
Előrejelző ügyfél az Nixtla API-val való interakcióra

A szükséges tokenek számának becslése

A TimeGEN-1 üzembe helyezése előtt érdemes megbecsülni a használni és számlázni kívánt tokenek számát. Egy token egy adatpontnak felel meg a bemeneti vagy kimeneti adathalmazban.

Tegyük fel, hogy a következő bemeneti idősor-adatkészlettel rendelkezik:

Egyedi_azonosító Időbélyeg Célváltozó Exogén változó 1 Exogén változó 2
VAN 2016-10-22 00:00:00 70.00 49593.0 57253,0
VAN 2016-10-22 01:00:00 37.10 46073,0 51887,0

A tokenek számának meghatározásához szorozza meg a sorok számát (ebben a példában kettő) és az előrejelzéshez használt oszlopok számát – a unique_id és az időbélyeg oszlopokat nem számítva (ebben a példában három), így összesen hat token lesz.

Tekintettel a következő kimeneti adatkészletre:

Egyedi_azonosító Időbélyeg Előrejelzett célváltozó
VAN 2016-10-22 02:00:00 46.57
VAN 2016-10-22 03:00:00 48.57

A tokenek számát az adat-előrejelzés után visszaadott adatpontok számának megszámlálásával is meghatározhatja. Ebben a példában a tokenek száma kettő.

Árbecslés tokenek alapján

Négy díjszabási mérő van, amelyek meghatározzák a fizetendő árat. Ezek a mérők a következők:

Díjszabási mérő Leírás
paygo következtetés bemeneti tokenek (paygo-inference-input-tokens) A következtetés bemeneteként használt tokenekhez kapcsolódó költségek, amikor finetune_steps = 0
fizetős-becslés-kimenet-jegyek A következtetés során kimenetként használt tokenekkel összefüggő költségek, amikor finetune_steps = 0
paygo-finomhangolt-modell-következtetés-bemeneti-tokenek A következtetési folyamat bemeneteként használt tokenekhez kapcsolódó költségek, amikor finetune_steps> 0.
pay-as-you-go-finetuning-model-lekérdezés-kimeneti-tokenek Az 0 értékű finetune_steps esetén a következtetési kimenetként használt tokenekhez kapcsolódó költségek

Tekintse meg a Nixtla-modellgyűjteményt az Azure AI Foundry portálon.

NTT-ADATOK

A tsuzumi egy autoregresszív nyelvre optimalizált transzformátor. A hangolt verziók felügyelt finomhangolást (SFT) használnak. A tsuzumi nagy hatékonysággal kezeli a japán és az angol nyelvet is.

Modell típus Képességek
tsuzumi-7b csevegés befejezése - Bemenet: szöveg (8192 token)
- Kimenet: szöveg (8192 token)
- Eszköz hívás: Nincs
- Válaszformátumok: Szöveg

Stabilitási AI

A Stability AI képgeneráló modellgyűjteménye magában foglalja a Stable Image Core-t, a Stable Image Ultra-t és a Stable Diffusion 3.5 - Nagy méretet. A Stable Diffusion lehetővé teszi a kép és szöveg bevitelét a 3.5 Nagy verzióban.

Modell típus Képességek
Stable Diffusion 3.5 Nagy Képgenerálás - Bemenet: szöveg és kép (1000 token és 1 kép)
- Kimenet: 1 kép
- Eszköz hívás: Nincs
- Válaszformátumok: Kép (PNG és JPG)
Stabil Kép Mag Képgenerálás - Bemenet: szöveg (1000 token)
- Kimenet: 1 kép
- Eszköz hívás: Nincs
- Válaszformátumok: Kép (PNG és JPG)
Stabil Kép Ultra Képgenerálás - Bemenet: szöveg (1000 token)
- Kimenet: 1 kép
- Eszköz hívás: Nincs
- Válaszformátumok: Kép (PNG és JPG)

xAI

A xAI Grok 3 és Grok 3 Mini modelljei úgy vannak kialakítva, hogy különböző vállalati tartományokban is kiválóan használhatók legyenek. A Grok 3, a Colossus adatközpont által előre betanított, nem érvelési modell üzleti használati esetekre, például adatkinyeréshez, kódoláshoz és szövegösszesítéshez lett kialakítva, kivételes utasításkövetési képességekkel. Egy 131 072-es jogkivonatos környezetablakot támogat, amely lehetővé teszi a kiterjedt bemenetek kezelését a koherencia és a mélység fenntartása mellett, és különösen alkalmas a tartományok és nyelvek közötti kapcsolatok rajzolására. Másrészt a Grok 3 Mini egy könnyű érvelési modell, amely arra van betanítva, hogy tesztelési időszámítással kezelje az ügynöki, kódolási, matematikai és mély tudományos problémákat. Emellett egy 131 072 tokenes kontextusablakot is támogat a kódbázisok és a vállalati dokumentumok megértéséhez. Kiválóan használható eszközök alkalmazásával a bonyolult logikai problémák megoldására új környezetekben, és nyers érvelési nyomokat kínál felhasználói ellenőrzéshez, állítható gondolati keretek mellett.

Modell típus Képességek
grok-3 beszélgetés-befejezés - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (131 072 tokenek)
- Nyelvek:en
- Eszközhívás: igen
- Válaszformátumok: szöveg
grok-3-mini beszélgetés-befejezés - Bemenet: szöveg (131 072 token)
- Kimenet: szöveg (131 072 tokenek)
- Nyelvek:en
- Eszközhívás: igen
- Válaszformátumok: szöveg

Következtetési példák: Stability AI

A kiszolgáló nélküli API üzembe helyezésével üzembe helyezett stabilitási AI-modellek implementálják a Model Inference API-t az útvonalon /image/generations. A stabilitási AI-modellek használatára a következő példákban talál példákat: