Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Platí jenom pro:
Portál Foundry (Classic). Tento článek není k dispozici pro nový portál Foundry.
Přečtěte si další informace o novém portálu.
Poznámka
Odkazy v tomto článku můžou otevírat obsah v nové dokumentaci Microsoft Foundry místo dokumentace Foundry (classic), kterou si právě prohlížíte.
Katalog modelů Foundry nabízí velký výběr Microsoft Foundry Models od široké škály poskytovatelů. Máte různé možnosti nasazení modelů z katalogu modelů. Tento článek uvádí příklady odvozování pro nasazení bezserverového rozhraní API.
Důležité
Modely, které jsou ve verzi Preview, jsou na kartách modelu v katalogu modelů označené jako náhled .
Provedení inference s modely, jako jsou Nixtla's TimeGEN-1 a Cohere rerank, vyžaduje použití vlastních rozhraní API od poskytovatelů modelů. Ostatní podporují odvozování pomocí rozhraní API pro odvozování modelů. Další podrobnosti o jednotlivých modelech najdete v katalogu modelů na portálu Foundry.
Cohere
Řada modelů Cohere zahrnuje různé modely optimalizované pro různé případy použití, včetně opětovného pořadí, dokončování chatu a modelů vkládání.
Příklady odvození: Příkaz Cohere a vložení
Následující tabulka obsahuje odkazy na příklady použití modelů Cohere.
| Popis | Jazyk | Ukázka |
|---|---|---|
| Webové požadavky | Bash |
Command-RCommand-R+ cohere-embed.ipynb |
| Azure balíček AI pro inferenci pro C# | jazyk C# | Link |
| balíček pro odvozování AI pro JavaScript Azure | JavaScript | Link |
| Balíček Azure AI Inference pro Python | Python | Link |
| OpenAI SDK (experimentální) | Python | Link |
| LangChain | Python | Link |
| Cohere SDK | Python |
Příkaz Vložit |
| LiteLLM SDK | Python | Link |
Načítání obohacené generace (RAG) a příklady použití nástrojů: příkaz Cohere a embed (vložení)
| Popis | Balíčky | Ukázka |
|---|---|---|
| Vytvořte místní index vektorového vyhledávání pomocí AI na Facebooku (FAISS) s využitím embeddingů od Cohere – Langchain. |
langchain, langchain_cohere |
cohere_faiss_langchain_embed.ipynb |
| K odpovědím na otázky z dat v místním indexu vektoru FAISS použijte příkazy Cohere Command R/R+ – Langchain. |
langchain, langchain_cohere |
command_faiss_langchain.ipynb |
| Použití příkazu Cohere Command R/R+ k zodpovězení otázek z dat v indexu vektoru vyhledávání AI – Langchain |
langchain, langchain_cohere |
cohere-aisearch-langchain-rag.ipynb |
| Použití příkazu Cohere Command R/R+ k zodpovězení otázek z dat v indexu vektoru vyhledávání AI – Cohere SDK |
cohere, azure_search_documents |
cohere-aisearch-rag.ipynb |
| Volání příkazu R+ nástroje/funkce pomocí LangChain |
cohere, langchain, langchain_cohere |
command_tools-langchain.ipynb |
Cohere přeřazení
Abyste mohli provádět odvozování pomocí modelů řazení Cohere, musíte použít vlastní rozhraní API pro řazení Cohere. Další informace o modelu reranky Cohere a jeho schopnostech najdete v tématu Cohere rerank.
Ceny pro modely Cohere rerank
Dotazy, které se nezaměňují s dotazem uživatele, je cenový měřič, který odkazuje na náklady spojené s tokeny použitými jako vstup pro odvozování modelu Cohere Rerank. Společnost Cohere počítá jednu vyhledávací jednotku jako dotaz s až 100 dokumenty, které se mají seřadit. Dokumenty delší než 500 tokenů (pro cohere-rerank-rerank-v3.5) nebo delší než 4096 tokenů (pro Cohere-rerank-v3-English and Cohere-rerank-v3-multilingual) při zahrnutí délky vyhledávacího dotazu jsou rozděleny do více bloků dat, kde se každý blok dat počítá jako jeden dokument.
Podívejte se na kolekci modelů Cohere na portálu Foundry.
Core42
Následující tabulka obsahuje odkazy na příklady použití modelů Jais.
| Popis | Jazyk | Ukázka |
|---|---|---|
| Azure balíček AI pro inferenci pro C# | jazyk C# | Link |
| balíček pro odvozování AI pro JavaScript Azure | JavaScript | Link |
| Balíček Azure AI Inference pro Python | Python | Link |
DeepSeek
Řada modelů DeepSeek zahrnuje DeepSeek-R1, která exceluje při úvahách úkolů pomocí podrobného procesu trénování, jako je jazyk, vědecké odůvodnění a programovací úkoly, DeepSeek-V3-0324, model jazyka MoE (Mix-of-Experts) a další.
Následující tabulka obsahuje odkazy na příklady použití modelů DeepSeek.
| Popis | Jazyk | Ukázka |
|---|---|---|
| Balíček Azure AI Inference pro Python | Python | Link |
| balíček pro odvozování AI pro JavaScript Azure | JavaScript | Link |
| Azure balíček AI pro inferenci pro C# | jazyk C# | Link |
| Azure balíček pro odvozování AI pro Java | Java | Link |
Meta
Modely a nástroje Meta Llama představují kolekci předem natrénovaných a dolaďovaných generativních AI modelů pro odvozování textů a obrázků. Rozsah metamodelů je škálovatelný tak, aby zahrnoval:
- Malé jazykové modely (SLM), jako jsou 1B a 3B Base a Instruct modely pro inferenci na zařízení a edge inferenci.
- Středně velké jazykové modely (LLM), jako jsou modely Base 7B, 8B a 70B a Instruct
- Vysoce výkonné modely, jako je Meta Llama 3.1-405B Instruct, pro generování syntetických dat a případy použití destilace.
- Vysoce výkonné nativně multimodální modely, Llama 4 Scout a Llama 4 Maverick, využívají kombinaci architektury expertů k zajištění špičkového výkonu v textu a porozumění obrázkům.
Následující tabulka obsahuje odkazy na příklady použití modelů Meta Llama.
| Popis | Jazyk | Ukázka |
|---|---|---|
| Žádost CURL | Bash | Link |
| Azure balíček AI pro inferenci pro C# | jazyk C# | Link |
| balíček pro odvozování AI pro JavaScript Azure | JavaScript | Link |
| Balíček Azure AI Inference pro Python | Python | Link |
| Python požadavky na web | Python | Link |
| OpenAI SDK (experimentální) | Python | Link |
| LangChain | Python | Link |
| LiteLLM | Python | Link |
Microsoft
Microsoft modely zahrnují různé skupiny modelů, jako jsou modely MAI, modely Phi, modely AI pro zdravotnictví a další. Pokud chcete zobrazit všechny dostupné modely Microsoft, zobrazte sbídku modelu Microsoft na portálu Foundry.
Následující tabulka obsahuje odkazy na příklady použití modelů Microsoft.
| Popis | Jazyk | Ukázka |
|---|---|---|
| Azure balíček AI pro inferenci pro C# | jazyk C# | Link |
| balíček pro odvozování AI pro JavaScript Azure | JavaScript | Link |
| Balíček Azure AI Inference pro Python | Python | Link |
| LangChain | Python | Link |
| Llama-Index | Python | Link |
Viz soubor modelů Microsoft na portálu Foundry.
Mistral Umělá inteligence
Mistral AI nabízí dvě kategorie modelů, konkrétně:
- Prémiové modely: Patří mezi ně Modely Mistral Large, Mistral Small, Mistral-OCR-2503, Mistral Medium 3 (25.05) a Ministral 3B a jsou k dispozici jako bezserverová rozhraní API s fakturací na základě tokenů založených na průběžných platbách.
- Otevřené modely: Patří mezi ně Mistral-small-2503, Codestral a Mistral Nemo (které jsou dostupné jako bezserverová rozhraní API s fakturací na základě tokenů založených na průběžných platbách) a Mixtral-8x7B-Instruct-v01, Mixtral-8x7B-v01, Mistral-7B-Instruct-v01 a Mistral-7B-v01 (které jsou dostupné ke stažení a spouštění na samoobslužných spravovaných koncových bodech).
Následující tabulka obsahuje odkazy na příklady použití modelů Mistral.
| Popis | Jazyk | Ukázka |
|---|---|---|
| Žádost CURL | Bash | Link |
| Azure balíček AI pro inferenci pro C# | jazyk C# | Link |
| balíček pro odvozování AI pro JavaScript Azure | JavaScript | Link |
| Balíček Azure AI Inference pro Python | Python | Link |
| Python požadavky na web | Python | Link |
| OpenAI SDK (experimentální) | Python | Mistral – Ukázka sady OpenAI SDK |
| LangChain | Python | Mistral - LangChain ukázka |
| Mistral Umělá inteligence | Python | Mistral - ukázka Mistral AI |
| LiteLLM | Python | Mistral – Ukázka LiteLLM |
Nixtla
Nixtla's TimeGEN-1 je generivní předem natrénovaný model prognózy a detekce anomálií pro data časových řad. TimeGEN-1 může vytvářet přesné předpovědi pro novou časovou řadu bez trénování, přičemž jako vstupy se používají pouze historické hodnoty a exogenní kovariance.
K odvozování vyžaduje TimeGEN-1 použití vlastního rozhraní API pro odvozování Nixtla. Další informace o modelu TimeGEN-1 a jeho schopnostech naleznete v tématu Nixtla.
Odhad počtu potřebných tokenů
Před vytvořením nasazení TimeGEN-1 je užitečné odhadnout počet tokenů, které plánujete spotřebovat, a odhadnout náklady spojené s jejich spotřebou. Jeden token odpovídá jednomu datovému bodu ve vstupní datové sadě nebo výstupní datové sadě.
Předpokládejme, že máte následující vstupní datovou sadu časových řad:
| Unique_id | Časové razítko | Cílová proměnná | Exogenózní proměnná 1 | Exogenní proměnná 2 |
|---|---|---|---|---|
| BE | 2016-10-22 00:00:00 | 70.00 | 49593.0 | 57253.0 |
| BE | 2016-10-22 01:00:00 | 37.10 | 46073.0 | 51887.0 |
Pokud chcete zjistit počet tokenů, vynásobte počet řádků (v tomto příkladu dva) a počet sloupců použitých pro prognózování – nepočítá se sloupce unique_id a časového razítka (v tomto příkladu tři), abyste získali celkem šest tokenů.
S ohledem na následující výstupní datovou sadu:
| Unique_id | Časové razítko | Předpověděná cílová proměnná |
|---|---|---|
| BE | 2016-10-22 02:00:00 | 46.57 |
| BE | 2016-10-22 03:00:00 | 48.57 |
Počet tokenů můžete určit také tak, že spočítáte počet datových bodů vrácených po prognózování dat. V tomto příkladu je počet tokenů dva.
Odhad cen na základě tokenů
Existují čtyři cenové měřiče, které určují cenu, kterou platíte. Tyto měřiče jsou následující:
| Cenový měřič | Popis |
|---|---|
| paygo-inference-input-tokens | Náklady spojené s tokeny použitými jako vstup pro odvozování při finetune_steps = 0 |
| Výstupní tokeny PayGo-inference | Náklady spojené s tokeny použitými jako výstup pro odvozování při finetune_steps = 0 |
| paygo-vyladěný-model-inferenční-vstupní-tokeny | Náklady spojené s tokeny použitými jako vstup pro odvozování při finetune_steps> 0 |
| výstupní tokeny inferrence modelu vyladěného pomocí předplatného paygo | Náklady spojené s tokeny použitými jako výstup pro odvozování při finetune_steps> 0 |
Podívejte se na kolekci modelů Nixtla na portálu Foundry.
Stabilita AI
Modely stability AI nasazené prostřednictvím nasazení bezserverového rozhraní API implementují rozhraní API pro odvozování modelů na trase /image/generations.
Příklady použití modelů Stability AI najdete v následujících příkladech:
- Použijte sadu OpenAI SDK s modely Stability AI pro převod textu na obrázky
- Použití knihovny Requests s modely Stability AI pro převod textu na obraz
- Pro použití knihovny Requests se Stable Diffusion 3.5 Large pro požadavky na obraz do obrazu
- Příklad plně zakódované odpovědi na generování obrázků
Gretel Navigator
Gretel Navigator využívá složenou architekturu AI speciálně navrženou pro syntetická data díky kombinaci špičkových opensourcových malých jazykových modelů (SLM) jemně vyladěných napříč více než 10 oborovými doménami. Tento účelový systém vytváří různorodé datové sady specifické pro doménu v měřítku od stovek po miliony příkladů. Systém také zachovává složité statistické vztahy a nabízí vyšší rychlost a přesnost v porovnání s ručním vytvářením dat.
| Popis | Jazyk | Ukázka |
|---|---|---|
| balíček pro odvozování AI pro JavaScript Azure | JavaScript | Link |
| Balíček Azure AI Inference pro Python | Python | Link |