Azure AI 모델 카탈로그는 다양한 공급자에서 다양한 모델을 제공합니다. 모델 카탈로그에서 모델을 배포하기 위한 다양한 옵션이 있습니다. 이 문서에서는 표준 배포를 통해 Microsoft 서버에 배포 및 호스트할 수 있는 모델 카탈로그의 주요 모델을 나열합니다. 이러한 모델 중 일부의 경우 관리형 컴퓨팅을 통해 배포를 위해 인프라에 호스트할 수도 있습니다. 관리형 컴퓨팅 또는 표준 배포를 통해 배포에 사용할 수 있는 모델을 카탈로그에서 찾으려면 지원되는 배포 옵션 에 대한 사용 가능한 모델을 참조하세요.
모델로 추론을 수행하기 위해서는 Nixtla의 TimeGEN-1 및 Cohere 재순위 설정과 같은 일부 모델이 모델 제공자의 맞춤형 API를 사용해야 합니다. 다른 사용자는 Azure AI 모델 유추를 사용하여 추론을 지원합니다. Azure AI 모델 카탈로그에서 모델 카드를 검토하여 개별 모델에 대한 자세한 내용을 확인할 수 있습니다.
AI21 랩
Jamba 제품군 모델은 AI21의 하이브리드 Mamba-Transformer 아키텍처를 사용하는 AI21의 프로덕션 등급 Mamba 기반 LLM(대규모 언어 모델)입니다. AI21의 하이브리드 SSM(구조화 상태 공간 모델) 변환기 Jamba 모델의 명령 조정 버전입니다. Jamba 제품군 모델은 품질 및 성능과 관련하여 안정적인 상업적 사용을 위해 제작되었습니다.
| 모델 | 유형 | 역량 |
|---|---|---|
| AI21-Jamba-1.5-Mini | 채팅 완료 |
-
입력: 텍스트(262,144개 토큰) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON, 구조적 출력 |
| AI21-Jamba-1.5-Large | 채팅 완료 |
-
입력: 텍스트(262,144개 토큰) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON, 구조적 출력 |
Azure AI 모델 카탈로그에서 이 모델 컬렉션을 참조하세요.
Azure OpenAI
Azure AI Foundry Models의 Azure OpenAI는 다양한 기능과 가격표가 있는 다양한 모델 집합을 제공합니다. 해당 모델은 다음과 같습니다.
- 포커스 및 기능 향상을 통해 추론 및 문제 해결 작업을 해결하도록 설계된 최신 모델
- 자연어 및 코드를 이해하고 생성할 수 있는 모델
- 음성을 텍스트로 전사하고 번역할 수 있는 모델
| 모델 | 유형 | 역량 |
|---|---|---|
| o3-mini | 채팅 완료 |
-
입력: 텍스트 및 이미지(토큰 200,000개) - 출력: 텍스트(토큰 100,000개) - 도구 호출: 예 - 응답 형식: 텍스트, JSON, 구조적 출력 |
| o1 | 채팅 완성(이미지 포함) |
-
입력: 텍스트 및 이미지(토큰 200,000개) - 출력: 텍스트(토큰 100,000개) - 도구 호출: 예 - 응답 형식: 텍스트, JSON, 구조적 출력 |
| o1-preview | 채팅 완료 |
-
입력: 텍스트(128,000개의 토큰) - 출력: 텍스트(32,768개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON, 구조적 출력 |
| o1-mini | 채팅 완료 |
-
입력: 텍스트(128,000개의 토큰) - 출력: 텍스트(65,536개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| gpt-4o-realtime-preview | 실시간 |
-
입력: 컨트롤, 텍스트 및 오디오(토큰 131,072개) - 출력: 텍스트 및 오디오(16,384개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON |
| gpt-4o | 채팅 완성(이미지 및 오디오 콘텐츠 포함) |
-
입력: 텍스트, 이미지 및 오디오(토큰 131,072개) - 출력: 텍스트(16,384개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON, 구조적 출력 |
| gpt-4o-mini | 채팅 완성(이미지 및 오디오 콘텐츠 포함) |
-
입력: 텍스트, 이미지 및 오디오(토큰 131,072개) - 출력: 텍스트(16,384개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON, 구조적 출력 |
| text-embedding-3-large | embeddings |
-
입력: 텍스트(8,191개 토큰) - 출력: 벡터(3,072차원) |
| text-embedding-3-small | embeddings |
-
입력: 텍스트(8,191개 토큰) - 출력: 벡터(1,536차원) |
Azure AI 모델 카탈로그에서 이 모델 컬렉션을 참조하세요.
코히어
Cohere 모델군에는 다양한 사용 사례에 최적화된 재정렬, 채팅 완료 기능, 임베딩 모델이 포함되어 있습니다.
Cohere 명령 및 포함
다음 표에서는 Azure AI 모델 유추를 통해 유추할 수 있는 Cohere 모델을 나열합니다.
| 모델 | 유형 | 역량 |
|---|---|---|
| Cohere-command-A | 채팅 완료 |
-
입력: 텍스트(256,000개 토큰) - 출력: 텍스트(8,000개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트 |
| Cohere-command-r-plus-08-2024 | 채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON |
| Cohere-command-r-08-2024 | 채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON |
|
Cohere-command-r-plus (사용되지 않음) |
채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON |
|
Cohere-command-r (사용되지 않음) |
채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON |
| Cohere-embed-4 |
embeddings image-embeddings |
-
입력: 이미지, 텍스트 - 출력: 이미지, 텍스트(토큰 128,000개) - 도구 호출: 예 - 응답 형식: 이미지, 텍스트 |
| Cohere-embed-v3-english |
embeddings image-embeddings |
-
입력: 텍스트(512개 토큰) - 출력: 벡터(1,024차원) |
| Cohere-embed-v3-multilingual |
embeddings image-embeddings |
-
입력: 텍스트(512개 토큰) - 출력: 벡터(1,024차원) |
유추 예제: Cohere 명령 및 임베딩
Cohere 모델을 사용하는 방법에 대한 자세한 예제는 다음 예제를 참조하세요.
| 설명 | 언어 | 예시 |
|---|---|---|
| 웹 요청 | 배쉬 |
Command-RCommand-R+ cohere-embed.ipynb |
| C용 Azure AI 유추 패키지# | C# (프로그래밍 언어) | 링크 |
| JavaScript용 Azure AI 유추 패키지 | JavaScript | 링크 |
| Python용 Azure AI 유추 패키지 | 파이썬 | 링크 |
| OpenAI SDK(실험용) | 파이썬 | 링크 |
| LangChain | 파이썬 | 링크 |
| Cohere SDK | 파이썬 |
명령 포함 |
| LiteLLM SDK | 파이썬 | 링크 |
RAG(검색 증강 생성) 및 도구 사용 샘플: Cohere 명령 및 임베드
| 설명 | 패키지 | 예시 |
|---|---|---|
| Cohere embeddings를 사용하여 로컬 Facebook FAISS(AI 유사성 검색) 벡터 인덱스 만들기 - Langchain |
langchain, langchain_cohere |
cohere_faiss_langchain_embed.ipynb |
| Cohere 명령 R/R+를 사용하여 로컬 FAISS 벡터 인덱스의 데이터를 기반으로 질문에 답변합니다 - Langchain |
langchain, langchain_cohere |
command_faiss_langchain.ipynb |
| Cohere 명령 R/R+을 사용하여 Langchain의 AI 검색 벡터 인덱스에서 데이터를 검색하고 질문에 답변합니다. |
langchain, langchain_cohere |
cohere-aisearch-langchain-rag.ipynb |
| Cohere 명령 R/R+을 사용하여 AI 검색 벡터 인덱스의 데이터 질문에 답변 - Cohere SDK |
cohere, azure_search_documents |
cohere-aisearch-rag.ipynb |
| LangChain을 사용하여 R+ 도구/함수 호출 명령 |
cohere
langchain
langchain_cohere
|
command_tools-langchain.ipynb |
코헤어 재순위 결정
다음 표는 Cohere 재정렬 모델을 소개합니다. 이러한 재전송 모델을 사용하여 추론을 수행하려면 테이블에 나열된 Cohere의 사용자 지정 재전송 API를 사용해야 합니다.
| 모델 | 유형 | 추론 API |
|---|---|---|
| Cohere-rerank-v3.5 | 재순위 지정 텍스트 분류 |
Cohere의 v2/rerank API |
|
Cohere-rerank-v3-English (사용되지 않음) |
재순위 지정 텍스트 분류 |
Cohere의 v2/rerank API Cohere의 v1/rerank API |
|
Cohere-rerank-v3-multilingual (사용되지 않음) |
재순위 지정 텍스트 분류 |
Cohere의 v2/rerank API Cohere의 v1/rerank API |
Cohere 재랭킹 모델의 가격 책정
사용자의 쿼리와 혼동하지 않는 쿼리는 Cohere Rerank 모델의 유추를 위해 입력으로 사용되는 토큰과 관련된 비용을 참조하는 가격 측정기입니다. Cohere는 단일 검색 단위를 최대 100개의 문서가 순위가 매겨진 쿼리로 계산합니다. 검색 쿼리의 길이를 포함하는 경우 500개 이상의 토큰(Cohere-rerank-v3.5의 경우) 또는 4096개 이상의 토큰(Cohere-rerank-v3-English 및 Cohere-rerank-v3-multilingual의 경우)은 각 청크가 단일 문서로 계산되는 여러 청크로 분할됩니다.
Azure AI 모델 카탈로그의 Cohere 모델 컬렉션을 참조하세요.
Core42
Core42에는 아랍어 및 영어를 위한 자동 회귀 이중 언어 LLM이 포함되어 있으며, 특히 아랍어에서 최첨단 기능을 제공합니다.
| 모델 | 유형 | 역량 |
|---|---|---|
| jais-30b-chat | 채팅 완료 |
-
입력: 텍스트(8,192개 토큰) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON |
Azure AI 모델 카탈로그에서 이 모델 컬렉션을 참조하세요.
유추 예제: Core42
Jais 모델을 사용하는 방법에 대한 자세한 예제는 다음 예제를 참조하세요.
| 설명 | 언어 | 예시 |
|---|---|---|
| C용 Azure AI 유추 패키지# | C# (프로그래밍 언어) | 링크 |
| JavaScript용 Azure AI 유추 패키지 | JavaScript | 링크 |
| Python용 Azure AI 유추 패키지 | 파이썬 | 링크 |
DeepSeek
모델의 DeepSeek 제품군에는 언어, 과학적 추론 및 코딩 작업, DeepSeek-V3-0324, MoE(Mixture-of-Experts) 언어 모델 등과 같은 단계별 학습 프로세스를 사용하여 추론 작업을 수행하는 DeepSeek-R1이 포함됩니다.
| 모델 | 유형 | 역량 |
|---|---|---|
| DeekSeek-V3-0324 | 채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: (토큰 131,072개) - 도구 호출: 아니요 - 응답 형식: 텍스트, JSON |
|
DeepSeek-V3 (레거시) |
채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: text(131,072 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트, JSON |
| DeepSeek-R1 | 추론 콘텐츠가 포함된 채팅 완성 |
-
입력: 텍스트(163,840개 토큰) - 출력: text(163,840 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트입니다. |
DeepSeek-R1에 대한 자습서는 자습서: Azure AI 모델 유추에서 DeepSeek-R1 추론 모델 시작을 참조하세요.
Azure AI 모델 카탈로그에서 이 모델 컬렉션을 참조하세요.
유추 예제: DeepSeek
DeepSeek 모델을 사용하는 방법에 대한 자세한 예제는 다음 예제를 참조하세요.
| 설명 | 언어 | 예시 |
|---|---|---|
| Python용 Azure AI 유추 패키지 | 파이썬 | 링크 |
| JavaScript용 Azure AI 유추 패키지 | JavaScript | 링크 |
| C용 Azure AI 유추 패키지# | C# (프로그래밍 언어) | 링크 |
| Java용 Azure AI 유추 패키지 | 자바 | 링크 |
메타
Meta Llama 모델 및 도구는 미리 학습되고 미세 조정된 생성 AI 텍스트 및 이미지 추론 모델의 컬렉션입니다. 메타 모델 범위는 다음을 포함하도록 크기 조정됩니다.
- 1B 및 3B Base 및 Instruct 모델과 같은 SLM(소규모 언어 모델)은 디바이스 및 에지 유추를 위한 것입니다.
- 7B, 8B 및 70B 기본 및 지시 모델과 같은 중형 LLM(대규모 언어 모델)
- 메타 라마 3.1-405B와 같은 고성능 모델은 합성 데이터 생성 및 증류 사용 사례에 대한 지침을 제공합니다.
- 고성능 네이티브 멀티모달 모델, 라마 4 스카우트와 라마 4 매버릭은 텍스트와 이미지 이해에서 업계 최고의 성능을 제공하기 위해 전문가 혼합 아키텍처를 활용합니다.
| 모델 | 유형 | 역량 |
|---|---|---|
| Llama-4-Scout-17B-16E-Instruct | 채팅 완료 |
-
입력: 텍스트 및 이미지(128,000개의 토큰) - 출력: 텍스트(8,192개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트 |
| 라마 4-Maverick-17B-128E-Instruct-FP8 | 채팅 완료 |
-
입력: 텍스트 및 이미지(128,000개의 토큰) - 출력: 텍스트(8,192개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트 |
| Llama-3.3-70B-Instruct | 채팅 완료 |
-
입력: 텍스트(128,000개의 토큰) - 출력: 텍스트(8,192개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Llama-3.2-90B-Vision-Instruct | 채팅 완성(이미지 포함) |
-
입력: 텍스트 및 이미지(128,000개의 토큰) - 출력: 텍스트(8,192개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Llama-3.2-11B-Vision-Instruct | 채팅 완성(이미지 포함) |
-
입력: 텍스트 및 이미지(128,000개의 토큰) - 출력: 텍스트(8,192개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Meta-Llama-3.1-8B-Instruct | 채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: 텍스트(8,192개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Meta-Llama-3.1-405B-Instruct | 채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: 텍스트(8,192개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Meta-Llama-3.1-70B-Instruct (사용되지 않음) | 채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: 텍스트(8,192개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Meta-Llama-3-8B-Instruct (사용되지 않음) | 채팅 완료 |
-
입력: 텍스트(8,192개 토큰) - 출력: 텍스트(8,192개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Meta-Llama-3-70B-Instruct (사용되지 않음) | 채팅 완료 |
-
입력: 텍스트(8,192개 토큰) - 출력: 텍스트(8,192개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
Azure AI 모델 카탈로그에서 이 모델 컬렉션을 참조하세요.
유추 예제: Meta Llama
Meta Llama 모델을 사용하는 방법에 대한 자세한 예제는 다음 예제를 참조하세요.
| 설명 | 언어 | 예시 |
|---|---|---|
| CURL 요청 | 배쉬 | 링크 |
| C용 Azure AI 유추 패키지# | C# (프로그래밍 언어) | 링크 |
| JavaScript용 Azure AI 유추 패키지 | JavaScript | 링크 |
| Python용 Azure AI 유추 패키지 | 파이썬 | 링크 |
| Python 웹 요청 | 파이썬 | 링크 |
| OpenAI SDK(실험용) | 파이썬 | 링크 |
| LangChain | 파이썬 | 링크 |
| LiteLLM | 파이썬 | 링크 |
Microsoft
Microsoft 모델에는 MAI 모델, Phi 모델, 의료 AI 모델 등과 같은 다양한 모델 그룹이 포함됩니다. 사용 가능한 모든 Microsoft 모델을 보려면 Azure AI Foundry 포털에서 Microsoft 모델 컬렉션을 확인합니다.
| 모델 | 유형 | 역량 |
|---|---|---|
| MAI-DS-R1 | 추론 콘텐츠가 포함된 채팅 완성 |
-
입력: 텍스트(163,840개 토큰) - 출력: text(163,840 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트입니다. |
| Phi-4 추론 | 추론 콘텐츠가 포함된 채팅 완성 |
-
입력: 텍스트(32768 토큰) - 출력: 텍스트(32768 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Phi-4-mini-reasoning | 추론 콘텐츠가 포함된 채팅 완성 |
-
입력: 텍스트(128,000개의 토큰) - 출력: 텍스트 (128,000 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Phi-4-multimodal-instruct | 채팅 완성(이미지 및 오디오 콘텐츠 포함) |
-
입력: 텍스트, 이미지 및 오디오(토큰 131,072개) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Phi-4-mini-instruct | 채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| 피-4 | 채팅 완료 |
-
입력: 텍스트(16,384개 토큰) - 출력: 텍스트(16,384개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Phi-3.5-mini-instruct | 채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Phi-3.5-MoE-instruct | 채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Phi-3.5-vision-instruct | 채팅 완성(이미지 포함) |
-
입력: 텍스트 및 이미지(토큰 131,072개) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Phi-3-mini-128k-instruct | 채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Phi-3-mini-4k-instruct | 채팅 완료 |
-
입력: 텍스트(4,096개 토큰) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Phi-3-small-128k-instruct | 채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Phi-3-small-8k-instruct | 채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Phi-3-medium-128k-instruct | 채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Phi-3-medium-4k-instruct | 채팅 완료 |
-
입력: 텍스트(4,096개 토큰) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
유추 예제: Microsoft 모델
Microsoft 모델을 사용하는 방법에 대한 자세한 예제는 다음 예제를 참조하세요.
| 설명 | 언어 | 예시 |
|---|---|---|
| C용 Azure AI 유추 패키지# | C# (프로그래밍 언어) | 링크 |
| JavaScript용 Azure AI 유추 패키지 | JavaScript | 링크 |
| Python용 Azure AI 유추 패키지 | 파이썬 | 링크 |
| LangChain | 파이썬 | 링크 |
| Llama-Index | 파이썬 | 링크 |
Azure AI 모델 카탈로그에서 Microsoft 모델 컬렉션을 참조하세요.
미스트랄 인공지능
Mistral AI는 다음과 같은 두 가지 범주의 모델을 제공합니다.
- 프리미엄 모델: Mistral Large, Mistral Small, Mistral-OCR-2503, Mistral Medium 3(25.05) 및 Ministral 3B 모델이 포함되며 종량제 토큰 기반 청구가 있는 서버리스 API로 사용할 수 있습니다.
- 오픈 모델: 여기에는 Mistral-small-2503이 포함됩니다. Codestral 및 Mistral Nemo(종량제 토큰 기반 청구를 사용하여 서버리스 API로 사용 가능) 및 Mixtral-8x7B-Instruct-v01, Mixtral-8x7B-v01, Mistral-7B-Instruct-v01 및 Mistral-7B-v01(자체 호스팅 관리형 엔드포인트에서 다운로드 및 실행할 수 있음).
| 모델 | 유형 | 역량 |
|---|---|---|
| Codestral-2501 | 채팅 완료 |
-
입력: 텍스트(262,144개 토큰) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
| Ministral-3B | 채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON |
| 미스트랄 니모 | 채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON |
| Mistral-Large-2411 | 채팅 완료 |
-
입력: 텍스트(128,000개의 토큰) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON |
|
Mistral-large-2407 (사용되지 않음) |
채팅 완료 |
-
입력: 텍스트(토큰 131,072개) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON |
|
Mistral-large (사용되지 않음) |
채팅 완료 |
-
입력: 텍스트(32,768개 토큰) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON |
| Mistral-medium-2505 | 채팅 완료 |
-
입력: 텍스트(128,000개 토큰), 이미지 - 출력: 텍스트 (128,000 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트, JSON |
| Mistral-OCR-2503 | 이미지에서 텍스트로 |
-
입력: 이미지 또는 PDF 페이지(1,000페이지, 최대 50MB PDF 파일) - 출력: 텍스트 - 도구 호출: 아니요 - 응답 형식: Text, JSON, Markdown |
| Mistral-small-2503 | 채팅 완성(이미지 포함) |
-
입력: 텍스트 및 이미지(토큰 131,072개), 이미지 기반 토큰은 16px x 16px입니다. 원본 이미지의 블록 - 출력: 텍스트(4,096개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON |
| Mistral-small | 채팅 완료 |
-
입력: 텍스트(32,768개 토큰) - 출력: 텍스트(4,096개 토큰) - 도구 호출: 예 - 응답 형식: 텍스트, JSON |
Azure AI 모델 카탈로그에서 이 모델 컬렉션을 참조하세요.
유추 예제: Mistral
Mistral 모델을 사용하는 방법에 대한 더 많은 예를 보려면 다음 예와 자습서를 참조하세요.
| 설명 | 언어 | 예시 |
|---|---|---|
| CURL 요청 | 배쉬 | 링크 |
| C용 Azure AI 유추 패키지# | C# (프로그래밍 언어) | 링크 |
| JavaScript용 Azure AI 유추 패키지 | JavaScript | 링크 |
| Python용 Azure AI 유추 패키지 | 파이썬 | 링크 |
| Python 웹 요청 | 파이썬 | 링크 |
| OpenAI SDK(실험용) | 파이썬 | Mistral - OpenAI SDK 샘플 |
| LangChain | 파이썬 | Mistral - LangChain 샘플 |
| 미스트랄 인공지능 | 파이썬 | Mistral - Mistral AI 예제 |
| LiteLLM | 파이썬 | Mistral - LiteLLM 샘플 |
Nixtla
Nixtla의 TimeGEN-1은 시계열 데이터에 대한 미리 학습된 생성 예측 및 변칙 검색 모델입니다. TimeGEN-1은 기록 값과 외인성 공변만 입력으로 사용하여 학습 없이 새 시계열에 대한 정확한 예측을 생성할 수 있습니다.
추론을 수행하려면 TimeGEN-1에서 Nixtla의 사용자 지정 유추 API를 사용해야 합니다.
| 모델 | 유형 | 역량 | 추론 API |
|---|---|---|---|
| TimeGEN-1 | 예측 |
-
입력: 시계열 데이터를 JSON 또는 데이터 프레임으로 사용(다변량 입력 지원) - 출력: 시계열 데이터를 JSON으로 - 도구 호출: 아니요 - 응답 형식: JSON |
클라이언트가 Nixtla의 API와 상호 작용하도록 예측 |
필요한 토큰 수 예측
TimeGEN-1 배포를 만들기 전에 사용하고 청구할 토큰 수를 예측하는 것이 유용합니다. 하나의 토큰은 입력 데이터 세트 또는 출력 데이터 세트의 한 데이터 요소에 해당합니다.
다음과 같은 입력 시계열 데이터 세트가 있다고 가정합니다.
| 고유_아이디 | 시간표시 | 대상 변수 | 외인성 변수 1 | 외인성 변수 2 |
|---|---|---|---|---|
| 존재하다 | 2016-10-22 00:00:00 | 70.00 | 49593.0 | 57,253.0 |
| 존재하다 | 2016-10-22 01:00:00 | 37.10 | 46,073.0 | 51,887.0 |
토큰 수를 확인하려면 행 수(이 예제에서는 2개)와 예측에 사용되는 열 수를 곱합니다. unique_id와 타임스탬프 열(이 예제에서는 3개)을 계산하지 않고 총 6개의 토큰을 가져옵니다.
다음과 같은 출력 데이터 세트가 제공됩니다.
| 고유_아이디 | 시간표시 | 예측 대상 변수 |
|---|---|---|
| 존재하다 | 2016-10-22 02:00:00 | 46.57 |
| 존재하다 | 2016-10-22 03:00:00 | 48.57 |
또한 데이터 예측 후 반환되는 데이터 요소 수를 계산하여 토큰 수를 확인할 수 있습니다. 이 예제에서는 토큰 수가 2개입니다.
토큰을 기반으로 가격 책정 예측
지불하는 가격을 결정하는 4개의 가격 책정 미터는 다음과 같습니다. 이러한 미터는 다음과 같습니다.
| 가격 책정 도구 | 설명 |
|---|---|
| 페이고-추론-입력-토큰 | finetune_steps = 0인 경우 유추를 위한 입력으로 사용되는 토큰과 관련된 비용 |
| (페이고) 추론 출력 토큰 | finetune_steps = 0인 경우 유추를 위해 출력으로 사용되는 토큰과 관련된 비용 |
| 페이고-세밀 조정 모델-추론 입력 토큰 | finetune_steps> 0일 때 유추를 위한 입력으로 사용되는 토큰과 관련된 비용 |
| 사용량 기반 조정 모델 추론 출력 토큰 | finetune_steps> 0일 때 유추를 위해 출력으로 사용되는 토큰과 관련된 비용 |
Azure AI 모델 카탈로그의 Nixtla 모델 컬렉션을 참조하세요.
NTT 데이터
tsuzumi 는 자동 회귀 언어 최적화 변환기입니다. 조정된 버전은 감독된 SFT(미세 조정)를 사용합니다. 츠즈미는 고효율로 일본어와 영어를 모두 처리합니다.
| 모델 | 유형 | 역량 |
|---|---|---|
| 츠즈미-7b | 채팅 완료 |
-
입력: 텍스트(8,192개 토큰) - 출력: 텍스트(8,192개 토큰) - 도구 호출: 아니요 - 응답 형식: 텍스트 |
안정성 AI
이미지 생성 모델의 안정성 AI 컬렉션에는 Stable Image Core, Stable Image Ultra 및 Stable Diffusion 3.5 Large가 포함됩니다. Stable Diffusion 3.5 Large는 이미지와 텍스트 입력을 허용합니다.
| 모델 | 유형 | 역량 |
|---|---|---|
| 스테이블 디퓨전 3.5 라지 | 이미지 생성 |
-
입력: 텍스트 및 이미지(토큰 1000개 및 이미지 1개) - 출력: 1 이미지 - 도구 호출: 아니요 - 응답 형식: 이미지(PNG 및 JPG) |
| 안정적인 이미지 코어 | 이미지 생성 |
-
입력: 텍스트(토큰 1000개) - 출력: 1 이미지 - 도구 호출: 아니요 - 응답 형식: 이미지(PNG 및 JPG) |
| 스테이블 이미지 울트라 | 이미지 생성 |
-
입력: 텍스트(토큰 1000개) - 출력: 1 이미지 - 도구 호출: 아니요 - 응답 형식: 이미지(PNG 및 JPG) |
추론 예제: Stability AI
표준 배포에 배포된 안정성 AI 모델은 경로 /image/generations에서 Azure AI 모델 유추 API를 구현합니다.
안정성 AI 모델을 사용하는 방법에 대한 예제는 다음 예제를 참조하세요.
- 텍스트-이미지 요청에 대해 안정성 AI 모델과 함께 OpenAI SDK 사용
- HTTP 요청 라이브러리를 사용하여 Stability AI 모델로 텍스트를 이미지로 변환 요청하기
- Stable Diffusion 3.5 Large와 함께 이미지 간 요청을 위한 Requests 라이브러리 사용
- 완전히 인코딩된 이미지 생성 응답의 예