Bagikan melalui

Referensi REST API Inferensi Model Azure AI

Inferensi model Azure AI adalah API yang mengekspos serangkaian kemampuan umum untuk model dasar dan yang dapat digunakan oleh pengembang untuk mengonsumsi prediksi dari berbagai set model dengan cara yang seragam dan konsisten. Pengembang dapat berbicara dengan berbagai model yang disebarkan di portal Azure AI Foundry tanpa mengubah kode dasar yang mereka gunakan.

Manfaat

Model dasar, seperti model bahasa, memang telah membuat upaya luar biasa dalam beberapa tahun terakhir. Kemajuan ini telah merevolusi berbagai bidang, termasuk pemrosesan bahasa alami dan visi komputer, dan mereka telah mengaktifkan aplikasi seperti chatbot, asisten virtual, dan layanan terjemahan bahasa.

Meskipun model dasar unggul di domain tertentu, model tersebut tidak memiliki serangkaian kemampuan yang seragam. Beberapa model lebih baik dalam tugas tertentu dan bahkan di seluruh tugas yang sama, beberapa model dapat mendekati masalah dengan satu cara sementara yang lain di lain. Pengembang dapat memperoleh manfaat dari keragaman ini dengan menggunakan model yang tepat untuk pekerjaan yang tepat memungkinkan mereka untuk:

  • Meningkatkan performa dalam tugas hilir tertentu.
  • Gunakan model yang lebih efisien untuk tugas yang lebih sederhana.
  • Gunakan model yang lebih kecil yang dapat berjalan lebih cepat pada tugas tertentu.
  • Buat beberapa model untuk mengembangkan pengalaman cerdas.

Memiliki cara yang seragam untuk mengonsumsi model dasar memungkinkan pengembang untuk mewujudkan semua manfaat tersebut tanpa mengorbankan portabilitas atau mengubah kode yang mendasarinya.

Dukungan SDK inferensi

Paket Inferensi Azure AI memungkinkan Anda untuk menggunakan semua model yang mendukung API inferensi model Azure AI dan dengan mudah berubah di antara mereka. Paket Inferensi Azure AI adalah bagian dari Azure AI Foundry SDK.

Bahasa Dokumentasi Paket Contoh
C# Referensi azure-ai-inference (NuGet) contoh C#
Jawa Referensi azure-ai-inference (Maven) contoh Java
JavaScript Referensi @azure/ai-inferensi (npm) contoh JavaScript
Ular sawah Referensi azure-ai-inference (PyPi) contoh Python

Kemampuan

Bagian berikut menjelaskan beberapa kemampuan yang diekspos API:

Modalitas

API menunjukkan bagaimana pengembang dapat menggunakan prediksi untuk modalitas berikut:

  • Dapatkan info: Mengembalikan informasi tentang model yang disebarkan di bawah titik akhir.
  • Penyematan teks: Membuat vektor penyematan yang mewakili teks input.
  • Penyelesaian obrolan: Membuat respons model untuk percakapan obrolan yang diberikan.
  • Penyematan gambar: Membuat vektor penyematan yang mewakili teks dan gambar input.

Diperpanjang

AZURE AI Model Inference API menentukan serangkaian modalitas dan parameter yang dapat berlangganan model. Namun, beberapa model mungkin memiliki kemampuan lebih lanjut yang ditunjukkan API. Pada kasus tersebut, API memungkinkan pengembang untuk meneruskannya sebagai parameter tambahan dalam payload.

Dengan mengatur header extra-parameters: pass-through, API akan mencoba meneruskan parameter yang tidak diketahui langsung ke model yang mendasar. Jika model dapat menangani parameter tersebut, permintaan selesai.

Contoh berikut menunjukkan permintaan yang meneruskan parameter safe_prompt didukung oleh Mistral-Large, yang tidak ditentukan dalam AZURE AI Model Inference API.

Permintaan

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json
extra-parameters: pass-through

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "text" },
    "safe_prompt": true
}

Nota

Nilai default untuk extra-parameters adalah error yang mengembalikan kesalahan jika parameter tambahan ditunjukkan dalam payload. Atau, Anda dapat mengatur extra-parameters: drop untuk menghilangkan parameter yang tidak diketahui dalam permintaan. Gunakan kemampuan ini jika Anda kebetulan mengirim permintaan dengan parameter tambahan yang Anda tahu model tidak akan mendukung tetapi Anda ingin permintaan selesai pula. Contoh umum dari ini menunjukkan parameter seed.

Model dengan serangkaian kemampuan yang berbeda

AZURE AI Model Inference API menunjukkan serangkaian kemampuan umum tetapi setiap model dapat memutuskan untuk mengimplementasikannya atau tidak. Kesalahan tertentu dikembalikan pada kasus-kasus di mana model tidak dapat mendukung parameter tertentu.

Contoh berikut menunjukkan respons untuk permintaan penyelesaian obrolan yang menunjukkan parameter reponse_format dan meminta balasan dalam format JSON. Dalam contoh, karena model tidak mendukung kemampuan tersebut, kesalahan 422 dikembalikan kepada pengguna.

Permintaan

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "json_object" },
}

Respons

{
    "status": 422,
    "code": "parameter_not_supported",
    "detail": {
        "loc": [ "body", "response_format" ],
        "input": "json_object"
    },
    "message": "One of the parameters contain invalid values."
}

Ujung

Anda dapat memeriksa properti details.loc untuk memahami lokasi parameter yang menyinggung dan details.input untuk melihat nilai yang diteruskan dalam permintaan.

Keamanan konten

API inferensi model Azure AI mendukung Azure AI Content Safety. Saat menggunakan penyebaran dengan Azure AI Content Safety aktif, input dan output melewati ansambel model klasifikasi yang bertujuan mendeteksi dan mencegah output konten berbahaya. Sistem pemfilteran konten (pratinjau) mendeteksi dan mengambil tindakan pada kategori tertentu dari konten yang berpotensi berbahaya dalam perintah input dan penyelesaian output.

Contoh berikut menunjukkan respons untuk permintaan penyelesaian obrolan yang telah memicu keamanan konten.

Permintaan

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
    }
    ],
    "temperature": 0,
    "top_p": 1,
}

Respons

{
    "status": 400,
    "code": "content_filter",
    "message": "The response was filtered",
    "param": "messages",
    "type": null
}

Persiapan

API inferensi model Azure AI tersedia di sumber daya Azure AI Services. Anda dapat memulai dengan cara yang sama seperti produk Azure lainnya di mana Anda membuat dan mengonfigurasi sumber daya Anda untuk inferensi model Azure AI, atau instans layanan, di Langganan Azure Anda. Anda dapat membuat sumber daya sebanyak yang diperlukan dan mengonfigurasinya secara independen jika Anda memiliki beberapa tim dengan persyaratan yang berbeda.

Setelah membuat sumber daya Azure AI Services, Anda harus menyebarkan model sebelum dapat mulai melakukan panggilan API. Secara default, tidak ada model yang tersedia di dalamnya, sehingga Anda dapat mengontrol model mana yang akan dimulai. Lihat tutorial Membuat penyebaran model pertama Anda di inferensi model Azure AI.

  • Last updated on