Azure AI Model Inference REST API reference

Azure AI model çıkarımı, temel modeller için ortak bir yetkinlik setini ortaya çıkaran ve geliştiriciler tarafından çeşitli modellerden gelen tahminleri tekdüze ve tutarlı bir şekilde tüketmek için kullanılabilen bir API'dir. Geliştiriciler, kullandıkları temel kodu değiştirmeden Azure Yapay Zeka Atölyesi portalında konuşan farklı modellerle konuşabilirler.

Avantajlar

Dil modelleri gibi temel modeller son yıllarda gerçekten dikkat çekici ilerlemeler kaydetti. Bu gelişmeler, doğal dil işleme ve bilgisayar görüşü gibi çeşitli alanları devrim niteliğinde değiştirdi ve sohbet botları, sanal asistanlar ve dil çeviri hizmetleri gibi uygulamaları mümkün kıldı.

Temel modeller belirli alanlarda üstün olsa da, tek bir yetenek setinden yoksundurlar. Bazı modeller belirli bir görevde daha iyidir ve aynı görevde bile bazı modeller problemi bir şekilde yaklaşırken, diğerleri başka bir şekilde yaklaşabilir. Geliştiriciler, doğru iş için doğru modeli kullanarak bu çeşitlilikten faydalanabilirler:

  • Belirli bir sonraki görevde performansı iyileştirin.
  • Daha basit görevler için daha verimli modeller kullanın.
  • Belirli görevlerde daha hızlı çalışabilen daha küçük modeller kullanın.
  • Zeki deneyimler geliştirmek için birden fazla model oluşturun.

Temel modelleri kullanmanın tek bir usulü, geliştiricilerin taşınabilirlikten ödün vermeden veya temel kodu değiştirmeden tüm bu avantajları gerçekleştirmesini sağlar.

Çıkarım SDK desteği

Azure AI Inference paketi, Azure AI model çıkarımı API'sini destekleyen tüm modelleri tüketmenize ve aralarında kolayca değişiklik yapmanızı sağlar. Azure AI Inference paketi, Azure Yapay Zeka Atölyesi SDK'sı'nın bir parçasıdır.

Dil Documentation Package Örnekler
C# Referans azure-ai-inference (NuGet) C# örnekleri
Java Referans azure-ai-inference (Maven) Java örnekleri
Javascript Referans @azure/yapay zeka çıkarımı (NPM) JavaScript örnekleri
Python Referans azure-ai-inference (PyPi) Python örnekleri

Yetenekler

Aşağıdaki bölüm, API'nin ortaya çıkardığı bazı yetenekleri açıklar:

Modalities

API, geliştiricilerin aşağıdaki modaliteler için tahminleri nasıl tüketebileceğini gösterir:

Extensibility

Azure AI Model Çıkarım API, modellerin abone olabileceği bir dizi modalite ve parametre belirtir. Ancak, bazı modeller, API'nin gösterdiği özelliklerden daha fazla yeteneklere sahip olabilir. Bu durumlarda, API geliştiricinin bunları yükte ekstra parametre olarak aktarmasına izin verir.

Bir başlık extra-parameters: pass-throughayarlayarak, API herhangi bir bilinmeyen parametreyi doğrudan altta yatan modele aktarmaya çalışır. Model bu parametreyi yönetebiliyorsa, talep tamamlanır.

Aşağıdaki örnek, Mistral-Large tarafından desteklenen safe_prompt parametresini geçen bir isteği göstermektedir; bu parametre Azure AI Model Çıkarım API'sinde belirtilmemiştir.

İstek

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json
extra-parameters: pass-through

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "text" },
    "safe_prompt": true
}

Note

Varsayılan değer, extra-parameterserror yükte ekstra bir parametre belirtilirse hata döndürür. Alternatif olarak, istekte herhangi bir bilinmeyen parametreyi bırakmayı ayarlayabilirsiniz extra-parameters: drop . Bu özelliği, modelin desteklemeyeceğini bildiğiniz ama yine de isteğin tamamlanmasını istediğiniz ek parametrelerle istek gönderiyorsanız kullanın. Bunun tipik bir örneği gösterme seed parametresidir.

Farklı yeteneklere sahip modeller

Azure AI Model Çıkarım API'si genel bir yetenek seti gösterir, ancak her model bunları uygulamaya veya uygulamamaya karar verebilir. Modelin belirli bir parametreyi destekleyemediği durumlarda belirli bir hata döner.

Aşağıdaki örnek, bir sohbet tamamlama talebi için parametreyi reponse_format belirten ve formatta yanıt JSON istediği için verilen yanıtı göstermektedir. Örnekte, model böyle bir özelliği desteklemediği için kullanıcıya 422 hatası döner.

İstek

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "json_object" },
}

Yanıt

{
    "status": 422,
    "code": "parameter_not_supported",
    "detail": {
        "loc": [ "body", "response_format" ],
        "input": "json_object"
    },
    "message": "One of the parameters contain invalid values."
}

Tip

Sorunlu parametrenin konumunu anlamak ve details.loc istekte iletilen değeri görmek için mülkü details.input inceleyebilirsiniz.

İçerik güvenliği

Azure AI model çıkarım API'si Azure Yapay Zeka İçerik Güvenliği destekler. Azure Yapay Zeka İçerik Güvenliği açık olan dağıtımlar kullanılırken, girdiler ve çıktılar zararlı içeriğin çıktısını tespit etmek ve önlemek amacıyla bir dizi sınıflandırma modelinden geçer. İçerik filtreleme (önizleme) sistemi, hem giriş istenlerinde hem de çıktı tamamlamalarında potansiyel olarak zararlı içerik kategorilerini tespit eder ve harekete geçer.

Aşağıdaki örnek, içerik güvenliğini tetikleyen bir sohbet tamamlama talebinin yanıtını göstermektedir.

İstek

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
    }
    ],
    "temperature": 0,
    "top_p": 1,
}

Yanıt

{
    "status": 400,
    "code": "content_filter",
    "message": "The response was filtered",
    "param": "messages",
    "type": null
}

Başlangıç Yapmak

Azure AI model çıkarımı API'si Azure AI Services kaynaklarında mevcuttur. Diğer Azure ürünleri gibi kaynağınızı Azure AI modeli çıkarımı yani hizmetin örneği için yapılandırarak Azure Aboneliği'nde başlatabilirsiniz. Farklı gereksinimlere sahip birden fazla ekip varsa, ihtiyaç duyduğunuz kadar kaynak oluşturabilir ve bağımsız olarak yapılandırabilirsiniz.

Bir Azure AI Services kaynağı oluşturduğunuzda, API çağrıları yapmaya başlamadan önce bir model dağıtmanız gerekir. Varsayılan olarak, üzerinde model yok, bu yüzden hangisinden başlayacağınızı kontrol edebiliyorsunuz. Eğitime bakınız İlk model dağıtımınızı AI model çıkarımında Azure oluşturun.

  • Last updated on