Aracılığıyla paylaş

Azure AI Model Çıkarımı REST API başvurusu

Azure AI modeli çıkarımı, temel modeller için ortak bir özellik kümesini kullanıma sunan ve geliştiriciler tarafından çeşitli modellerden gelen tahminleri tekdüzen ve tutarlı bir şekilde kullanmak için kullanılabilen bir API'dir. Geliştiriciler, kullandıkları temel kodu değiştirmeden Azure AI Foundry portalında dağıtılan farklı modellerle konuşabilir.

Fayda -ları

Dil modelleri gibi temel modeller, son yıllarda gerçekten önemli adımlar atmış durumdadır. Bu gelişmeler doğal dil işleme ve görüntü işleme gibi çeşitli alanlarda devrim yaptı ve sohbet botları, sanal yardımcılar ve dil çevirisi hizmetleri gibi uygulamaları etkinleştirdi.

Temel modeller belirli etki alanlarında başarılı olsa da, tekdüzen bir özellik kümesine sahip değildir. Bazı modeller belirli görevlerde ve hatta aynı görevde daha iyidir, bazı modeller soruna bir şekilde, diğerleri ise başka bir yolla yaklaşabilir. Geliştiriciler, doğru iş için doğru modeli kullanarak bu çeşitlilikten yararlanabilir şunları yapabilir:

  • Belirli bir aşağı akış görevinde performansı geliştirin.
  • Daha basit görevler için daha verimli modeller kullanın.
  • Belirli görevlerde daha hızlı çalışabilen daha küçük modeller kullanın.
  • Akıllı deneyimler geliştirmek için birden çok model oluşturma.

Temel modelleri kullanmanın tekdüzen bir yolu olması, geliştiricilerin taşınabilirlikten ödün vermeden veya temel kodu değiştirmeden tüm bu avantajları gerçekleştirmesine olanak tanır.

Çıkarım SDK'sı desteği

Azure AI Çıkarım paketi, Azure yapay zeka modeli çıkarım API'sini destekleyen tüm modelleri kullanmanıza ve bunlar arasında kolayca değişiklik yapmanıza olanak tanır. Azure AI Çıkarım paketi, Azure AI Foundry SDK'sının bir parçasıdır.

Dil Belge Paket Örnekler
C# (programlama dili) Başvuru azure-ai-inference (NuGet) C# örnekleri
Java Başvuru azure-ai-inference (Maven) java örneklerini
JavaScript Başvuru @azure/ai çıkarım (npm) javascript örnekleri
Piton Başvuru azure-ai-inference (PyPi) Python örnekleri

Yetenek -lerini

Aşağıdaki bölümde API'nin kullanıma sunduğu bazı özellikler açıklanmaktadır:

Kalıcılıklar

API, geliştiricilerin aşağıdaki modaliteler için tahminleri nasıl kullanabileceğini gösterir:

  • Bilgi al: Uç nokta altında dağıtılan model hakkındaki bilgileri döndürür.
  • Metin ekleme: Giriş metnini temsil eden bir ekleme vektöru oluşturur.
  • Sohbet tamamlamaları: Verilen sohbet konuşması için bir model yanıtı oluşturur.
  • Resim ekleme: Giriş metnini ve görüntüsünü temsil eden bir ekleme vektöru oluşturur.

Genişletilebilir -lik

Azure AI Model Çıkarımı API'sinde modellerin abone olabileceği bir dizi modalite ve parametre belirtilir. Ancak bazı modellerde, API'nin gösterdiği özellikler daha fazla olabilir. Bu durumlarda API, geliştiricinin bunları yükte ek parametreler olarak geçirmesine olanak tanır.

extra-parameters: pass-throughbir üst bilgi ayarlayarak, API bilinmeyen herhangi bir parametreyi doğrudan temel modele geçirmeye çalışır. Model bu parametreyi işleyebilirse istek tamamlar.

Aşağıdaki örnekte, Azure AI Model Çıkarım API'sinde belirtilmemiş olan Mistral-Large tarafından desteklenen safe_prompt parametresini geçiren bir istek gösterilmektedir.

İstek

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json
extra-parameters: pass-through

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "text" },
    "safe_prompt": true
}

Not

extra-parameters için varsayılan değer, yükte ek bir parametre belirtilirse hata döndüren error değeridir. Alternatif olarak, extra-parameters: drop isteğinde bilinmeyen herhangi bir parametreyi bırakacak şekilde ayarlayabilirsiniz. Modelin desteklemeyeceğini bildiğiniz ancak isteğin yine de tamamlanmasını istediğiniz ek parametreler içeren istekler gönderiyor olmanız durumunda bu özelliği kullanın. Bunun tipik bir örneği, seed parametresini gösterir.

Farklı özellik kümesine sahip modeller

Azure AI Model Çıkarımı API'si genel bir özellik kümesini gösterir, ancak modellerin her biri bunları uygulamaya karar verebilir veya uygulamayabilir. Modelin belirli bir parametreyi destekleyemediği durumlarda belirli bir hata döndürülür.

Aşağıdaki örnekte, reponse_format parametresini gösteren ve JSON biçimde yanıt isteyen bir sohbet tamamlama isteğinin yanıtı gösterilmektedir. Örnekte model bu özelliği desteklemediğinden kullanıcıya 422 hatası döndürülür.

İstek

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "json_object" },
}

Yanıt

{
    "status": 422,
    "code": "parameter_not_supported",
    "detail": {
        "loc": [ "body", "response_format" ],
        "input": "json_object"
    },
    "message": "One of the parameters contain invalid values."
}

Bahşiş

Sorunlu parametrenin konumunu anlamak için özellik details.loc inceleyebilir ve istekte geçirilen değeri görmek için details.input.

İçerik güvenliği

Azure AI model çıkarımı API'Azure AI content Safetydestekler. Azure AI Content Safety ile dağıtımları kullanırken, girişler ve çıkışlar zararlı içeriğin çıkışını algılamayı ve önlemeyi hedefleyen sınıflandırma modellerinden oluşan bir grup içinden geçer. İçerik filtreleme (önizleme) sistemi, hem giriş istemlerinde hem de çıkış tamamlamalarında zararlı olabilecek içeriğin belirli kategorilerini algılar ve bu kategoriler üzerinde işlem gerçekleştirir.

Aşağıdaki örnekte, içerik güvenliğini tetikleyen bir sohbet tamamlama isteğinin yanıtı gösterilmektedir.

İstek

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
    }
    ],
    "temperature": 0,
    "top_p": 1,
}

Yanıt

{
    "status": 400,
    "code": "content_filter",
    "message": "The response was filtered",
    "param": "messages",
    "type": null
}

Başlarken

Azure AI model çıkarım API'si, Azure AI Services kaynaklarında kullanılabilir. Azure Aboneliğinizde Azure AI modeli çıkarımı veya hizmet örneği kaynağınızı oluşturup yapılandırmanızadiğer tüm Azure ürünlerinde olduğu gibi kullanmaya başlayabilirsiniz. Gerektiği kadar kaynak oluşturabilir ve farklı gereksinimleri olan birden çok ekibiniz olması durumunda bunları bağımsız olarak yapılandırabilirsiniz.

Azure AI Services kaynağı oluşturduktan sonra, API çağrıları yapmaya başlamadan önce bir model dağıtmanız gerekir. Varsayılan olarak, bu modelde model yoktur, bu nedenle hangi modellerden başlayacağınızı denetleyebilirsiniz. Azure AI model çıkarımında ilk model dağıtımınızı oluşturmaöğreticisine bakın.

  • Last updated on