Aracılığıyla paylaş

Azure AI Model Çıkarım API'si | Azure Machine Learning

  • Makale

Azure AI Model Çıkarımı, temel modeller için ortak bir özellik kümesini kullanıma sunan ve geliştiriciler tarafından çeşitli modellerden gelen tahminleri tekdüzen ve tutarlı bir şekilde kullanmak için kullanılabilen bir API'dir. Geliştiriciler, kullandıkları temel kodu değiştirmeden Azure AI Studio'da dağıtılan farklı modellerle konuşabilir.

Sosyal haklar

Dil modelleri gibi temel modeller, son yıllarda gerçekten önemli adımlar atmış durumdadır. Bu gelişmeler doğal dil işleme ve görüntü işleme gibi çeşitli alanlarda devrim yaptı ve sohbet botları, sanal yardımcılar ve dil çevirisi hizmetleri gibi uygulamaları etkinleştirdi.

Temel modeller belirli etki alanlarında başarılı olsa da, tekdüzen bir özellik kümesine sahip değildir. Bazı modeller belirli görevlerde ve hatta aynı görevde daha iyidir, bazı modeller soruna bir şekilde, diğerleri ise başka bir yolla yaklaşabilir. Geliştiriciler, doğru iş için doğru modeli kullanarak bu çeşitlilikten yararlanabilir ve şunları yapabilir:

  • Belirli bir aşağı akış görevinde performansı geliştirin.
  • Daha basit görevler için daha verimli modeller kullanın.
  • Belirli görevlerde daha hızlı çalışabilen daha küçük modeller kullanın.
  • Akıllı deneyimler geliştirmek için birden çok model oluşturma.

Temel modelleri kullanmanın tekdüzen bir yolu olması, geliştiricilerin taşınabilirlikten ödün vermeden veya temel kodu değiştirmeden tüm bu avantajları gerçekleştirmesine olanak tanır.

Kullanılabilirlik

Azure AI Model Çıkarımı API'sini aşağıdaki modellerde bulabilirsiniz:

Sunucusuz API uç noktalarına dağıtılan modeller:

API, Azure OpenAI model dağıtımlarıyla uyumludur.

Özellikler

Aşağıdaki bölümde API'nin kullanıma sunduğu bazı özellikler açıklanmaktadır. API'nin tam belirtimi için başvuru bölümünü görüntüleyin.

Kalıcılıklar

API, geliştiricilerin aşağıdaki modaliteler için tahminleri nasıl kullanabileceğini gösterir:

  • Bilgi alma: Uç nokta altında dağıtılan model hakkındaki bilgileri döndürür.
  • Metin eklemeler: Giriş metnini temsil eden bir ekleme vektöru oluşturur.
  • Metin tamamlamaları: Sağlanan istem ve parametreler için bir tamamlama oluşturur.
  • Sohbet tamamlamaları: Verilen sohbet konuşması için bir model yanıtı oluşturur.
  • Resim ekleme: Giriş metnini ve görüntüsünü temsil eden bir ekleme vektöru oluşturur.

Genişletilebilirlik

Azure AI Model Çıkarımı API'sinde modellerin abone olabileceği bir dizi modalite ve parametre belirtilir. Ancak bazı modellerde, API'nin gösterdiği özellikler daha fazla olabilir. Bu durumlarda API, geliştiricinin bunları yükte ek parametreler olarak geçirmesine olanak tanır.

bir üst bilgi extra-parameters: allowayarlayarak, API bilinmeyen herhangi bir parametreyi doğrudan temel alınan modele geçirmeye çalışır. Model bu parametreyi işleyebilirse istek tamamlar.

Aşağıdaki örnekte, Azure AI Model Çıkarım API'sinde belirtilmemiş olan Mistral-Large tarafından desteklenen parametreyi safe_prompt geçiren bir istek gösterilmektedir:

İste

POST /chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json
extra-parameters: allow

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "text" },
    "safe_prompt": true
}

İpucu

Alternatif olarak, bilinmeyen herhangi bir parametreyi istekte bırakmak için ayarlayabilirsiniz extra-parameters: drop . Modelin desteklemeyeceğini bildiğiniz ancak isteğin yine de tamamlanmasını istediğiniz ek parametreler içeren istekler gönderiyor olmanız durumunda bu özelliği kullanın. Bunun tipik bir örneği parametreyi gösterir seed .

Farklı özellik kümesine sahip modeller

Azure AI Model Çıkarımı API'si genel bir özellik kümesini gösterir, ancak modellerin her biri bunları uygulamaya karar verebilir veya uygulamayabilir. Modelin belirli bir parametreyi destekleyemediği durumlarda belirli bir hata döndürülür.

Aşağıdaki örnekte, parametresini reponse_format gösteren ve biçiminde bir yanıt isteyen bir sohbet tamamlama isteğinin yanıtı JSON gösterilmektedir. Örnekte model bu özelliği desteklemediğinden kullanıcıya 422 hatası döndürülür.

İste

POST /chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "json_object" },
}

Response

{
    "status": 422,
    "code": "parameter_not_supported",
    "detail": {
        "loc": [ "body", "response_format" ],
        "input": "json_object"
    },
    "message": "One of the parameters contain invalid values."
}

İpucu

Özelliği inceleyerek details.loc sorunlu parametrenin konumunu anlayabilir ve details.input istekte geçirilen değeri görebilirsiniz.

İçerik güvenliği

Azure AI modeli çıkarım API'si, Azure AI İçerik Güvenliği'ni destekler. Azure AI Content Safety ile dağıtımları kullanırken, girişler ve çıkışlar zararlı içeriğin çıkışını algılamayı ve önlemeyi hedefleyen sınıflandırma modellerinden oluşan bir grup içinden geçer. İçerik filtreleme sistemi, hem giriş istemlerinde hem de çıkış tamamlamalarında zararlı olabilecek belirli içerik kategorilerini algılar ve üzerinde işlem gerçekleştirir.

Aşağıdaki örnekte, içerik güvenliğini tetikleyen bir sohbet tamamlama isteğinin yanıtı gösterilmektedir.

İste

POST /chat/completions?api-version=2024-04-01-preview
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
    }
    ],
    "temperature": 0,
    "top_p": 1,
}

Response

{
    "status": 400,
    "code": "content_filter",
    "message": "The response was filtered",
    "param": "messages",
    "type": null
}

Başlarken

Azure AI Model Çıkarım API'si şu anda Sunucusuz API uç noktaları olarak dağıtılan modellerde desteklenmektedir. Başlamak için desteklenen modellerden herhangi birini yeni bir Sunucusuz API uç noktalarına dağıtın. Ardından API'yi aşağıdaki yollarla kullanabilirsiniz:

Değerlendirmeleri çalıştırmak veya prompt akışıyla derlemek için Azure AI Model Çıkarım API'sini kullanabilirsiniz. Sunucusuz API uç noktasına Sunucusuz Model bağlantısıoluşturun ve tahminlerini kullanın. Azure AI Model Çıkarım API'si, arka planda kullanılır.