Aracılığıyla paylaş

Azure AI Studio ile AI21'in Jamba ailesi modellerini dağıtma

  • Makale

Önemli

Bu makalede işaretlenen (önizleme) öğeler şu anda genel önizleme aşamasındadır. Bu önizleme, hizmet düzeyi sözleşmesi olmadan sağlanır ve üretim iş yükleri için önerilmez. Bazı özellikler desteklenmiyor olabileceği gibi özellikleri sınırlandırılmış da olabilir. Daha fazla bilgi için bkz. Microsoft Azure Önizlemeleri Ek Kullanım Koşulları.

Bu makalede, Azure AI Studio'yu kullanarak AI21'in Jamba aile modellerini kullandıkça öde faturalaması ile sunucusuz bir API olarak dağıtmayı öğreneceksiniz.

Jamba ailesi modelleri, AI21'in AI21'in hibrit Mamba-Transformer mimarisinden yararlanan üretim sınıfı Mamba tabanlı büyük dil modelidir (LLM). AI21'in hibrit yapılandırılmış durum alanı modelinin (SSM) transformatör Jamba modelinin yönergeyle ayarlanmış bir sürümüdür. Jamba ailesi modelleri, kalite ve performans açısından güvenilir ticari kullanım için üretilmiştir.

AI21'in Jamba ailesi modelleri hakkındaki duyurularımıza AI21'in blogu ve Microsoft Teknoloji Topluluğu Blogu aracılığıyla Azure Yapay Zeka Modeli Kataloğu'nda ulaşabilirsiniz.

Önemli

Önizleme aşamasında olan modeller, model kataloğundaki model kartlarında önizleme olarak işaretlenir.

Jamba ailesi modellerini sunucusuz API olarak dağıtma

Model kataloğundaki bazı modeller kullandıkça öde faturalaması ile sunucusuz BIR API olarak dağıtılabilir ve bu sayede bunları aboneliğinizde barındırmadan API olarak kullanmanın bir yolu sağlanırken, kuruluşların ihtiyaç duyduğu kurumsal güvenlik ve uyumluluk da tutulabilir. Bu dağıtım seçeneği aboneliğinizden kota gerektirmez.

Kullandıkça öde faturalaması ile sunucusuz API olarak dağıtılan AI21-Jamba 1.5 Büyük modeli, Microsoft Azure Market aracılığıyla AI21 tarafından sunulur. AI21, bu modelin kullanım koşullarını ve fiyatlandırmasını değiştirebilir veya güncelleştirebilir.

Sunucusuz API olarak dağıtılan Jamba 1.5 büyük sürümünü kullanmaya başlamak için LangChain, LiteLLM, OpenAI ve Azure API ile tümleştirmelerimizi keşfedin.

Önkoşullar

  • Geçerli bir ödeme yöntemine sahip bir Azure aboneliği. Ücretsiz veya deneme Azure abonelikleri çalışmaz. Azure aboneliğiniz yoksa başlamak için ücretli bir Azure hesabı oluşturun.

  • AI Studio hub'ı. Jamba ailesi modelleri için sunucusuz API modeli dağıtım teklifi yalnızca bu bölgelerde oluşturulan hub'larla kullanılabilir:

    • Doğu ABD
    • Doğu ABD 2
    • Orta Kuzey ABD
    • Orta Güney ABD
    • Batı ABD
    • Batı ABD 3
    • Orta İsveç

    Sunucusuz API uç noktası dağıtımlarını destekleyen modellerin her biri için kullanılabilen bölgelerin listesi için bkz. Sunucusuz API uç noktalarındaki modeller için bölge kullanılabilirliği.

  • Azure AI Studio projesi.

  • Azure rol tabanlı erişim denetimleri (Azure RBAC), Azure AI Studio'daki işlemlere erişim vermek için kullanılır. Bu makaledeki adımları gerçekleştirmek için kullanıcı hesabınıza Azure aboneliğinde sahip veya katkıda bulunan rolü atanmalıdır. Alternatif olarak, hesabınıza aşağıdaki izinlere sahip bir özel rol de atanabilir:

    • Azure aboneliğinde: AI Studio projesini her proje için bir kez teklif başına Azure Market teklifine abone olmak için:

      • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
      • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
      • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
      • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
      • Microsoft.SaaS/register/action

    • Kaynak grubunda - SaaS kaynağını oluşturmak ve kullanmak için:

      • Microsoft.SaaS/resources/read
      • Microsoft.SaaS/resources/write

    • Uç noktaları dağıtmak için AI Studio projesinde (Azure AI Geliştirici rolü şu izinleri zaten içerir):

      • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
      • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

    İzinler hakkında daha fazla bilgi için bkz . Azure AI Studio'da rol tabanlı erişim denetimi.

Yeni dağıtım oluşturma

Bu adımlar veya AI21 Jamba 1.5 Mini modellerinin dağıtımını AI21 Jamba 1.5 Large gösterir. Dağıtım oluşturmak için:

  1. Azure AI Studio'da oturum açın.

  2. Sol kenar çubuğundan Model kataloğu'nu seçin.

  3. veya AI21 Jamba 1.5 Mini gibi AI21 Jamba 1.5 Large bir AI21 modeli arayın ve seçin ve AI21 Jamba Instruct ayrıntılar sayfasını açın.

  4. Modelin sunucusuz API dağıtım penceresini açmak için Dağıt'ı seçin.

  5. Alternatif olarak, AI Studio'daki projenizden başlayarak bir dağıtım başlatabilirsiniz.

    1. Projenizin sol kenar çubuğunda Bileşen Dağıtımları'nı> seçin.

    2. + Dağıtım oluştur'u seçin.

    3. veya AI21 Jamba 1.5 Mini AI21 Jamba Instruct gibi AI21 Jamba 1.5 Large bir AI21 modeli arayın ve seçin ve Modelin Ayrıntılar sayfasını açın.

    4. Model için sunucusuz api dağıtım penceresi açmak için Onayla'yı seçin.

  6. Modelinizi dağıtmak istediğiniz projeyi seçin. AI21-Jamba ailesi modellerini dağıtmak için projenizin Önkoşullar bölümünde listelenen bölgelerden birinde olması gerekir.

  7. Kullanım koşulları hakkında daha fazla bilgi edinmek için dağıtım sihirbazında Azure Market Koşulları bağlantısını seçin.

  8. Seçili modelin fiyatlandırması hakkında bilgi edinmek için Fiyatlandırma ve koşullar sekmesini seçin.

  9. Abone Ol ve Dağıt düğmesini seçin. Modeli projede ilk kez dağıtıyorsanız, projenizi belirli bir teklif için abone olmanız gerekir. Bu adım, hesabınızın Önkoşullar bölümünde listelenen Azure abonelik izinlerine ve kaynak grubu izinlerine sahip olmasını gerektirir. Her projenin, harcamaları denetlemenize ve izlemenize olanak tanıyan modelin belirli Azure Market teklifine kendi aboneliği vardır. Şu anda bir proje içindeki her model için yalnızca bir dağıtıma sahip olabilirsiniz.

  10. Projeyi belirli Azure Market teklifi için abone olduktan sonra, aynı teklifin aynı projedeki sonraki dağıtımları yeniden abone olmayı gerektirmez. Bu senaryo sizin için geçerliyse, seçecek bir Dağıtmaya devam et seçeneği vardır.

  11. Dağıtıma bir ad verin. Bu ad, dağıtım API'si URL'sinin bir parçası olur. Bu URL her Azure bölgesinde benzersiz olmalıdır.

  12. Dağıt'ı seçin. Dağıtım hazır olana ve Dağıtımlar sayfasına yönlendirilene kadar bekleyin.

  13. Dağıtımlar sayfasına dönün, dağıtımı seçin ve uç noktanın Hedef URL'sini ve Gizli Anahtar'ı not edin. API'leri kullanma hakkında daha fazla bilgi için Başvuru bölümüne bakın.

  14. Her zaman Project genel bakış sayfanıza giderek uç noktanın ayrıntılarını, URL'sini ve erişim anahtarlarını bulabilirsiniz. Ardından projenizin sol kenar çubuğundan Bileşenler Dağıtımları'nı> seçin.

Kullandıkça öde belirteç tabanlı faturalama ile sunucusuz API olarak dağıtılan AI21-Jamba aile modellerinin faturalaması hakkında bilgi edinmek için bkz . Jamba Için maliyet ve kota konuları Sunucusuz API olarak dağıtılan yönergeler.

Jamba ailesi modellerini sunucusuz API olarak kullanma

Jamba aile modellerini aşağıdaki gibi kullanabilirsiniz:

  1. Projeye genel bakış sayfanızdan sol kenar çubuğuna gidin ve Bileşenler Dağıtımları'nı> seçin.

  2. Oluşturduğunuz dağıtımı bulun ve seçin.

  3. Hedef URL'yi ve Anahtar değerini kopyalayın.

  4. API isteğinde bulun.

API'leri kullanma hakkında daha fazla bilgi için başvuru bölümüne bakın.

Sunucusuz API olarak dağıtılan Jamba ailesi modelleri için başvuru

Jamba ailesi modelleri şu API'lerin ikisini de kabul etti:

Azure AI model çıkarım API'si

Azure AI model çıkarım API'si şeması, Sohbet Tamamlamaları başvurusu makalesinde bulunabilir ve uç noktanın kendisinden bir OpenAPI belirtimi elde edilebilir.

Tek dönüşlü ve çok dönüşlü sohbet aynı istek ve yanıt biçimine sahiptir, ancak soru yanıtlama (tek dönüşlü) istekte yalnızca tek bir kullanıcı iletisi içerirken, çok aşamalı sohbet her istekte sohbet iletisi geçmişinin tamamını göndermenizi gerektirir.

Çok aşamalı bir sohbette ileti dizisi aşağıdaki özniteliklere sahiptir:

  • Kullanıcıdan ve modelden gelen ve en eskiden en yeniye sıralanmış tüm iletileri içerir.
  • ve rol iletileri arasında user assistant değişen iletiler
  • İsteğe bağlı olarak, ileti dizisi bağlam sağlamak için bir sistem iletisiyle başlar.

Aşağıdaki sahte kod, ilk sistem iletisini içeren bir sohbet isteğindeki dördüncü çağrı için ileti yığını örneğidir.

[
    {"role": "system", "message": "Some contextual information here"},
    {"role": "user", "message": "User message 1"},
    {"role": "assistant", "message": "System response 1"},
    {"role": "user", "message": "User message 2"},
    {"role": "assistant"; "message": "System response 2"},
    {"role": "user", "message": "User message 3"},
    {"role": "assistant", "message": "System response 3"},
    {"role": "user", "message": "User message 4"}
]

AI21'in Azure istemcisi

İsteği yola göndermek için /v1/chat/completions yöntemini POST kullanın:

İste

POST /v1/chat/completions HTTP/1.1
Host: <DEPLOYMENT_URI>
Authorization: Bearer <TOKEN>
Content-type: application/json

İstek şeması

Payload, aşağıdaki parametreleri içeren JSON biçimli bir dizedir:

Anahtar Tür Gerekli/Varsayılan İzin verilen değerler Açıklama
model string Y veya jamba-1.5-mini olmalıdır jamba-1.5-largejamba-instruct
messages list[object] Y En eskiden en yeniye kadar ileti başına bir nesne listesi. En eski ileti rolü systemolabilir. Sonraki tüm iletiler kullanıcı ve yardımcı rolleri arasında geçiş yapmalıdır. Aşağıdaki ileti nesnesi tanımına bakın.
max_tokens integer N
4096		 0 – 4096 Oluşturulan her yanıt iletisi için izin verilen en fazla belirteç sayısı. Genellikle çıkış uzunluğunu sınırlamanın en iyi yolu, sistem isteminde bir uzunluk sınırı sağlamaktır (örneğin, "yanıtlarınızı üç cümleyle sınırlayın")
temperature float N
1		 0.0 – 2.0 Her yanıtta ne kadar çeşitleme sağlayabilmek. Bu değerin 0 olarak ayarlanması, her seferinde aynı soruya aynı yanıtın ver olmasını garanti eder. Daha yüksek bir değer ayarlamak daha fazla varyasyonu teşvik eder. Belirteçlerin örneklendiği dağıtımı değiştirir. Bunu veya top_pdeğiştirmenizi öneririz, ancak ikisini birden değiştirmemenizi öneririz.
top_p float N
1		 0 <değer<=1,0 Her adımda sonraki belirteç havuzunu olası belirteçlerin ilk N yüzdebirliğiyle sınırlayın; burada 1,0 tüm olası belirteçlerin havuzu, 0,01 ise yalnızca en olası sonraki belirteçlerin havuzu anlamına gelir.
stop string VEYA list[string] N
"" API'nin çıkış üretmeyi durdurması gereken sözcüklerini içeren dize veya dize listesi. Yeni satırlara "\n" olarak izin verilir. Döndürülen metin durdurma sırasını içermez.
n integer N
1		 1 – 16 Her istem için kaç yanıt oluşturulacağı. Azure AI Studio's Playground ile birlikte, n=1 çok yanıtlı Playground üzerinde çalışıyoruz.
stream boolean N
False		 True VEYA False Akışın etkinleştirilip etkinleştirilmeyileceği. True ise, sonuçlar bir kerede bir belirteç döndürülür. true olarak ayarlanırsa, n otomatik olarak ayarlanan 1 olmalıdır.
tools array[tool] N "" Modelin tools listesi çağrılabilir. Şu anda araç olarak yalnızca işlevler desteklenmektedir. Modelin JSON girişleri oluşturabileceği işlevlerin listesini sağlamak için bunu kullanın. En fazla 128 işlev desteklenir.
response_format object N
null		 "" ayarı { "type": "json_object" } , modelin oluşturduğu iletinin geçerli JSON olduğunu garanti eden JSON modunu etkinleştirir.
documents array[document] N "" Kullanıcı istemde açıkça bunu söylüyorsa, modelin ilgili documents bir listesi yanıtlarını temel alabilir. Temelde, meta veri ekleme özelliğiyle istem için bir uzantı görevi görür. her belge bir sözlüktür.

messages Nesnesi aşağıdaki alanlara sahiptir:

  • role: [dize, gerekli] İletinin yazarı veya amacı. Aşağıdaki değerlerden biri:
    • user: Kullanıcı tarafından sağlanan giriş. Burada verilen ve istemde system verilen yönergelerle çakışan tüm yönergeler, istem yönergelerinden system önceliklidir.
    • assistant: Model tarafından oluşturulan bir yanıt.
    • system: Oluşturulan iletinin tonu ve sesi hakkında genel yönergeler sağlamak için ilk yönergeler. İlk sistem iletisi isteğe bağlıdır, ancak sohbetin tonu hakkında rehberlik sağlaması önerilir. Örneğin, "Toprak bilimlerinde arka planı ve büyüleyici bir Fransız aksanı olan yararlı bir sohbet botusunuz."
  • content: [dize, gerekli] İletinin içeriği.

tool Nesnesi aşağıdaki alanlara sahiptir:

  • type (gerekli; str) - Aracın türü. Şu anda yalnızca "işlev" desteklenmektedir.
  • function (gerekli; nesne) - İşlev ayrıntıları.
    • name (gerekli; str) - Çağrılacak işlevin adı.
    • description (isteğe bağlı; str) - İşlevin ne yaptığının açıklaması.
    • parameters (isteğe bağlı; nesne) - İşlevin kabullediği ve JSON Şeması nesnesi olarak tanımlanan parametreler.

document Nesnesi aşağıdaki alanlara sahiptir:

  • id (isteğe bağlı; str) - benzersiz tanımlayıcı. alıntılarda bağlanacaktır. en fazla 128 karakter.
  • content (gerekli; str) - belgenin içeriği
  • metadata (isteğe bağlı; dizisi Meta veriler)
    • key (gerekli; str) - 'author', 'date', 'url' vb. meta veri türü. Modelin anladığı şeyler olmalıdır.
    • value (gerekli; str) - meta verilerin değeri

İstek örneği

Tek dönüşlü örnek Jamba 1.5 büyük ve Jamba 1.5 mini

{
   "model":"jamba-1.5-large",  <jamba-1.5-large|jamba-1.5-mini>
   "messages":[
      {
         "role":"user",
         "content":"I need help with your product. Can you please assist?"
      }
   ],
   "temperature":1,
   "top_p":1,
   "n":1,
   "stop":"\n",
   "stream":false
}

Tek dönüşlü örnek Jamba 1.5 large ve Jamba 1.5 mini ve belgeler

{
   "model":"jamba-1.5-large",  <jamba-1.5-large|jamba-1.5-mini>
   "messages":[
      {
         "role":"system",
         "content":'''<documents>
          # Documents

          You can use the following documents for reference:

          ## Document ID: 0
          Text: Harry Potter is a series of seven fantasy novels written by British author J. K. Rowling.

          ## Document ID: 1
          Text: The Great Gatsby is a novel by American writer F. Scott Fitzgerald.
          </documents>'''},

       {
           "role":"user",
           "content":"Who wrote Harry Potter?"
       }
   ],
   "temperature":0.4,
   "top_p":1,
   "n":1,
   "stop":"\n",
   "stream":false
}

Sohbet örneği (üçüncü kullanıcı yanıtı içeren dördüncü istek)

{
  "model": "jamba-instruct",
  "messages": [
     {"role": "system",
      "content": "You are a helpful genie just released from a bottle. You start the conversation with 'Thank you for freeing me! I grant you one wish.'"},
     {"role":"user",
      "content":"I want a new car"},
     {"role":"assistant",
      "content":"🚗 Great choice, I can definitely help you with that! Before I grant your wish, can you tell me what kind of car you're looking for?"},
     {"role":"user",
      "content":"A corvette"},
     {"role":"assistant",
      "content":"Great choice! What color and year?"},
     {"role":"user",
      "content":"1963 black split window Corvette"}
  ],
  "n":3
}

Yanıt şeması

Yanıt, sonucun akışla aktarılıp aktarılmadığına biraz bağlıdır.

Akışsız bir sonuçta, tüm yanıtlar tek bir yanıtta birlikte teslim edilir ve bu da bir usage özellik içerir.

Akışı yapılan bir sonuçta,

  • Her yanıt alanında choices tek bir belirteç içerir.
  • choices Nesne yapısı farklıdır.
  • Yalnızca son yanıt bir usage nesnesi içerir.
  • Yanıtın tamamı bir data nesneye sarmalanır.
  • Son yanıt nesnesi şeklindedir data: [DONE].

Yanıt yükü, aşağıdaki alanlara sahip bir sözlüktür.

Anahtar Type Açıklama
id string İstek için benzersiz bir tanımlayıcı.
model string Kullanılan modelin adı.
choices list[object] Model tarafından oluşturulan yanıt metni. Akışsız yanıt için bu, öğeleri içeren n bir listedir. Akış yanıtı için, tek bir belirteç içeren tek bir nesnedir. Aşağıdaki nesne açıklamasına bakın.
usage object Tamamlanma isteği için kullanım istatistikleri. Ayrıntılar için aşağıya bakın.

Yanıt choices nesnesi model tarafından oluşturulan yanıtı içerir. Nesnesi aşağıdaki alanlara sahiptir:

Anahtar Type Açıklama
index integer İleti listesinde iletinin sıfır tabanlı dizini. Listedeki konuma karşılık gelebilir. Akışlı iletiler için bu her zaman sıfırdır.
message VEYA delta object Oluşturulan ileti (veya akış yanıtında belirteç). İstekte iki değişiklikle açıklandığı gibi aynı nesne türü:
- Akışsız yanıtta bu nesne olarak adlandırılır message.
- Akış yanıtında, olarak adlandırılır deltave ya da role içerir ancak ikisini de message içermez.
finish_reason string Modelin belirteç oluşturma işlemini durdurmasının nedeni:
- stop: Model doğal bir durdurma noktasına veya sağlanan bir durdurma dizisine ulaştı.
- length: En fazla belirteç sayısına ulaşıldı.
- content_filter: Oluşturulan yanıt, sorumlu bir yapay zeka ilkesini ihlal etti.
- null: Yalnızca akış. Akış yanıtında, son yanıt dışındaki tüm yanıtlar olacaktır null.

Yanıt message nesnesi model tarafından oluşturulan yanıtı içerir. Nesnesi aşağıdaki alanlara sahiptir:

Anahtar Type Açıklama
role string Bu iletinin yazarının rolü.
content string or null İletinin içeriği.
tool_calls array or null Araç, model tarafından oluşturulan çağrıları çağırır.

Yanıt tool_calls nesnesi model tarafından oluşturulan yanıtı içerir. Nesnesi aşağıdaki alanlara sahiptir:

Anahtar Type Açıklama
id string Araç çağrısının kimliği.
type string Aracın türü. Şu anda yalnızca function desteklenmektedir.
function object Modelin çağırdığını işlev.

Yanıt function nesnesi model tarafından oluşturulan yanıtı içerir. Nesnesi aşağıdaki alanlara sahiptir:

Anahtar Type Açıklama
name string Çağrılacak işlevin adı.
arguments string JSON biçiminde model tarafından oluşturulan işlevi çağırmak için bağımsız değişkenler.

Yanıt usage nesnesi aşağıdaki alanları içerir.

Anahtar Tür Değer
prompt_tokens integer İstemdeki belirteç sayısı. İstem belirteci sayısının, sistem tarafından modelin gerektirdiği şekilde istem listesini tek bir dizeye biçimlendirmek için ek belirteçler içerdiğini unutmayın. Ek belirteç sayısı genellikle iş parçacığındaki ileti sayısıyla orantılıdır ve görece küçük olmalıdır.
completion_tokens integer Tamamlanmada oluşturulan belirteçlerin sayısı.
total_tokens integer Toplam belirteç sayısı.

Akış dışı yanıt örneği

{
  "id":"cmpl-524c73beb8714d878e18c3b5abd09f2a",
  "choices":[
    {
      "index":0,
      "message":{
        "role":"assistant",
        "content":"The human nose can detect over 1 trillion different scents, making it one of the most sensitive smell organs in the animal kingdom."
      },
      "finishReason":"stop"
    }
  ],
  "created": 1717487036,
  "usage":{
    "promptTokens":116,
    "completionTokens":30,
    "totalTokens":146
  }
}

Akış yanıtı örneği

data: {"id": "cmpl-8e8b2f6556f94714b0cd5cfe3eeb45fc", "choices": [{"index": 0, "delta": {"role": "assistant"}, "created": 1717487336, "finish_reason": null}]}
data: {"id": "cmpl-8e8b2f6556f94714b0cd5cfe3eeb45fc", "choices": [{"index": 0, "delta": {"content": ""}, "created": 1717487336, "finish_reason": null}]}
data: {"id": "cmpl-8e8b2f6556f94714b0cd5cfe3eeb45fc", "choices": [{"index": 0, "delta": {"content": " The"}, "created": 1717487336, "finish_reason": null}]}
data: {"id": "cmpl-8e8b2f6556f94714b0cd5cfe3eeb45fc", "choices": [{"index": 0, "delta": {"content": " first e"}, "created": 1717487336, "finish_reason": null}]}
data: {"id": "cmpl-8e8b2f6556f94714b0cd5cfe3eeb45fc", "choices": [{"index": 0, "delta": {"content": "mpe"}, "created": 1717487336, "finish_reason": null}]}
... 115 responses omitted for sanity ...
data: {"id": "cmpl-8e8b2f6556f94714b0cd5cfe3eeb45fc", "choices": [{"index": 0, "delta": {"content": "me"}, "created": 1717487336, "finish_reason": null}]}
data: {"id": "cmpl-8e8b2f6556f94714b0cd5cfe3eeb45fc", "choices": [{"index": 0, "delta": {"content": "."}, "created": 1717487336,"finish_reason": "stop"}], "usage": {"prompt_tokens": 107, "completion_tokens": 121, "total_tokens": 228}}
data: [DONE]

Maliyet ve kotalar

Sunucusuz API olarak dağıtılan Jamba ailesi modelleri için maliyet ve kota konuları

Jamba ailesi modelleri sunucusuz API olarak dağıtılır ve AI21 tarafından Azure Market aracılığıyla sunulur ve kullanım için Azure AI Studio ile tümleştirilir. Modelleri dağıtırken veya ince ayar yaparken Azure Market fiyatlandırmasını bulabilirsiniz.

Bir çalışma alanı Azure Market'ten belirli bir model teklifine her abone olduğunda tüketimiyle ilişkili maliyetleri izlemek için yeni bir kaynak oluşturulur. Çıkarımla veya ince ayar yapmayla ilişkili maliyetleri izlemek için aynı kaynak kullanılır ancak, her senaryoda bağımsız izleme için birden çok metre kullanılabilir.

Maliyetlerin nasıl izleneceği hakkında daha fazla bilgi için Azure Market aracılığıyla sunulan modellerin maliyetlerini izleme bölümüne bakın.

Kota dağıtım başına yönetilir. Her dağıtımın dakikada 200.000 belirteç ve dakikada 1.000 API isteği hız sınırı vardır. Ancak şu anda proje başına model başına bir dağıtımla sınırlandırıyoruz. Geçerli hız sınırları senaryolarınız için yeterli değilse Microsoft Azure Desteği'ne başvurun.

İçerik filtrelemesi

Sunucusuz API olarak dağıtılan modeller Azure AI içerik güvenliği tarafından korunur. Azure AI içerik güvenliği etkinleştirildiğinde, hem istem hem de tamamlama, zararlı içeriğin çıkışını algılamayı ve önlemeyi hedefleyen sınıflandırma modellerinden oluşan bir topluluk aracılığıyla geçer. İçerik filtreleme (önizleme) sistemi, hem giriş istemlerinde hem de çıkış tamamlamalarında zararlı olabilecek içeriğin belirli kategorilerini algılar ve bu kategoriler üzerinde işlem gerçekleştirir. Azure AI İçerik Güvenliği hakkında daha fazla bilgi edinin.

İlgili içerik