Birleşik model API'si oluşturma ve yönetme

ŞUNLAR IÇIN GEÇERLIDIR: Geliştirici | Temel | Temel v2 | Standart | Standart v2 | Premium | Premium v2

İstemciye yönelik tek bir uç nokta aracılığıyla birden çok LLM arka ucu kullanıma açmak için Azure API Management'de birleştirilmiş model API'sini oluşturabilirsiniz. İstemci uygulamaları tanıdık bir API biçimi (OpenAI Sohbet Tamamlamaları API'si) kullanırken, API Management OpenAI Sohbet Tamamlamaları API'sini veya Anthropic İletileri API'sini kullanarak istekleri otomatik olarak arka uç modellerine çevirir.

Note

Birleştirilmiş model API'si önizleme aşamasındadır ve şu anda müşterilere dağıtılmaktadır. Klasik katmanlarda bu özelliğe erken erişim , AI Gateway Erken sürüm kanalı üzerinden sağlanır.

Model erişimini tek bir API katmanının arkasında merkezileştirerek şunları yapabilirsiniz:

  • İstemciler için, arka uç modellerinin kullandığı biçimlerden bağımsız, tek bir API biçimini standart olarak kullanın.
  • Model sağlayıcıları genelinde ilkelerle gözlemlenebilirliği, güvenliği ve idareyi birleştirin.
  • Model sağlayıcıları arasında model yük devretmesini yapılandırın.
  • İstemciye yönelik model adlarını takma adlar kullanarak arka uç model adlarından ayırın.

API Management'ta yapay zeka API'lerini yönetme hakkında daha fazla bilgi edinmek için bkz. Azure API Management'da AI ağ geçidi özellikleri.

Desteklenen arka uçlar

Birleşik model API'si aşağıdaki arka uç API biçimlerini destekler:

  • OpenAI Sohbet Tamamlamaları API'si
  • Antropik İletiler API'si

Prerequisites

Birleşik model API'si oluşturma - Azure portalı

API Management'ta birleşik model API'sini oluşturmak için aşağıdaki adımları kullanın.

API'yi oluşturduğunuzda API Management şunları otomatik olarak yapılandırıyor:

  • /models Tüm yapılandırılmış modelleri listeleyen model bulma uç noktası.
  • OpenAI Chat Completions biçimindeki istekleri kabul eden, /llm/v1/chat/completions gibi tek bir yönlendirme uç noktası.
  • Eklediğiniz her arka uç modeli için çeviri mantığını biçimlendirin.
  • İstekleri doğru sağlayıcı uç noktasına yönlendiren arka uç kaynakları.

Birleşik model API'sini oluşturmak için:

  1. Azure portalında API Management örneğine gidin.

  2. Kenar çubuğu menüsünde, API'ler altında Modeller>+Birleşik model> seçin.

    Azure portalındaki birleşik model API'si kutucuğunun ekran görüntüsü.

  3. Birleşik Model API'sini Yapılandır sekmesinde:

    1. API için bir Görünen ad girin. API Management, görünen ada göre otomatik olarak bir API Adı oluşturur, ancak isterseniz düzenleyebilirsiniz.
    2. API yolu alanına istemcilerin API'yi çağırmak için kullandığı yolu girin. Varsayılan değer /llm/v1 olup, bu da /llm/v1/chat/completions konumunda bir sohbet tamamlama uç noktası ile sonuçlanır.
    3. İsteğe bağlı olarak API ile ilişkilendirilecek bir veya daha fazla Ürün seçin.
    4. sonrakiseçin.

  4. Modelleri yapılandır sekmesinde + Ekle'yi seçerek Model ekle bölmesini açın ve her model dağıtımı için aşağıdaki ayarları yapılandırın:

    1. Arka uç yapılandırması altında:

      • Model'de arka uç modeli adını girin (örneğin, gpt-4o veya claude-sonnet-4.6).
      • API biçimindeOpenAI Sohbet Tamamlamaları API veya Anthropic İletiler API gibi arka uç modelinin beklediği biçimi seçin.
      • URL alanına arka uç uç nokta URL'sini girin; örneğin Foundry'deki bir model dağıtımının URL'sini veya diğer sağlayıcılar için sağlayıcının API uç noktası URL'sini.

    2. Yetkilendirme kimlik bilgileri'nin altında API Management'ın arka uçta kimlik doğrulamasını seçin:

      • Üst bilgiler: Bir Üst Bilgi adı (örneğin, api-key veya Authorization) ve karşılık gelen Üst Bilgi değerini (API anahtarınız veya gizli anahtarınız) girin.
      • Yönetilen Kimlik: Azure'daki model dağıtımları için, arka uçta kimlik doğrulaması yapmak için örneğin sistem tarafından atanan yönetilen kimliğini veya kullanıcı tarafından atanan yönetilen kimliği kullanabilirsiniz.

      Yönetilen kimlik ayarlarının açıklaması için authentication-managed-identity ilkesinin başvurusuna bakın.

    Portalda model ayarları eklemek için Model ekle bölmesinin ekran görüntüsü.

  5. Belirteç tüketimini yönet sekmesinde, isteğe bağlı olarak belirteç kullanımını izlemek ve yönetmek için aşağıdaki ilkeleri yapılandırın:

  6. Yapay zeka içerik güvenliğini ayarlama sekmesinde, isteğe bağlı olarak Azure Yapay Zeka İçerik Güvenliği hizmetini güvenli olmayan içeriğe sahip istemleri engelleyecek şekilde yapılandırın:

  7. Gözden geçir + oluştur'u seçin, ardından oluştur'u seçin.

Model takma adlarını yönet

Model takma adları, istemcilere bir modeli çağırırken kullanabilecekleri sabit, sağlayıcıdan bağımsız bir ad sağlar. gpt veya claude-sonnet gibi bir takma ad tanımlayarak, istemciye yönelik model adını arka uçtaki gerçek dağıtımdan ayırırsınız. Bir modeli yükseltirken veya A/B testi çalıştırmak istediğinizde, istemci kodunda herhangi bir değişiklik yapmadan diğer ad hedefini güncelleştirebilirsiniz.

Model takma adını güncelleyin veya ekleyin

Birleşik model API’sini oluşturduktan sonra model takma adını güncellemek için:

  1. Azure portalında API Management örneğine gidin ve ardından APIs öğesini seçin.
  2. Birleşik model API'sini seçin.
  3. Model diğer adını güncelleştirmek veya eklemek için Modeller sekmesini seçin.
    • Müşteriye yönelik diğer adı güncellemek için, güncellemek istediğiniz diğer adı seçin ve ardından arka uç modelini belirtmek üzere Arka Uç yapılandırmasını güncelleyin. Yeni arka uç için Yetkilendirme kimlik bilgilerini ekleyin.
    • Yeni model eklemek için + Ekle'yi seçin ve önceki bölümde açıklandığı gibi arka uç, yetkilendirme ve istemci ayarlarını yapılandırın.
  4. Kaydetseçeneğini seçin.

Model takma adlarını keşfedin

Geliştiriciler, birleştirilmiş model API'sinin /models uç noktasını çağırarak kullanılabilir modelleri ve diğer adlarını bulabilir. API Management, istemciye yönelik diğer adlarıyla modellerin listesini döndürür.

api'yi bir istemci uygulamasından çağırma

İstemci uygulamaları OpenAI uyumlu herhangi bir SDK kullanarak birleşik model API'sini çağırabilir. SDK'nın temel URL'sini API Management uç noktanıza işaret edin ve kimlik doğrulaması için bir API Management abonelik anahtarı veya desteklenen başka bir kimlik doğrulama yöntemi kullanın.

Aşağıdaki örnek, Python OpenAI SDK'sını kullanır ve kimlik doğrulaması için üst bilgisinde bir API Management abonelik anahtarı iletir. İstek gövdesi, API Management'ta yapılandırılmış istemcinin kullandığı bir model takma adını belirtir; örneğin, gpt veya claude-sonnet.:

from openai import OpenAI

client = OpenAI(
    base_url="https://<apim-instance>.azure-api.net/llm/v1",
    api_key="<api-management-subscription-key>",
)

# Specify the client-facing model alias
response = client.chat.completions.create(
    model="gpt",  # or "claude-sonnet", "gemini", or any other configured alias
    messages=[{"role": "user", "content": "What can you do?"}],
)
print(response.choices[0].message.content)

Farklı bir arka uç modeline geçmek için yalnızca model değeri değiştirin. Başka kod değişikliği gerekmez.

İlgili içerik

  • Last updated on