AI Gateway katmanında modelleri ve araçları yönetin (önizleme)

UYGULANIR: AI Gateway seviyesi (önizleme)

Important

AI Gateway seviyesi şu anda halka açık önizleme aşamasında. Kamu önizleme sırasında, AI Gateway seviyesi aşağıdaki bölgelerde mevcuttur:

  • Birleşik Devletler - Doğu ABD 2
  • Avrupa - İsveç Orta

Uygulamaların ve ajanların çağırdığı modelleri ve araçları yönetmek için AI Gateway katmanı (önizleme) kullanın. Model istekleri için tek bir yönetilen uç nokta sağlamak üzere modelleri içe aktarın. Yönetilen Model Bağlam Protokolü (MCP) uç noktası üzerinden onaylanmış araçları açmak için MCP sunucuları ekleyin. Uygulamalar ve ajanlar, çalışma zamanı erişim anahtarlarıyla gateway'e kimlik doğrulama sağlar. Ağ geçidi, her model sağlayıcısı veya araç arka ucu için yapılandırdığınız arka uç kimlik doğrulamasını kullanır.

Prerequisites

  • Bir AI Gateway seviye örneği.
  • AI Gateway katmanı örneğini yönetme izni.
  • Eklemeyi planladığınız sağlayıcı modeline veya arka uça erişim.
  • Yönetilen kimlik arka uç kimlik doğrulaması için, arka uç kaynağında gerekli rolü atama izni.

Modelleri içeri aktarma

Model ekleme sihiratını kullanarak AI Gateway katmanını Microsoft Foundry, Azure OpenAI, AWS Bedrock, Google Vertex, OpenAI, Anthropic veya özel uç noktalarına bağlayın. Gateway, her modeli, arka uçunun desteklediği uç noktalarda, ön ek https://<gateway>.azure-api.net/default/modelsaltında hizmet verir. Bir sonraki yol segmenti sağlayıcı API formatıdır. Örneğin, OpenAI ile uyumlu modeller .../default/models/openai/v1 adresinde sunulur (örneğin /chat/completions ve /responses), Anthropic modeller ise .../default/models/anthropic/v1/messages adresinde sunulur. Büyücünün ihtiyaç duyduğu bağlantı alanları sağlayıcıya göre değişir.

Modeliniz Microsoft Foundry kaynağında çalışırken Foundry'den İtiştir'i seçin; bu kaynak Azure OpenAI ve Azure AI Services dağıtımlarını içerir — sihirbaz, kaynağın dağıtımlarını otomatik olarak keşfeder. AWS Bedrock, Google Vertex, OpenAI, Anthropic veya desteklenen diğer uç noktalar için özel bir model ekle seçeneğini seçin; burada uç noktayı ve model adlarını kendiniz giriyorsunuz.

Sağlayıcı Microsoft Entra ID arka uç doğrulamasını desteklediğinde, örneğin Microsoft Foundry gibi yönetilen kimlik kullanın. Gateway kimliğine, aktarmadan önce arka uç kaynağında gerekli rolü verin. Aksi takdirde, aktarma sırasında sağlayıcının API anahtarını veya gizli bilgilerini verin. Gateway, kimlik bilgilerini saklar ve korur.

Çağıranlar, modele model alanında model adını kullanarak başvurur:

{
  "model": "gpt-5.6-sol",
  "messages": [
    {
      "role": "user",
      "content": "Summarize the incident report."
    }
  ]
}

model değeri, içe aktarılan modele verilen model adıdır.

Note

Şu anda, gateway'deki her model adı tüm sağlayıcılar arasında benzersiz olmalıdır. Ağ geçidi, her isteği model değeriyle tam eşleşmeye göre yönlendirir.

Modelleri eklemek için Modeller sayfasını açın ve Modelleri ekle'yi seçin. Nasıl bağlanmak istediğinizi seçin.

Microsoft Foundry'den aktarma

  1. Foundry'den İçe Aktar'ı seçin.
  2. Select kaynağında, abonelik ve Foundry kaynağını seçin. Sihirbaz, o kaynaktaki model dağıtımlarını listeler.
  3. Sağlayıcı detaylarına sağlayıcı adı ve görüntü adı girin, isteğe bağlı bir açıklama ekleyin ve kimlik doğrulama yöntemini seçin - Yönetilen kimlik (önerilir, mevcut olduğunda) veya Anahtar tabanlı.
  4. Oluştur'i seçin. Gateway, kaynağın dağıtımlarını, istemcilerin adlarıyla talep ettiği modeller olarak içe aktarır.

Note

Yönetilen kimlik kullanmak için, gateway'in zaten yönetilen bir kimliği yapılandırılmış olması ve Foundry kaynağında Foundry Kullanıcı rolünü bu kimliğe atama izninizin olması gerekir. Yeterli izniniz olduğunda, import sihirbazı rolü sizin için atar.

Özel model ekleme

  1. Özel model ekle'yi seçin.
  2. Sağlayıcı bölümünde bir görüntü isim, sağlayıcı adı ve isteğe bağlı bir açıklama girin.
  3. Endpoint'te, temel uç nokta URL'sini, kimlik doğrulama başlığı adını (örneğin, Authorization), ve API anahtarını girin.
  4. Modellerde, her model adını girin ve desteklenen uç noktalarını seçin - OpenAI sohbet tamamlamaları, OpenAI yanıtları, Anthropic mesajlar veya Diğer. Her tanımladığınız model için Model ekle seçeneğini seçin.
  5. Oluştur'i seçin.

Ayrı bir doğrulama adımı yok. Gateway, sağlayıcıyı oluşturduğunuzda bağlantıyı kurar. Bir model ekledikten sonra, kimlik doğrulamasını veya politikalarını güncelleyebilir veya artık gerekmediğinde kaldırabilirsiniz.

Model eklendikten sonra, gateway uç noktası üzerinden bir test talebi gönderin:

curl "https://<gateway>.azure-api.net/default/models/openai/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -H "api-key: <runtime-access-key>" \
  -d '{
    "model": "gpt-5.6-sol",
    "messages": [
      { "role": "user", "content": "Write a one-sentence status update." }
    ]
  }'

Henüz bir çalışma zamanı erişim anahtarı oluşturmadıysanız, Anahtarlar sayfasından bir tane oluşturun. Uygulamalar için doğrudan sağlayıcı kimlik bilgileri gerekmez. Model adına göre talep hacmı, gecikme, token kullanımı ve hataları incelemek için izleme görünümlerini kullanın.

Anthropic Messages API doğrudan iletimi

Farklı sağlayıcılar farklı API formatlarını sunar ve gateway her birine kendi yolunda hizmet verir./default/models Anthropic modeller, geçiş modunda Anthropic Messages API'sini kullanır: gateway, yerel Anthropic Mesajlar isteği ve yanıt formatını korur ve çağrıları Anthropic'e iletir./default/models/anthropic/v1/messages Uygulamalar zaten Anthropic SDK veya /v1/messages. kullanıyorsa kullanın.

Bir Anthropic modeli eklemek için Modeller ekle>Özel model ekle seçeneğini kullanın:

  1. Provider'de, Anthropic için bir gösterim adı ve sağlayıcı adı girin.
  2. Endpoint üzerinde, temel uç nokta URL'sini https://api.anthropic.com, kimlik doğrulama başlığı adını , x-api-keyolarak ayarlayın ve Anthropic API anahtarını girin. Gateway anahtarı saklar ve arka uç çağrılarında enjekte eder.
  3. Modellerde, arayanların gönderdiği Anthropic model adını (örneğinclaude-fable-5), girin ve Anthropic mesajlarının uç noktasını seçin.
  4. Oluştur'i seçin. Ağ geçidi, Anthropic Messages aktarımını /default/models/anthropic/v1/messages adresinde sunar.

İstemciler ağ geçidi yolunu çağırır. Gateway kimlik bilgilerini saklar, arka uçu x-api-keyenjekte eder ve arayanın anthropic-version başlığını Anthropic'e iletir.

curl -X POST "https://<gateway>.azure-api.net/default/models/anthropic/v1/messages" \
  -H "Content-Type: application/json" \
  -H "anthropic-version: 2023-06-01" \
  -H "api-key: <runtime-access-key>" \
  -d '{"model":"claude-fable-5","max_tokens":256,"messages":[{"role":"user","content":"Write a product description for a trail running backpack."}]}'

Anthropic Python SDK, base_url geçit yoluna yönlendirdiğinizde çalışır. Varsayılan olarak, standart SDK kimlik bilgisini x-api-key başlığında gönderir; bu nedenle ağ geçidi çalışma zamanı erişim anahtarını api-key kullanarak default_headers başlığında iletin. api_key="unused" değeri yalnızca SDK’nin gerektirdiği bağımsız değişkeni karşılar; ağ geçidi bunu yok sayar ve depolanan arka uç Anthropic anahtarını ekler. model değerini Anthropic model adına ayarlayın.

from anthropic import Anthropic

client = Anthropic(api_key="unused", base_url="https://<gateway>.azure-api.net/default/models/anthropic", default_headers={"api-key": "<runtime-access-key>"})
message = client.messages.create(model="claude-fable-5", max_tokens=256, messages=[{"role":"user","content":"Hello"}])
print(message.content[0].text)

Üretim öncesinde zaman aşımlarını ve yanıt işleme işlemlerini doğrulayın, özellikle politikalar kurumları inceliyorsa.

MCP sunucuları ekleme

AI Gateway katmanı, platform ekiplerinin MCP sunucularını tek yönetilen MCP uç noktasının arkasında yayınlamasını sağlar. Yapılandırma iş akışı şudur: bir MCP sunucusu oluşturun, bir veya daha fazla backend ekleyin ve seçilmiş arka uç yeteneklerini araç olarak ortaya çıkarın. Tek bir MCP sunucusu, üç tür arka uçu birleştirebilir: uzak MCP sunucuları (URL üzerine), OpenAPI spesifikasyonundan oluşturulan araçlar ve yaygın SaaS uygulamaları için yerleşik bağlayıcılar (barındıracak sunucu olmadan 1.000'den fazla önceden oluşturulmuş entegrasyon).

Ajanların iş sistemlerini, geliştirici araçlarını, bilgi depolarını veya dahili API'leri çağırması gerektiğinde MCP sunucularını kullanın. Ajanlar gateway'e bir kez kimlik doğrulaması yapar ve her arka uç için ayrı kimlik bilgilerine ihtiyaç duymazlar. Her arka uç için, gateway'in ona nasıl kimlik doğrulama yapacağını seçersiniz: Hiç, API Anahtarı, OAuth 2.0 veya Yönetilen kimlik.

Tek bir MCP sunucusu, bir veya daha fazla backend'i federasyona alır. Her arka uç çeşitli araçlar sağlar ve ağ geçidi, farklı arka uçlardan gelen aynı adlı araçların çakışmaması için her arka ucun araçlarına arka uç adını kullanarak bir ad alanı ekler. Örneğin, create_issue adlı bir arka uçtan gelen github aracı, başka bir arka uçtaki github aracından farklı olarak, ajanlara create_issue ad alanı altında sunulur.

Sunucu türü Şu durumlarda kullanın: Veri Girişi Gateway sonucu
MCP sunucusu Zaten uzak bir MCP uç noktası barındırıyorsunuz MCP uç nokta URL’si (SSE veya akışa uygun HTTP) Uzak sunucunun araçları, yönetilen uç nokta üzerinden federe edilmiştir
OpenAPI spesifikasyonu Ajanların araç olarak çağırması gereken bir REST API'niz var OpenAPI belgesi (yükleme, URL veya iç yapıştırma) Seçtiğiniz işlemlerden oluşturulan MCP araçları
Yerleşik bağlayıcı Sunucu barındırmadan ortak bir SaaS uygulamasına ihtiyacınız var Konnektör seçimi ve bağlantı kurulumu Bağlayıcının MCP araçları olarak sunulan eylemleri

Her kaynak farklı araçlar sunar:

  • MCP sunucusu — zaten barındırdığınız uzak bir MCP uç noktasından araçları federasyona alır.
  • OpenAPI spec — seçtiğiniz API işlemlerini araçlara dönüştürür; işlemin özeti veya açıklaması araç tanımı olur.
  • Yerleşik bağlantı — Office 365, SharePoint, GitHub veya Salesforce gibi bir SaaS uygulamasına yönetilen bağlantı kullanır. OAuth konnektörleri, bağlantıyı kurduğunuzda onay ister.

Note

Kamu önizleme sırasında, desteklenen ulaşımlar, barındırma seçenekleri ve sınırlar bölgeye göre değişebilir. Üretim trafiğini taşımadan önce aboneliğinizin önizleme kayıt detaylarını kontrol edin.

MCP sunucusu oluşturmak için:

  1. AI Gateway seviye portalında MCP sunucularını seçin.
  2. MCP sunucusunu ekle seçeneğini seçin.
  3. Source üzerinde başlatmak için bir arka uç türü seçin: MCP sunucusu, OpenAPI spec veya Built-in connector. Daha sonra daha fazla backend ekleyebilirsiniz.
  4. Arka uca benzersiz bir ad verin. Ağ geçidi, birleşik MCP sunucusunda arka ucun araçlarına adını önek olarak ekler.
  5. Arka uçu yapılandırın ve gateway'in ona nasıl kimlik doğrulamasını seçin: Hiç, API Anahtarı, OAuth 2.0 veya Yönetilen kimlik. API Anahtarı için, başlık adını ve değerini girin; Değerler dururken şifrelenir.
  6. Aynı uç noktanın arkasında daha fazla servisi federasyona etmek için başka bir arka uç ekleyin ve tekrarlayın.
  7. Onayla, sonra Oluştur seçeneğini seçin.

Ayrı bir bağlantı testi adımı yok. Gateway, sunucuyu oluşturduğunuzda her arka uçu kurup kontrol eder.

Gateway, tüm seçilmiş arka uçları federasyonlayan tek bir MCP uç noktası oluşturur. İstemciler, yönetilen uç noktayı çağırır ve çalışma zamanı erişim anahtarı ile kimlik doğrulamasını sağlar.

Note

OAuth 2.0 arka uç doğrulaması (önizleme sınırlaması). OAuth 2.0 kullanan bir arka uç için, ağ geçidinin bu arka uca erişmesine yetki vermek amacıyla etkileşimli bir oturum açma işlemini tamamlarsınız. Ağ geçidi, doğrulanmış yetkilendirme durumunu portala bildirmez; bu nedenle, oturum açma penceresi işlemin tamamlandığını onayladıktan sonra, istendiğinde sonucu portalda onaylayın. Arka uç için gösterilen durum kendi kendine bildiriliyor—arka uç araçlarının MCP sunucusunda göründüğünü doğrulayın ve görünmüyorsa tekrar giriş yapmak için yeniden bağlanın.

Ajanlar MCP sunucusunu şu adresten arar:

https://<gateway>.azure-api.net/default/toolservers/<server-name>/mcp

Çalışma zamanı erişim anahtarını api-key üst bilgisinde gönderin. MCP uyumlu herhangi bir istemci veya ajan çerçevesini bu URL'ye yönlendirin. Örneğin, JSON-RPC tools/list talebiyle mevcut araçları listeleyin:

curl "https://<gateway>.azure-api.net/default/toolservers/<server-name>/mcp" \
  -H "Content-Type: application/json" \
  -H "api-key: <runtime-access-key>" \
  -d '{ "jsonrpc": "2.0", "id": 1, "method": "tools/list" }'

Bir sistemde REST API'si var ama MCP sunucusu yoksa, OpenAPI tanımını içe aktarın. Araç olarak sunulacak işlemleri seçin, araç isimlerini ve açıklamalarını düzenleyin, desteklenen bir arka uç kimlik doğrulama yöntemini yapılandırın ve MCP varlığını oluşturun. Gateway aracı REST işlemlerine çağrılar yapar.

MCP sunucuları için gateway'i kullanarak şunları merkezileştirmek için:

  • Keşif — geliştiriciler ve ajanlar için onaylı MCP sunucularından oluşan tek bir kataloğu sağlamak.
  • Kimlik doğrulama — istemciler gateway'e kimlik doğrulama yapar. Gateway arka uç kimlik bilgilerini saklar, bu yüzden istemci yapılandırması yukarı akış sırları içermez.
  • Araç görünürlüğü — her sunucunun hangi arka uç işlemlerini araç olarak yayınlayacağını seçin. Önizlemede, her çalışma zamanı erişim anahtarı ağ geçidindeki tüm yayımlanmış varlıkları çağırabilir.
  • Gözlemlenebilirlik — gateway, model trafiği için OpenTelemetry (OTLP) token kullanım metrikleri yayımlar; bunları Application Insights veya başka bir OTLP hedefine gönderebilirsiniz. Application Insights kullandığınızda, portalda MCP aracı trafiğinin izlenmesi (istek hacmi, gecikme ve hatalar) kullanılabilir; MCP aracı trafiği için OpenTelemetry (OTLP) dışa aktarma özelliği henüz mevcut değildir.
  • Yönetişim — modellerde kullandığınız MCP trafiğine uyguladığınız aynı politikaları uygulayın; örneğin tarif sınırları ve içerik güvenliği.

Sunucu oluşturduktan sonra, paylaşmadan önce çalışma zamanı erişimini yapılandırın. İçerik güvenliği, IP filtreleri ve token ile talep oranı sınırları gibi politikalar ekleyin; bunlar gateway veya belirli yayımlanmış varlıklara göre belirlenmiştir.

İlgili içerik

  • Last updated on