Dil modeli API'sini içeri aktarma

UYGULANANLAR: Tüm API Management katmanları

OpenAI uyumlu dil modeli uç noktalarını API Management örneğine aktarabilir veya uyumlu olmayan modelleri geçiş API'leri olarak içeri aktarabilirsiniz. Örneğin, kendi kendine barındırılan LLM'leri veya Foundry Tools dışındaki diğer çıkarım sağlayıcılarında barındırılanları yönetin. Tümleştirmeyi basitleştirmek, gözlemlenebilirliği geliştirmek ve model uç noktaları üzerinde denetimi geliştirmek için yapay zeka ağ geçidi ilkelerini ve diğer API Management özelliklerini kullanın.

API Management'ta yapay zeka API'lerini yönetme hakkında daha fazla bilgi edinin:

• Azure API Yönetimi'nde AI ağ geçidi yetenekleri

Dil modeli API türleri

API Management iki dil modeli API türünü destekler. İstemcilerin API'yi nasıl çağırdığını ve isteklerin yapay zeka hizmetine nasıl yönlendirildiğini belirleyen model dağıtımınızla eşleşen seçeneği belirtin.

• OpenAI uyumlu - OpenAI'nin API'siyle uyumlu dil modeli uç noktaları. Örnekler arasında Hugging Face Text Generation Inference (TGI) ve Google Gemini API yer alır.

  API Management, sohbet tamamlama uç noktasını yapılandırıyor.

• Geçiş - Dil modeli uç noktaları OpenAI'nin API'siyle uyumlu değildir. Örnek olarak Amazon Bedrock'ta veya diğer sağlayıcılarda dağıtılan modeller verilebilir.

  API Management, yaygın HTTP fiilleri için joker karakter işlemlerini yapılandırıyor. İstemciler joker karakter işlemlerine yol ekleyebilir ve API Management istekleri arka uçtan geçirir.

Önkoşullar

• Mevcut bir API Management örneği. Henüz oluşturmadıysanız bir tane oluşturun.
• API uç noktası ile kendi sunucularında barındırılan veya Azure tarafından sağlanmayan bir dil modeli dağıtımı.

Portalı kullanarak dil modeli API'sini içeri aktarma

LLM API'si içeri aktarıldığında otomatik olarak yapılandırılır.

• İstekleri LLM uç noktasına yönlendiren bir arka uç kaynağı ve set-backend-service ilkesi.
• Erişim anahtarı kullanarak (isteğe bağlı olarak) erişim ( gizli bir adlandırılmış değer olarak korunur).
• (isteğe bağlı olarak) API'yi izlemek ve yönetmek için ilkeler.

Dil modeli API'sini içeri aktarmak için:

1. Azure portalında API Management örneğine gidin.

2. Soldaki menüde, API'ler'in altında API'ler>+ API Ekle'yi seçin.

3. Yeni API tanımla'nın altında Dil Modeli API'sini seçin.

   

4. API'yi Yapılandır sekmesinde:

   1. Görünen ad ve Açıklama girin (isteğe bağlı).
   2. LLM API URL'sini girin.
   3. API ile ilişkilendirilecek bir veya daha fazla Ürün seçin (isteğe bağlı).
   4. Yol'da, LLM API'sine erişmek için yolu ekleyin.
   5. OpenAI API'si Oluştur veya Geçiş API'si oluştur'u seçin. Bkz . Dil modeli API türleri.
   6. Yetkilendirme üst bilgisi adını ve API anahtarını girin (gerekirse).
   7. sonrakiseçin.

   

5. Belirteç tüketimini yönet sekmesinde, ayarları girin veya aşağıdaki ilkeler için varsayılanları kabul edin:

   • Belirteç tüketimini yönetme
   • Belirteç kullanımını izleme

6. Semantik önbelleğe alma uygula sekmesinde, performansı iyileştirmek ve gecikme süresini azaltmak için ilkenin ayarlarını girin veya varsayılanları kabul edin:

   • Yanıtların semantik önbelleğe alınmasını etkinleştirme

7. AI içerik güvenliği sekmesinde ayarları girin veya Azure AI Content Safety güvenli olmayan içeriği engelleyecek şekilde yapılandırmak için varsayılanları kabul edin:

   • LLM isteklerinde içerik güvenliği denetimlerini zorunlu kılma

8. İncele'yi seçin.

9. Doğrulamadan sonra Oluştur'u seçin.

API Management, API'yi oluşturur ve LLM uç noktaları için işlemleri yapılandırmaktadır. Varsayılan olarak, API bir API Management aboneliği gerektirir.

LLM API'sini test edin

Test konsolunda LLM API'nizi doğrulayın.

1. Oluşturduğunuz API'yi seçin.

2. Test sekmesini seçin.

3. Model dağıtımıyla uyumlu bir işlem seçin. Parametreler ve üst bilgiler için alanlar görüntülenir.

4. Parametreleri ve üst bilgileri girin. İşleme bağlı olarak, bir İstek gövdesini gerektiği gibi yapılandırın veya güncelleştirin.

   Uyarı

   Test konsolu, her API'ye erişim sağlayan bir Ocp-Apim-Subscription-Key üst bilgisini (yerleşik tüm erişim aboneliğini kullanarak) otomatik olarak ekler. Görüntülemek için HTTP İsteği'nin yanındaki "göz" simgesini seçin.

5. Gönder'i seçin.

   Test başarılı olduğunda arka uç, dil modeli tüketimini izlemek için belirteç kullanım ölçümleri de dahil olmak üzere verileri döndürür.

İlgili içerik

• Azure API Yönetimi'nde AI ağ geçidi yetenekleri