Aracılığıyla paylaş

OpenAI uyumlu dil modeli API'sini içeri aktarma

UYGULANANLAR: Tüm API Management katmanları

OpenAI uyumlu dil modeli uç noktalarını API'ler olarak API Management örneğine aktarabilirsiniz. Örneğin, kendi kendine barındırdığınız veya Azure AI hizmetleri dışında bir çıkarım sağlayıcısında barındırılan bir LLM'yi yönetmek isteyebilirsiniz. Tümleştirmeyi basitleştirmek, gözlemlenebilirliği geliştirmek ve model uç noktaları üzerinde denetimi geliştirmek için API Management'taki yapay zeka ağ geçidi ilkelerini ve diğer özellikleri kullanın.

API Management'ta yapay zeka API'lerini yönetme hakkında daha fazla bilgi edinin:

Dil modeli API türleri

API Management, bu senaryo için iki tür dil modeli API'sini destekler. Model dağıtımınız için uygun seçeneği belirleyin. seçeneği, istemcilerin API'yi nasıl çağırdığını ve API Management örneğinin istekleri yapay zeka hizmetine nasıl yönlendirdiğini belirler.

  • OpenAI uyumlu - OpenAI'nin API'siyle uyumlu dil modeli uç noktaları. Örnek olarak, Hugging Face Metin Oluşturma Çıkarımı (TGI) gibi çıkarım hizmeti sağlayıcıları tarafından sunulan bazı modeller tercih edilebilir.

    API Management, OpenAI uyumlu bir sohbet tamamlama uç noktası yapılandırıyor.

  • Geçiş - OpenAI'nin API'siyle uyumlu olmayan diğer dil modeli uç noktaları. Örnek olarak Amazon Bedrock'ta veya diğer sağlayıcılarda dağıtılan modeller verilebilir.

    API Management, yaygın HTTP fiilleri için joker karakter işlemlerini yapılandırıyor. İstemciler joker karakter işlemlerine yol ekleyebilir ve API Management istekleri arka uca iletir.

Önkoşullar

  • Mevcut bir API Management örneği. Henüz oluşturmadıysanız bir tane oluşturun.
  • API uç noktasıyla kendi barındırılan veya Azure dışı sağlanan bir dil modeli dağıtımı.

Portalı kullanarak dil modeli API'sini içeri aktarma

Dil modeli API'sini API Management'a aktarmak için:

  1. Azure portalında API Management örneğine gidin.

  2. Soldaki menüde, API'ler'in altında API'ler>+ API Ekle'yi seçin.

  3. Yeni API tanımla'nın altında Dil Modeli API'sini seçin.

    Portalda OpenAI uyumlu bir API oluşturma işleminin ekran görüntüsü.

  4. API'yi Yapılandır sekmesinde:

    1. API için bir Görünen ad ve isteğe bağlı bir açıklama girin.
    2. LLM API uç noktasının URL'sini girin.
    3. İsteğe bağlı olarak API ile ilişkilendirilecek bir veya daha fazla Ürün seçin.
    4. Path bölümüne, API Management instance'ınızın LLM API uç noktalarına erişmek için kullandığı bir yol ekleyin.
    5. Tür bölümünde OpenAI API'si Oluştur'u veya Geçiş API'si oluştur'u seçin. Daha fazla bilgi için bkz. Dil modeli API türleri .
    6. Erişim anahtarı alanına, gerekirse LLM API'sine erişmek için kullanılan yetkilendirme üst bilgisi adını ve API anahtarını girin.
    7. sonrakiseçin.

    Portalda dil modeli API yapılandırmasının ekran görüntüsü.

  5. Belirteç tüketimini yönet sekmesinde, API'yi izlemeye ve yönetmeye yardımcı olmak için isteğe bağlı olarak ayarları girin veya aşağıdaki ilkeleri tanımlayan varsayılanları kabul edin:

  6. Anlamsal önbelleğe alma uygula sekmesinde, isteğe bağlı olarak ayarları girin veya API'nin performansını iyileştirmeye ve gecikme süresini azaltmaya yardımcı olacak ilkeleri tanımlayan varsayılanları kabul edin:

  7. Yapay zeka içerik güvenliğinde, isteğe bağlı olarak ayarları girin veya Azure AI İçerik Güvenliği hizmetini güvenli olmayan içeriğe sahip istemleri engelleyecek şekilde yapılandırmak için varsayılanları kabul edin:

  8. İncele'yi seçin.

  9. Ayarlar doğrulandıktan sonra Oluştur'u seçin.

LLM API'sini test edin

LLM API'nizin beklendiği gibi çalıştığından emin olmak için API Management test konsolunda test edin.

  1. Önceki adımda oluşturduğunuz API’yi seçin.

  2. Test sekmesini seçin.

  3. Model dağıtımıyla uyumlu bir işlem seçin. Sayfada parametreler ve üst bilgiler için alanlar görüntülenir.

  4. Gerektiğinde parametreleri ve üst bilgileri girin. İşleme bağlı olarak, bir İstek gövdesini yapılandırmanız veya güncelleştirmeniz gerekebilir.

    Uyarı

    Test konsolunda, API Management otomatik olarak bir Ocp-Apim-Subscription-Key üst bilgisini doldurur ve yerleşik tüm erişimli aboneliğin abonelik anahtarını yapılandırır. Bu anahtar, API Management örneğindeki her API'ye erişim sağlar. İsteğe bağlı olarak HTTP İsteği'nin yanındaki "göz" simgesini seçerek Ocp-Apim-Subscription-Key üst bilgisini görüntüleyin.

  5. Gönder'i seçin.

    Test başarılı olduğunda, arka uç başarılı bir HTTP yanıt kodu ve bazı verilerle yanıt verir. Yanıta eklenen belirteç kullanım verileri, dil modeli belirteç tüketiminizi izlemenize ve yönetmenize yardımcı olur.

İlgili içerik