Dil modeli API'leri için belirteç kullanımı, istemler ve tamamlamalar kaydedilmesi

Bu makalede, Azure İzleyici günlüğe kaydını dil modeli API istekleri ve yanıtları için Azure API Management üzerinde ayarlamayı öğreneceksiniz.

API Management yöneticisi, aşağıdaki senaryolar için API Management ağ geçidi günlükleriyle birlikte dil modeli API isteği ve yanıt günlüklerini kullanabilir:

  • Kullanımı faturalama için hesapla. Her uygulama veya API tüketicisi tarafından kullanılan belirteç sayısına göre faturalama için kullanım ölçümlerini hesaplayın (örneğin, abonelik kimliğine veya IP adresine göre segmentlere ayrılmıştır).

  • İletileri inceleyin. Hata ayıklama, denetim ve model değerlendirmesine yardımcı olmak için istemleri ve tamamlamaları inceleyin ve analiz edin.

Aşağıdakiler hakkında daha fazla bilgi edinin:

Önkoşullar

  • Azure API Management örneği.
  • Azure API Management ile entegre bir yönetilen dil modeli sohbet tamamlamaları API'si. Örneğin, Microsoft Foundry API'sini içeri aktar.
  • Azure Log Analytics çalışma alanına erişim.
  • API Management'ta tanılama ayarlarını ve erişim günlüklerini yapılandırmak için uygun izinler.

Dil modeli API günlükleri için tanılama ayarını etkinleştirme

Ağ geçidinin büyük dil modeli REST API'leriyle ilgili işlediği istekleri günlüğe kaydetmek için bir tanılama ayarını etkinleştirin. Her istek için Azure İzleyici şunları alır:

  • İstem belirteçleri, tamamlama belirteçleri ve toplam belirteçler gibi belirteç kullanımıyla ilgili veriler

  • Kullanılan modelin adı

  • İsteğe bağlı olarak, istek ve yanıt iletileri: istem ve tamamlama

    Azure İzleyici, gerekirse daha sonra yeniden yapılandırma için büyük istekleri ve yanıtları sıra numaralarıyla birden çok günlük girdisine böler.

Dil modeli API günlüklerini Log Analytics çalışma alanına yönlendiren bir tanılama ayarını etkinleştirmek için bu adımları izleyin. Daha fazla bilgi için bkz. Azure İzleyici günlükleri için tanılama ayarını etkinleştirme.

  1. Azure portalında Azure API Management örneğine gidin.

  2. Soldaki menüde, İzleme'nin altında Tanılama ayarları+ Tanılama ayarı>ekle'yi seçin.

  3. AI ağ geçidi günlüklerini bir Log Analytics çalışma alanına göndermek için ayarı yapılandırın:

    • Günlükler altında, üretken yapay zeka ağ geçidiyle ilgili günlükler'i seçin.
    • Hedef ayrıntıları'nın altında Log Analytics çalışma alanına gönder'i seçin.

  4. Diğer ayarları gözden geçirin veya yapılandırın ve gerekirse değişiklik yapın.

  5. Kaydetseçeneğini seçin.

Portaldaki yapay zeka ağ geçidi günlükleri için tanılama ayarının ekran görüntüsü.

Dil modeli API'sinde isteklerin veya yanıtların günlüğe kaydedilmesini etkinleştirme

Tüm API'ler için tanılama ayarlarını etkinleştirebilir veya belirli API'ler için günlüğü özelleştirebilirsiniz. Api için hem dil modeli isteklerini hem de yanıt iletilerini günlüğe kaydetmek için bu adımları izleyin. Daha fazla bilgi için bkz. API günlüğü ayarlarını değiştirme.

  1. API Management örneğinizin sol menüsünde API API'leri'ni> ve ardından API'nin adını seçin.
  2. Üst çubuktan Ayarlar'ı seçin.
  3. Diagnostic Logs bölümüne gidin ve Azure İzleyici öğesini seçin.
  4. LLM iletilerini günlüğe kaydet bölümünde Etkin'i seçin.
  5. Günlük istemleri'ni seçin ve bayt cinsinden 32768 gibi bir boyut girin.
  6. Günlük tamamlamaları'yı seçin ve bayt cinsinden 32768 gibi bir boyut girin.
  7. Diğer ayarları gözden geçirin ve gerekirse değişiklik yapın. Kaydetseçeneğini seçin.

Portalda bir API için dil modeli günlüğünü etkinleştirme işleminin ekran görüntüsü.

Uyarı

Koleksiyonu etkinleştirirseniz, dil modeli isteği veya boyutu 32 KB'a kadar olan yanıt iletileri tek bir girişte gönderilir. 32 KB'tan büyük iletiler bölünür ve daha sonra yeniden yapılandırma için sıra numaraları içeren 32 KB'lık öbeklerde günlüğe kaydedilir. İstek iletileri ve yanıt iletileri 2 MB'ı aşamaz.

Dil modeli API'leri için analiz çalışma kitabını gözden geçirme

Azure İzleyici tabanlı Analytics panosu, Log Analytics çalışma alanında toplanan verileri kullanarak dil modeli API kullanımı ve belirteç tüketimi hakkında içgörüler sağlar. Daha fazla bilgi için bkz. Azure API Management'da API analizini alma.

  1. API Management örneğinizin sol menüsünde İzleme>Analizi'ni seçin.
  2. Dil modelleri sekmesini seçin.
  3. Seçilen Zaman aralığındaki dil modeli API belirteci tüketimi ve istekleri için ölçümleri ve görselleştirmeleri gözden geçirin.

Portalda dil modeli API'lerinin analizinin ekran görüntüsü.

İstekler ve yanıtlar için Azure İzleyici günlüklerini gözden geçirin

Belirteç tüketimi, kullanılan model dağıtımı ve belirli zaman aralıkları içindeki diğer ayrıntılar da dahil olmak üzere dil modeli istekleri ve yanıtları hakkındaki ayrıntılar için ApiManagementGatewayLlmLog günlüğünü gözden geçirin.

Büyük istekler ve yanıtlar için öbeklenmiş iletiler de dahil olmak üzere istekler ve yanıtlar, alanını kullanarak CorrelationId ilişkilendirebileceğiniz ayrı günlük girişlerinde görüntülenir.

Denetim amacıyla, her istek ve yanıtı tek bir kayıtta birleştirmek için aşağıdaki sorguya benzer bir Kusto sorgusu kullanın. Sorguyu, izlemek istediğiniz alanları içerecek şekilde ayarlayın.

ApiManagementGatewayLlmLog
| extend RequestArray = parse_json(RequestMessages)
| extend ResponseArray = parse_json(ResponseMessages)
| mv-expand RequestArray
| mv-expand ResponseArray
| project
    CorrelationId,
    RequestContent = tostring(RequestArray.content),
    ResponseContent = tostring(ResponseArray.content)
| summarize
    Input = strcat_array(make_list(RequestContent), " . "),
    Output = strcat_array(make_list(ResponseContent), " . ")
    by CorrelationId
| where isnotempty(Input) and isnotempty(Output)

Portaldaki dil modeli günlükleri için sorgu sonuçlarının ekran görüntüsü.

Model değerlendirmesi için Microsoft Foundry'ye veri yükleme

Microsoft Foundry'de dil modeli günlük verilerini model değerlendirmesi için veri kümesi olarak dışarı aktarabilirsiniz. Model değerlendirmesiyle, yerleşik veya özel değerlendirme ölçümlerini kullanarak üretim yapay zeka modellerinizin ve uygulamalarınızın performansını test modeline veya veri kümesine göre değerlendirebilirsiniz.

Model değerlendirmesi için veri kümesi olarak dil modeli günlüklerini kullanmak için:

  1. Önceki bölümde gösterildiği gibi dil modeli isteğini ve yanıt iletilerini her etkileşim için tek bir kayıtta birleştirin. Model değerlendirmesi için kullanmak istediğiniz alanları ekleyin.
  2. Veri kümesini, Microsoft Foundry ile uyumlu olan CSV biçimine aktarın.
  3. Microsoft Foundry portalında veri kümesini karşıya yüklemek ve değerlendirmek için yeni bir değerlendirme oluşturun.

Microsoft Foundry'de model değerlendirmesi oluşturma ve çalıştırma ayrıntıları için bkz. Microsoft Foundry portalından değerlendirmeleri çalıştırma.

İlgili içerik

  • Last updated on