Konuşma özeti

Azure AI services

Çoğu işletme, müşterilere ürün sorguları, sorun giderme ve bakım veya yükseltme özellikleri veya ürünün kendisine yardımcı olmak için müşteri hizmetleri desteği sağlar. Tatmin edici bir çözüm sağlamak için müşteri destek uzmanlarının doğru bilgilerle hızlı bir şekilde yanıt vermesi gerekir. OpenAI, kuruluşların müşteri desteğine çeşitli yollarla yardımcı olabilir.

Bu kılavuzda, Azure OpenAI GPT-3 modeli kullanılarak müşteri aracısı etkileşimlerinin özetlerinin nasıl oluşturulacağı açıklanır. Metin girişinin özetini almak için kullanılan temel bileşenleri gösteren uçtan uca bir örnek mimari içerir. Metin girişinin oluşturulması bu kılavuzun kapsamı dışındadır. Bu kılavuzun odak noktası, bir dizi örnek aracı-müşteri konuşmasının özetini uygulama sürecini açıklamak ve özetleme için çeşitli yaklaşımların sonuçlarını analiz etmektir.

Konuşma senaryoları

Self servis sohbet botları (tamamen otomatik). Bu senaryoda müşteriler GPT-3 tarafından desteklenen ve sektöre özgü veriler üzerinde eğitilen bir sohbet botuyla etkileşime geçebiliyor. Sohbet botu, müşteri sorularını anlayabilir ve bir bilgi bankası öğrenilen yanıtlara göre uygun şekilde yanıtlayabilir.
Aracı müdahalesi (yarı otomatik) ile sohbet botu. Müşterilerin yönelttiği sorular bazen karmaşıktır ve insan müdahalesi gerektirmektedir. Böyle durumlarda GPT-3, müşteri-sohbet botu konuşmasının özetini sağlayabilir ve aracıya büyük bir bilgi bankası ek bilgi için hızlı aramalar yapma konusunda yardımcı olabilir.
Transkriptleri özetleme (tamamen otomatik veya yarı otomatik). Çoğu müşteri destek merkezinde, aracıların kayıt tutma, gelecekteki takip, eğitim ve diğer iç süreçler için konuşmaları özetlemeleri gerekir. GPT-3, daha fazla kullanım için konuşmaların önemli ayrıntılarını yakalayan otomatik veya yarı otomatik özetler sağlayabilir.

Bu kılavuz, Azure OpenAI GPT-3 kullanarak transkriptleri özetleme işlemine odaklanır.

Tek bir aracı-müşteri konuşmasını özetlemek ortalama olarak 5-6 dakika sürer. Hizmet ekiplerinin belirli bir günde işlediği yüksek hacimli istekler göz önüne alındığında, bu ek görev ekibe fazla yük bindirebilir. OpenAI, aracılara özetlemeyle ilgili etkinliklerde yardımcı olmak için iyi bir yoldur. Müşteri destek sürecinin verimliliğini artırabilir ve daha iyi hassasiyet sağlayabilir. Konuşma özetlemesi, aracı-müşteri etkileşimi içeren herhangi bir müşteri desteği görevine uygulanabilir.

Konuşma özetleme hizmeti

Konuşma özetlemesi, müşteri desteği konuşmalarının soru-cevap biçimini izlediği senaryolarda uygundur.

Özetleme hizmeti kullanmanın bazı avantajları şunlardır:

Daha yüksek verimlilik: Müşteri hizmetleri temsilcilerinin müşteri konuşmalarını hızlı bir şekilde özetlemesini sağlayarak uzun süreli ileri geri alışveriş ihtiyacını ortadan kaldırır. Bu verimlilik, müşteri sorunlarının çözümünü hızlandırmaya yardımcı olur.
Geliştirilmiş müşteri hizmetleri: Aracılar, müşteri sorunlarını doğru bir şekilde çözmek için gereken bilgileri hızla bulmak için gelecekteki etkileşimlerdeki konuşmaların özetlerini kullanabilir.
Geliştirilmiş bilgi paylaşımı: Konuşma özetleme, müşteri hizmetleri ekiplerinin bilgileri birbirleriyle hızlı ve etkili bir şekilde paylaşmasını sağlayabilir. Müşteri hizmetleri ekiplerini daha iyi çözümlerle donatır ve daha hızlı destek sağlamalarına yardımcı olur.

Mimari

Konuşma özetleyicisi için tipik bir mimarinin üç ana aşaması vardır: ön işleme, özetleme ve işlem sonrası. Giriş bir sözlü konuşma veya herhangi bir konuşma biçimi içeriyorsa, konuşmanın metne dökümünün alınması gerekir. Daha fazla bilgi için bkz . Azure konuşmayı metin hizmetine dönüştürme.

Aşağıda örnek bir mimari verilmişti:

Bu mimarinin PowerPoint dosyasını indirin.

İş Akışı

Giriş verilerini toplama: İlgili giriş verilerini işlem hattına besleyin. Kaynak bir ses dosyasıysa, Azure metin okuma gibi bir metin okuma (TTS) hizmeti kullanarak bunu metne dönüştürmeniz gerekir.
Verileri önceden işleme: Verilerden gizli bilgileri ve önemli olmayan tüm konuşmaları kaldırın.
Verileri özetleyiciye aktarın: Azure OpenAI API'leri aracılığıyla verileri bir istem içinde geçirin. Bağlam içi öğrenme modelleri sıfır çekim, az çekim veya özel bir model içerir.
Özet oluşturma: Model konuşmanın özetini oluşturur.
Verileri işleme sonrası: Özete küfür filtresi ve çeşitli doğrulama denetimleri uygulayın. Ön işlem adımı sırasında kaldırılan hassas veya gizli verileri özete geri ekleyin.
Sonuçları değerlendirme: Sonuçları gözden geçirin ve değerlendirin. Bu adım, modelin geliştirilmesi gereken alanları belirlemenize ve hataları bulmanıza yardımcı olabilir.

Aşağıdaki bölümlerde üç ana aşama hakkında daha fazla ayrıntı sağlanır.

Ön işlem

Ön işlemenin amacı, özetleyici hizmetine sağlanan verilerin ilgili olduğundan ve hassas veya gizli bilgiler içermediğinden emin olmaktır.

Ham verilerinizin koşulunu sağlamaya yardımcı olabilecek bazı ön işleme adımları aşağıdadır. Kullanım örneğine bağlı olarak bir veya daha fazla adım uygulamanız gerekebilir.

Kişisel bilgileri (PII) kaldırın. Konuşma PII API'sini (önizleme) kullanarak piI'yi yazılı veya yazılı metinden kaldırabilirsiniz. Bu örnek, API PII'yi kaldırdıktan sonra çıktıyı gösterir:

Document text: Parker Doe has repaid all of their loans as of
      2020-04-25. Their SSN is 999-99-9999. To contact them, use 
      their phone number 555-555-0100. They are originally from 
      Brazil and have Brazilian CPF number 998.214.865-68 
Redacted document text: ******* has repaid all of their
      loans as of *******. Their SSN is *******. To contact 
      them, use their phone number *******. They are originally from Brazil and have Brazilian CPF number 998.214.865-68

...Entity 'Parker Doe' with category 'Person' got redacted
...Entity '2020-04-25' with category 'DateTime' got redacted
...Entity '999-99-9999' with category 'USSocialSecurityNumber' got redacted
...Entity '555-555-0100' with category 'PhoneNumber' got redacted

Gereksiz bilgileri kaldırın. Müşteri temsilcileri, ilgili bilgileri içermeyen gündelik alışverişlerle görüşmeler başlatır. Endişenin veya ilgili sorunun ilk ele alındığı noktayı belirlemek için konuşmaya tetikleyici eklenebilir. Bu değişimin bağlamdan kaldırılması, özetleyici hizmetinin doğruluğunu geliştirebilir çünkü model daha sonra konuşmadaki en ilgili bilgiler üzerinde ince ayarlar yapılır. Curie GPT-3 altyapısı bu görev için popüler bir seçimdir çünkü bu tür gündelik konuşmaları tanımlamak için İnternet'ten gelen içerik aracılığıyla kapsamlı bir şekilde eğitilir.
Aşırı olumsuz konuşmaları kaldırın. Konuşmalar, mutsuz müşterilerin olumsuz yaklaşımlarını da içerebilir. Analizden hassas bilgiler içeren konuşmaları kaldırmak için Azure Content Moderator gibi Azure içerik filtreleme yöntemlerini kullanabilirsiniz. Alternatif olarak OpenAI, içeriğin OpenAI'nin içerik ilkelerine uygun olup olmadığını denetlemek için kullanabileceğiniz bir denetim uç noktası sunar.

Summarizer

OpenAI'nin metin tamamlama API'sinin uç noktası tamamlama uç noktası olarak adlandırılır. Metin tamamlama işlemini başlatmak için bir istem gerekir. İstem mühendisliği , dil modellerini kullanmada kullanılan bir süreçtir. İstemin ilk bölümü, doğal dil yönergelerini veya istenen belirli görevin örneklerini içerir (bu senaryoda özetleme). İstemler geliştiricilerin API'ye bağlam sağlamasına olanak sağlar ve bu da daha ilgili ve doğru metin tamamlamaları oluşturmasına yardımcı olabilir. Model daha sonra en olası sonraki metni tahmin ederek görevi tamamlar. Bu teknik, bağlam içi öğrenme olarak bilinir.

Not

Ayıklayıcı özetleme , bir metinden önemli bilgileri tanımlamaya ve ayıklamaya ve anlamı veya bağlamı anlamadan kısa bir özet oluşturmak üzere gruplandırmaya çalışır.

Soyut özetleme , önce iç anlamsal bir gösterim oluşturup ardından doğal dil işlemeyi kullanarak özet oluşturarak metni yeniden yazar. Bu işlem, ifadeleri içerir.

Bağlam içi öğrenme için eğitim modellerine yönelik üç ana yaklaşım vardır: sıfır çekim, az çekim ve ince ayar. Bu yaklaşımlar, modele sağlanan göreve özgü veri miktarına göre değişiklik gösterir.

Sıfır çekim: Bu yaklaşımda modele örnek sağlanmadı. Görev isteği tek giriştir. Sıfır çekim öğrenmede model, GPT-3'in zaten eğitilmiş olduğu verilere (İnternet'ten sağlanan neredeyse tüm veriler) dayanır. Verilen görevi zaten öğrendiği mevcut kategorilerle ilişkilendirmeye çalışır ve buna göre yanıt verir.
Az çekim: Bu yaklaşımı kullandığınızda, istemde beklenen yanıt biçimini ve bağlamı gösteren az sayıda örnek eklersiniz. Model, tahminlerine kılavuzluk etmek için genellikle yalnızca birkaç örnek olmak üzere çok az miktarda eğitim verileriyle sağlanır. Küçük bir örnek kümesiyle eğitim, modelin ilgili ancak daha önce görünmeyen görevleri genelleştirmesine ve anlamasına olanak tanır. Modelin gerçekleştirmesini istediğiniz görevi netleştirmesi gerektiğinden, bu az çekim örnekleri oluşturmak zor olabilir. Sık karşılaşılan sorunlardan biri modellerin, özellikle de küçük modellerin eğitim örneklerinde kullanılan yazma stiline duyarlı olmasıdır.

Bu yaklaşımın temel avantajları, göreve özgü veri gereksiniminin önemli ölçüde azaltılması ve büyük ama dar bir ince ayar veri kümesinden aşırı dar bir dağılım öğrenme olasılığının azalmasıdır.

Bu yaklaşımla, önceden eğitilen modelin ağırlıklarını güncelleştiremezsiniz.

Daha fazla bilgi için bkz . Dil Modelleri az çekim yapan öğrencilerdir.
İnce ayar: hassas ayarlama, modelleri kendi veri kümelerinden belirli bir istenen sonucu elde etmek için uyarlama işlemidir. Modellerin yeni veriler üzerinde yeniden eğitilmesi gerekir. Daha fazla bilgi için bkz . Uygulamanız için modeli özelleştirmeyi öğrenin.

İşleminizi geliştirmek için şu özelleştirme adımını kullanabilirsiniz:
- Daha büyük bir örnek veri kümesi dahil.
- Modelin ağırlıklarını yeniden ayarlamak için backpropagation ile geleneksel iyileştirme tekniklerini kullanma. Bu teknikler, sıfır çekim veya az çekim yaklaşımlarının kendi kendilerine sağladığından daha yüksek kaliteli sonuçlar elde etmenizi sağlar.
- Modelin ağırlıklarını belirli istemlerle ve belirli bir yapıyla eğiterek az çekim öğrenme yaklaşımını geliştirme. Bu teknik, istemde örnek sağlamaya gerek kalmadan daha fazla sayıda görevde daha iyi sonuçlar elde etmenize olanak tanır. Sonuç daha az metin ve daha az belirteçtir.
Dezavantajlar arasında her görev için büyük bir yeni veri kümesine ihtiyaç olması, dağıtımda zayıf genelleştirme olasılığı ve eğitim verilerinin sahte özelliklerinden yararlanma olasılığı ve insan performansıyla haksız karşılaştırma olasılığı yüksektir.

Model özelleştirmesi için veri kümesi oluşturmak, diğer modellerle kullanım istemleri tasarlamaktan farklıdır. Tamamlama çağrıları için istemler genellikle ayrıntılı yönergeleri veya birkaç deneme öğrenme tekniğini kullanır ve birden çok örnekten oluşur. İnce ayar için, her eğitim örneğinin tek bir giriş örneğinden ve istenen çıktıdan oluşmasını öneririz. İstemde ayrıntılı yönergeler veya örnekler sağlamanız gerekmez.

Eğitim örneklerinin sayısını artırdıkça sonuçlarınız da artar. En az 500 örnek kullanmanızı öneririz. Binlerce ile yüz binlerce etiketli örnek arasında kullanım normaldir. Test, veri kümesi boyutunun her iki katına çıkarılmasının model kalitesinde doğrusal bir artışa yol açtığını gösterir.

Bu kılavuzda curie-instruct/text-curie-001 ve davinci-instruct/text-davinci-001 altyapıları gösterilmektedir. Bu altyapılar sık sık güncelleştirilir. Kullandığınız sürüm farklı olabilir.

İşlem sonrası

GPT-3'ten elde ettiğiniz sonuçların geçerliliğini denetlemenizi öneririz. Kullanım örneğine bağlı olarak programlı bir yaklaşım veya sınıflandırıcı kullanarak geçerlilik denetimleri uygulayın. Bazı kritik denetimler şunlardır:

Önemli noktaların kaçırılmadığını doğrulayın.
Olgusal yanlışlıkları denetleyin.
Modelde kullanılan eğitim verileri tarafından sunulan sapmaları denetleyin.
Yeni fikirler veya noktalar ekleyerek modelin metni değiştirmediğini doğrulayın. Bu sorun halüsinasyon olarak bilinir.
Dil bilgisi ve yazım hatalarını denetleyin.
Uygunsuz veya ilgisiz içerik olmadığından emin olmak için Content Moderator gibi bir içerik küfür filtresi kullanın.

Son olarak, gizli bilgiler gibi daha önce özetten kaldırılmış olan tüm önemli bilgileri yeniden girin.

Bazı durumlarda, konuşmanın özeti, özgün transkriptle birlikte müşteriye de gönderilir. Bu gibi durumlarda, işlem sonrası dökümü özete eklemeyi içerir. "Lütfen aşağıdaki özete bakın" gibi baş cümleler eklemeyi de içerebilir.

Dikkat edilmesi gereken noktalar

Sektöre özgü bir eğitim veri kümesiyle temel modellerinizi hassas bir şekilde ayarlamanız ve kullanılabilir veri kümelerinin boyutunu değiştirmeniz önemlidir. Hassas ayarlanmış modeller, eğitim verileri en az 1.000 veri noktası içerdiğinde ve modelleri eğitmek için kullanılan temel gerçek (insan tarafından oluşturulan özetler) yüksek kalitede olduğunda en iyi performansı gösterir.

Denge maliyettir. Veri kümelerini etiketleme ve temizleme işlemi pahalı olabilir. Yüksek kaliteli eğitim verilerini güvence altına almak için, temel gerçek özetlerini el ile incelemeniz ve düşük kaliteli özetleri yeniden yazmanız gerekebilir. Özetleme aşaması hakkında aşağıdaki noktaları göz önünde bulundurun:

İstem mühendisliği: Çok az yönerge sağlandığında, Davinci genellikle diğer modellerden daha iyi performans gösterir. Sonuçları iyileştirmek için farklı modeller için farklı istemlerle denemeler yapın.
Belirteç boyutu: GPT-3'ü temel alan bir özetleyici, istem ve tamamlama dahil olmak üzere toplam 4.098 belirteçle sınırlıdır. Daha büyük pasajları özetlemek için metni bu kısıtlamalara uygun bölümlere ayırın. Her bölümü ayrı ayrı özetleyin ve sonuçları son özette toplayın.
Çöp girdi, çöp çıktısı: Eğitilen modeller yalnızca sağladığınız eğitim verileri kadar iyidir. Eğitim verilerindeki temel gerçek özetlerinin, sonunda iletişim kutularınızda özetlemek istediğiniz bilgilere uygun olduğundan emin olun.
Durdurma noktası: Model, sağladığınız doğal bir durdurma noktasına veya durdurma dizisine ulaştığında özetlemeyi durdurur. Birden çok özet arasından seçim yapmak ve özetlerin eksik görünip görünmediğini denetlemek için bu parametreyi test edin.

Örnek senaryo: Çağrı merkezlerinde transkriptleri özetleme

Bu senaryo, Azure OpenAI özetleme özelliğinin özetleme görevleriyle müşteri hizmetleri aracılarına nasıl yardımcı olabileceğini gösterir. Sıfır çekim, birkaç çekim ve ince ayar yaklaşımlarını test eder ve sonuçları insan tarafından oluşturulan özetlerle karşılaştırır.

Bu senaryoda kullanılan veri kümesi, Xbox müşteri destek merkezindeki müşteriler ve aracılar arasında çeşitli Xbox ürünleri ve hizmetleri hakkında bir dizi varsayımsal konuşmadır. Varsayımsal sohbet, İstem ile etiketlenmiştir. İnsan tarafından yazılmış soyut özet Tamamlama ile etiketlenmiştir.

İstem	Tamamlama
Müşteri: XAIL ile ilgili soru Aracı: Merhaba! Bugün sana nasıl yardımcı olabilirim? Müşteri: Merhaba, Erişilebilirlik insider halkası hakkında bir sorum var Temsilci: Tamam. Sana kesinlikle yardımcı olabilirim. Müşteri: Erişilebilirlik ligine katılmak için önizleme halkasına kaydolmam gerekiyor mu? Aracı: Hayır. Konsolunuzu Xbox Preview halkalarının dışında bırakabilir ve yine de Lig'e katılabilirsiniz. Ancak, kullanımınıza sunulan bazı deneyimlerin bir Xbox Önizleme halkasına katılmanızı gerektirebileceğini unutmayın. Müşteri: Tamam. Önizleme halkasına daha sonra kaydolabilirim, tamam mı? Aracı: Bu doğrudur. Müşteri: Tatlı.	Müşteri, Xbox Accessibility Insider League'e katılmak için önizleme halkalarına kaydolması gerekip gerekmediğini öğrenmek istiyor. Aracı, zorunlu olmadığını, ancak bazı deneyimlerin bunu gerektirebileceğini yanıtlar.

İstem

Tamamlama

Müşteri: XAIL ile ilgili soru

Aracı: Merhaba! Bugün sana nasıl yardımcı olabilirim?

Müşteri: Merhaba, Erişilebilirlik insider halkası hakkında bir sorum var

Temsilci: Tamam. Sana kesinlikle yardımcı olabilirim.

Müşteri: Erişilebilirlik ligine katılmak için önizleme halkasına kaydolmam gerekiyor mu?

Aracı: Hayır. Konsolunuzu Xbox Preview halkalarının dışında bırakabilir ve yine de Lig'e katılabilirsiniz. Ancak, kullanımınıza sunulan bazı deneyimlerin bir Xbox Önizleme halkasına katılmanızı gerektirebileceğini unutmayın.

Müşteri: Tamam. Önizleme halkasına daha sonra kaydolabilirim, tamam mı?

Aracı: Bu doğrudur.

Müşteri: Tatlı.

Müşteri, Xbox Accessibility Insider League'e katılmak için önizleme halkalarına kaydolması gerekip gerekmediğini öğrenmek istiyor. Aracı, zorunlu olmadığını, ancak bazı deneyimlerin bunu gerektirebileceğini yanıtlar.

İdeal çıkış. Amaç şu biçimde özetler oluşturmaktır: "Müşteri x dedi. Aracı y'ye yanıt verdi." Bir diğer hedef de iletişim kutusunun müşteri şikayeti, önerilen çözüm ve izleme eylemleri gibi önemli özelliklerini yakalamaktır.

Aşağıda bir müşteri desteği etkileşimi örneği ve ardından insan tarafından yazılmış kapsamlı bir özet verilmiştir:

Iletişim

Müşteri: Merhaba. Oyun kartıyla ilgili bir sorum var.

Aracı: Merhaba. Bugün nasılsın?

Ben iyiyim.

Aracı. Xbox Game Pass ile ilgili yardıma ihtiyacınız olduğunu görüyorum.

Müşteri: Evet. Oyun kartından ayrıldıktan sonra oyunlara ne kadar süreyle erişebilirim bilmek istedim.

Temsilci: Bir oyun Xbox Game Pass kataloğundan ayrıldıktan sonra Windows veya Microsoft Store için Xbox uygulaması dijital bir kopya satın almanız, diskten oynamanız veya oyunu oynamaya devam etmek için başka bir yetkilendirme biçimi edinmeniz gerekir. Xbox'ın, bir oyunDan önce Xbox Game Pass kataloğundan ayrılmadan önce üyelere bildirimde bulunacağını unutmayın. Bir üye olarak, katalogdan çıktıktan sonra oyun oynamaya devam etmek için katalogdaki herhangi bir oyunu %20'ye kadar indirim (veya en uygun indirimli fiyat) karşılığında satın alabilirsiniz.

Müşteri: Anladım, teşekkürler

Temel gerçek özeti

Müşteri, Game Pass'i bıraktıktan sonra oyunlara ne kadar süreyle erişebileceğini öğrenmek istiyor. Temsilci, erişime devam etmek için oyunu satın alması gerekeceğini müşteriye bildirir.

Sıfır çekim

Sıfır çekim yaklaşımı, çok fazla etiketli eğitim veriniz olmadığında kullanışlıdır. Bu durumda, yeterli temel gerçek özeti yoktur. İlgili bilgileri ayıklamak için istemleri dikkatli bir şekilde tasarlamak önemlidir. Müşteri aracısı sohbetlerinden genel özetleri ayıklamak için aşağıdaki biçim kullanılır:

prefix = "Please provide a summary of the conversation below: "

suffix = "The summary is as follows: "

Aşağıda sıfır çekim modelinin nasıl çalıştırıldığını gösteren bir örnek verilmişti:

rouge = Rouge()
# Run zero-shot prediction for all engines of interest
deploymentNames = ["curie-instruct","davinci-instruct"] # also known as text-davinci/text-instruct
for deployment in deploymentNames:
url = openai.api_base + "openai/deployments/" + deployment + "/completions?api-version=2022-12-01-preivew"
response_list = []
rouge_list = []
print("calling..." + deployment)
for i in range(len(test)):
response_i = openai.Completion.create(
engine = deployment,
prompt = build_prompt(prefix, [test['prompt'][i]], suffix),
temperature = 0.0,
max_tokens = 400,
top_p = 1.0,
frequence_penalty = 0.5,
persence_penalty = 0.0,
stop=["end"] # We recommend that you adjust the stop sequence based on the dataset
)
scores = rouge.get_scores(normalize_text(response_i['choices'][ 0]['text']),test['completion'][i])
rouge_list += [scores[0]['rouge-1']['f']],
response_list += [response_i]
summary_list = [normalize_text(i['choices'][0]['text']) for i in response_list]
test[deployment + "_zeroshotsummary"] = summary_list
test[deployment + "_zeroshotroguescore"] = rouge_list

Sonuçlar ve gözlemler

Sıfır çekim modelin çıkışı doğrudan temel modelden oluşturulur. Bu durumda hem Curie hem de Davinci iletişim kutusunu oldukça iyi özetler. Fark edilebilir tek fark, Curie modelinin biraz daha az ayrıntı sağlamasıdır. Curie özete şu şekilde başlar: "Müşteri, temsilciye Xbox game pass'i sorar." Davinci'de buna karşılık gelen cümle "Müşteri, Xbox game pass kataloğundan ayrıldıktan sonra oyunlara ne kadar süreyle erişebileceğini sordu." şeklindedir.

Iletişim

Müşteri: Merhaba. Oyun kartıyla ilgili bir sorum var.

Aracı: Merhaba. Neler yapıyorsun?

Ben iyiyim.

Xbox Game Pass ile ilgili yardıma ihtiyacınız olduğunu görüyorum.

Müşteri: Evet. Oyun kartından ayrıldıktan sonra oyunlara ne kadar süreyle erişebilirim bilmek istedim.

Aracı: Bir oyun Xbox game pass kataloğundan ayrıldıktan sonra Windows veya Microsoft Store için Xbox uygulaması dijital bir kopya satın almanız, diskten oynamanız veya oyunu oynamaya devam etmek için başka bir yetkilendirme biçimi edinmeniz gerekir. Xbox'ın, bir oyunDan önce Xbox Game Pass kataloğundan ayrılmadan önce üyelere bildirimde bulunacağını unutmayın. Ve bir üye olarak, katalogdan çıktıktan sonra oyun oynamaya devam etmek için katalogdaki herhangi bir oyunu %20'ye kadar indirim veya en uygun indirimli fiyatla satın alabilirsiniz.

Temel gerçek

Davinci sonucu

Müşteri, Xbox game pass kataloğundan ayrıldıktan sonra oyunlara ne kadar süreyle erişebileceğini sordu. Aracı, oyuna devam etmek için windows veya Microsoft mağazası için Xbox uygulaması oyunun dijital bir kopyasını satın alması gerektiğini söyledi. Temsilci ayrıca müşteriye Xbox game pass kataloğundan çıkan bir oyundan önce bildirim alınacağını da anımsattı. üye olarak müşteri katalogdaki herhangi bir oyunu en fazla 20 indirim veya en uygun indirimli fiyatla satın alabilir.

Curie sonucu

Müşteri, aracıya Xbox oyun kartını sorar. aracı, bir oyun Xbox game pass kataloğundan ayrıldığında müşterinin Windows için Xbox uygulaması veya Microsoft mağazasının bir diskten oynadığı dijital kopyayı satın alması veya oyunu oynamaya devam etmek için başka bir yetkilendirme biçimi alması gerektiğini söyler. Temsilci, xbox oyun kartı kataloğundan çıkmadan önce Xbox'ın üyeleri bilgilendireceğini müşteriye de anımsatır.

Az çekim

Az çekim yaklaşımını kullandığınızda modele az sayıda örnek sağlanır.

context_primer = "Below are examples of conversations and their corresponding summaries:"

prefix = "Please provide a summary of the conversation below: "

suffix = "The summary is as follows: "

Aşağıda birkaç çekimli modelin nasıl çalıştırıldığını gösteren bir örnek verilmişti:

train_small = train[]
train_small_json = train_small.to_dict(orient='records')
compiled_train_prompt = build_prompt_fewshot(prefix,context_primer, train_small_json, suffix)

for deployment in deploymentNames:
url = openai.api_base + "openai/deployments/" + deployment + "/completions?api-version=2022-12-01-preivew"
response_list = []
rouge_list = []
print("calling..." + deployment)
for i in range(len(test)):
response_i = openai.Completion.create(
engine = deployment,
prompt = compiled_train_prompt+build_prompt(prefix, [test['prompt'][i]], suffix),
temperature = 0.0,
max_tokens = 400,
top_p = 1.0,
frequence_penalty = 0.5,
persence_penalty = 0.0,
stop=["end"] # We recommend that you adjust the stop sequence based on the dataset
)
scores = rouge.get_scores(normalize_text(response_i['choices'][ 0]['text']),test['completion'][i])
rouge_list += [scores[0]['rouge-1']['f']],
response_list += [response_i]
summary_list = [normalize_text(i['choices'][0]['text']) for i in response_list]
test[deployment + "_fewshot"] = summary_list
test[deployment + "_FSscore1"] = rouge_list

Sonuçlar ve gözlemler

Birkaç çekim yaklaşımıyla özetler konuşmanın önemli özelliklerini yakalamaya devam eder. Davinci özeti daha kompakttır ve zemin gerçeğine daha yakındır. Curie bazı önemsiz ayrıntıları uydurur.

Iletişim

Müşteri: Merhaba. Oyun kartıyla ilgili bir sorum var.

Aracı: Merhaba. Neler yapıyorsun?

Ben iyiyim.

Xbox Game Pass ile ilgili yardıma ihtiyacınız olduğunu görüyorum.

Müşteri: Evet. Oyun kartından ayrıldıktan sonra oyunlara ne kadar süreyle erişebilirim bilmek istedim.

Temsilci: Bir oyun Xbox Game Pass kataloğundan ayrıldıktan sonra Windows veya Microsoft Store için Xbox uygulaması dijital bir kopya satın almanız, diskten oynamanız veya oyunu oynamaya devam etmek için başka bir yetkilendirme biçimi edinmeniz gerekir. Xbox'ın, bir oyunDan önce Xbox Game Pass kataloğundan ayrılmadan önce üyelere bildirimde bulunacağını unutmayın. Ve bir üye olarak, katalogdan çıktıktan sonra oyun oynamaya devam etmek için katalogdaki herhangi bir oyunu %20'ye kadar indirim veya en uygun indirimli fiyatla satın alabilirsiniz.

Temel gerçek

Davinci sonucu

müşteri, oyun geçişini bıraktıktan sonra oyunlara ne kadar süreyle erişebildiklerini öğrenmek istedi. Temsilci, bir oyun Xbox oyun kartı kataloğundan ayrıldığında müşterinin dijital bir kopya satın alması veya oyunu oynamaya devam etmek için başka bir yetkilendirme biçimi alması gerekeceğini bildirir.

Curie sonucu

müşterinin oyun geçişi hakkında bir sorusu var. müşteri iyidir. aracının Xbox game pass ile ilgili yardıma ihtiyacı vardır. müşteri, game pass kataloğundan ayrıldıktan sonra oyunlara ne kadar süreyle erişebileceğini sorar. Temsilci, bir oyun Xbox game pass kataloğundan ayrıldıktan sonra müşterinin Windows için Xbox uygulaması veya Microsoft mağazasının bir diskten oynadığı dijital bir kopya satın alması veya oyunu oynamaya devam etmek için başka bir yetkilendirme biçimi alması gerektiğini bildirir. müşteri bunu duyduğu için mutlu ve teşekkür aracısı.

Hassas ayarlama

hassas ayarlama , modelleri kendi veri kümelerinizden belirli bir istenen sonucu elde etmek için uyarlama işlemidir.

Aşağıda örnek bir biçim verilmişti:

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}

Sonuçlar ve gözlemler

Test, ince ayarlı bir Curie modelinin, Davinci birkaç çekimli modelin sonuçlarına benzer sonuçlara yol açtığını göstermektedir. Her iki özet de indirimlerle ilgili ayrıntıları yakalamadan ve içerik eklemeden müşterinin sorusunu ve aracının yanıtını yakalar. Her iki özet de temel gerçeğe benzer.

Iletişim

Müşteri: Merhaba. Oyun kartıyla ilgili bir sorum var.

Aracı: Merhaba. Neler yapıyorsun?

Ben iyiyim.

Xbox Game Pass ile ilgili yardıma ihtiyacınız olduğunu görüyorum.

Müşteri: Evet. Oyun kartından ayrıldıktan sonra oyunlara ne kadar süreyle erişebilirim bilmek istedim.

Temsilci: Bir oyun Xbox Game Pass kataloğundan ayrıldıktan sonra Windows veya Microsoft Store için Xbox uygulaması dijital bir kopya satın almanız, diskten oynamanız veya oyunu oynamaya devam etmek için başka bir yetkilendirme biçimi edinmeniz gerekir. Xbox'ın, bir oyunDan önce Xbox Game Pass kataloğundan ayrılmadan önce üyelere bildirimde bulunacağını unutmayın. Ve bir üye olarak, katalogdan çıktıktan sonra oyun oynamaya devam etmek için katalogdaki herhangi bir oyunu %20'ye kadar indirim veya en uygun indirimli fiyatla satın alabilirsiniz.

Temel gerçek

Curie sonucu

müşteri, oyun kartından ayrıldıktan sonra oyunlara ne kadar süreyle erişebildiklerini bilmek istiyor. aracı, bir oyun Xbox game pass kataloğundan ayrıldıktan sonra Windows için Xbox uygulaması veya Microsoft mağazasının bir diskten oynadığı dijital kopyayı satın alması veya oyunu oynamaya devam etmek için başka bir yetkilendirme biçimi elde etmesi gerektiğini açıklar.

Sonuçlar

Genellikle Davinci modeli, Curie gibi diğer modellere göre görevleri gerçekleştirmek için daha az yönerge gerektirir. Davinci, bağlamın veya belirli bir dilin anlaşılmasını gerektiren metinleri özetlemek için daha uygundur. Davinci en karmaşık model olduğundan, gecikme süresi diğer modellerden daha yüksektir. Curie, Davinci'den daha hızlıdır ve konuşmaları özetleme yeteneğine sahiptir.

Bu testler, birkaç çekim veya ince ayar yoluyla modele daha fazla yönerge sağladığınızda daha iyi özetler oluşturabileceğinizi önerir. Hassas ayarlı modeller, eğitim veri kümesinden öğrenilen yapı ve bağlama daha uygundur. Bu özellik özellikle özetler etki alanına özgü olduğunda (örneğin, bir doktorun notlarından özetler oluşturmak veya çevrimiçi reçeteli müşteri desteği) yararlıdır. İnce ayar kullanıyorsanız, gördüğünüz özet türleri üzerinde daha fazla denetime sahip olursunuz.

Kolay karşılaştırma için aşağıda daha önce sunulan sonuçların bir özeti verilmiştir:

Temel gerçek

Davinci sıfır atış sonucu

Müşteri, Xbox game pass kataloğundan ayrıldıktan sonra oyunlara ne kadar süreyle erişebileceğini sordu. Aracı, oyuna devam etmek için windows veya Microsoft mağazası için Xbox uygulaması oyunun dijital bir kopyasını satın alması gerektiğini söyledi. Temsilci ayrıca müşteriye Xbox game pass kataloğundan çıkan bir oyundan önce bildirim alınacağını da anımsattı. Üye olarak müşteri katalogdaki herhangi bir oyunu 20 indirime veya en uygun indirimli fiyata satın alabilir.

Curie sıfır atış sonucu

Davinci az atış sonucu

Curie az atış sonucu

Curie ince ayarlama sonucu

Özetlemeyi değerlendirme

Özetleme modellerinin performansını değerlendirmek için birden çok teknik vardır.

İşte birkaçı:

ROUGE (Gisting Değerlendirmesi için Geri Çağırma Odaklı Yedek). Bu teknik, bir özetin kalitesini insanlar tarafından oluşturulan ideal özetlerle karşılaştırarak otomatik olarak belirlemeye yönelik ölçüleri içerir. Ölçüler, değerlendirilen bilgisayar tarafından oluşturulan özet ve ideal özetler arasında n-gram, sözcük dizileri ve sözcük çiftleri gibi çakışan birimlerin sayısını sayar.

Bir örnek aşağıda verilmiştir:

reference_summary = "The cat ison porch by the tree"
generated_summary = "The cat is by the tree on the porch"
rouge = Rouge()
rouge.get_scores(generated_summary, reference_summary)
[{'rouge-1': {'r':1.0, 'p': 1.0, 'f': 0.999999995},
  'rouge-2': {'r': 0.5714285714285714, 'p': 0.5, 'f': 0.5333333283555556},
  'rouge-1': {'r': 0.75, 'p': 0.75, 'f': 0.749999995}}]

BertScore. Bu teknik, oluşturulan ve başvuru özetlerini belirteç düzeyinde hizalayarak benzerlik puanlarını hesaplar. Belirteç hizalamaları, BERT'den bağlamsallaştırılmış belirteç eklemeleri arasındaki kosinüs benzerliğini en üst düzeye çıkarmak için doyumsuzca hesaplanır.

Bir örnek aşağıda verilmiştir:

  import torchmetrics
  from torchmetrics.text.bert import BERTScore
  preds = "You should have ice cream in the summer"
  target = "Ice creams are great when the weather is hot"
  bertscore = BERTScore()
  score = bertscore(preds, target)
  print(score)

Benzerlik matrisi. Benzerlik matrisi, özetleme değerlendirmesinde farklı varlıklar arasındaki benzerliklerin bir gösterimidir. Aynı metnin farklı özetlerini karşılaştırmak ve benzerliklerini ölçmek için bunu kullanabilirsiniz. Her hücrenin iki özet arasındaki benzerlik ölçüsünü içerdiği iki boyutlu bir kılavuzla temsil edilir. Kosinüs benzerliği, Jakcard benzerliği ve düzenleme uzaklığı gibi çeşitli yöntemleri kullanarak benzerliği ölçebilirsiniz. Ardından özetleri karşılaştırmak ve özgün metnin en doğru gösterimini belirlemek için matrisi kullanırsınız.

İki benzer cümlenin BERTScore karşılaştırmasının benzerlik matrisini oluşturan örnek bir komut aşağıda verilmiştir:

bert-score-show --lang en -r "The cat is on the porch by the tree"
                          -c "The cat is by the tree on the porch"
                          -f out.png

İlk cümle olan "Kedi ağacın yanındaki verandadadır", aday olarak adlandırılır. İkinci tümce başvuru olarak adlandırılır. komutu, tümceleri karşılaştırmak ve matris oluşturmak için BERTScore kullanır.

Aşağıdaki matris, önceki komut tarafından oluşturulan çıkışı görüntüler:

Daha fazla bilgi için bkz . SummEval: Özetleme Değerlendirmesini Yeniden Değerlendirme. Özetleme için Python Paket Dizini (PyPI) araç seti için bkz . Summ-eval 0.892.

Sorumlu kullanım

GPT mükemmel sonuçlar verebilir, ancak sosyal, etik ve yasal yanlılıklar ve zararlı sonuçlar için çıkışı kontrol etmeniz gerekir. Modellerde ince ayar yaptığınızda, modelin öğrenmesi için zararlı olabilecek tüm veri noktalarını kaldırmanız gerekir. Modelin zararlı çıkışlarını belirlemek için kırmızı ekip oluşturma özelliğini kullanabilirsiniz. Bu işlemi el ile uygulayabilir ve yarı otomatik yöntemleri kullanarak destekleyebilirsiniz. Dil modellerini kullanarak test çalışmaları oluşturabilir ve ardından test çalışmalarının zararlı davranışlarını algılamak için bir sınıflandırıcı kullanabilirsiniz. Son olarak, kullanıma hazır olduklarından emin olmak için oluşturulan özetleri el ile denetlemeniz gerekir.

Daha fazla bilgi için bkz . Dil Modelleriyle Kırmızı Grup Oluşturma Dil Modelleri.

Katkıda Bulunanlar

Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.

Asıl yazar:

Meghna Jani | Veri ve Uygulamalı Bilim Adamı II

Diğer katkıda bulunan:

Mick Alberts | Teknik Yazar

Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.

Aracılığıyla paylaş

Konuşma özeti

Konuşma senaryoları

Konuşma özetleme hizmeti

Mimari

İş Akışı

Ön işlem

Summarizer

İşlem sonrası

Dikkat edilmesi gereken noktalar

Örnek senaryo: Çağrı merkezlerinde transkriptleri özetleme

Sıfır çekim

Sonuçlar ve gözlemler

Az çekim

Sonuçlar ve gözlemler

Hassas ayarlama

Sonuçlar ve gözlemler

Sonuçlar

Özetlemeyi değerlendirme

Sorumlu kullanım

Katkıda Bulunanlar

Sonraki adımlar

Geri Bildirim

Geri Bildirim

Ek kaynaklar

Aracılığıyla paylaş

Konuşma özeti

Konuşma senaryoları

Konuşma özetleme hizmeti

Mimari

İş Akışı

Ön işlem

Summarizer

İşlem sonrası

Dikkat edilmesi gereken noktalar

Örnek senaryo: Çağrı merkezlerinde transkriptleri özetleme

Sıfır çekim

Sonuçlar ve gözlemler

Az çekim

Sonuçlar ve gözlemler

Hassas ayarlama

Sonuçlar ve gözlemler

Sonuçlar

Özetlemeyi değerlendirme

Sorumlu kullanım

Katkıda Bulunanlar

Sonraki adımlar

İlgili kaynaklar

Geri Bildirim

Geri Bildirim

Ek kaynaklar