Değerlendirme önceliklendirme çerçevesini pratik senaryolar aracılığıyla uygulama

Bu uçtan uca kılavuzlar, değerlendirme önceliklendirme çerçevesi katmanlarının uygulamada birlikte nasıl çalıştığını gösterir. Her yolculuk farklı bir değerlendirme senaryosundan başlar ve ayrı bir tanılama yolunu izler.

İzlenecek yollar, çerçevenin adım adım nasıl uygulanacağını gösterir. Gerçek dünya aracı değerlendirme senaryolarında değerlendirme sonuçlarından tanılamaya, düzeltmeye ve doğrulamaya nasıl geçileceklerini anlamak için bu örnekleri kullanın.

Tip

Bu örnekler üzerinde çalışmadan önce, temel kavramlar ve ilkeler de dahil olmak üzere çerçevenin hedeflerini gözden geçirin.

Yolculuk Başlangıç durumu Göstermiş olduğu şey
Yolculuk 1 İlk değerlendirme çalıştırması Uçtan uca akış: Yorumlama → Önceliklendirme → Triaj → Düzeltme → Doğrulama
Yolculuk 2 Birkaç yinelemeden sonra puanlar sabit kalır Kalıp analizi, yeniden sınıflandırma ve platform sınırlamalarına yönelik geçici çözümler
Yolculuk 3 Bir değişiklikten sonra puanlar geriler Regresyon algılama, yönerge çakışması tanılama ve takas çözümü

Uyarı

Bu örnekler açıklayıcıdır ve birden çok müşteri değerlendirme çalıştırması genelinde gözlemlenen yaygın desenleri temel alır. Test senaryoları, puanlar ve ajan ayrıntıları, tek bir etkileşimdeki kayıtlar yerine temsili bileşiklerdir. Gösterilen tanılama yaklaşımları ve düzeltme stratejileri, gerçek uygulamalarda kullanılan uygulamaları yansıtır.

Yolculuk 1: İlk değerlendirme çalışması

Değerlendirme paketinizi ilk kez bir müşteri destek temsilcisinde çalıştırırsınız. Sonuçlar şunlardır:

Değerlendirme kümesi Geçiş hızı
Güvenlik ve kişisel veriler %100
Temel İş soruları ve yanıtları %87
Bilgi temel oluşturma 71%
Araç çağırma 92%
Tetikleyici yönlendirmesi %88
Ton ve kalite 83%
İlerletme %90
Genel 85%

1. Adım: Puanları yorumlama (Katman 1)

Eşikleri ayarlamak ve hangi değerlendirme kümelerinin engelleyici eşiklerin altında olduğunu belirlemek için puan yorumlama tablosunu kullanın.

Değerlendirme kümesi Score Eşik Durum
Güvenlik ve kişisel veriler %100 95% engelleme Başarılı
Temel İş soruları ve yanıtları %87 Engelleme oranı: %80 Başarılı
Bilgi temel oluşturma 71% Engelleme oranı: %80 Aşağıda engelleme
Araç çağırma 92% 85% engelleme Başarılı
Tetikleyici yönlendirmesi %88 Engelleme oranı: %80 Başarılı
Ton ve kalite 83% 75% engelleme oranı Başarılı
İlerletme %90 85% engelleme Başarılı

Hazırlık değerlendirmesi: Yinele. Bilgi temeli, engelleme eşiğinin altında. Orada iyileştirme çalışmalarına odaklanın.

2. Adım: Hataların önceliklerini belirleme (Katman 2, Adım 0)

Durum: Bilgi dayandırmada yedi test senaryosu vardır. İki test çalışması başarısız oldu: KG-003 ve KG-005. Her iki test çalışması da temel bir iş değerlendirme kümesinde olduğundan öncelik 2'dir. Sadece ikisi olduğu için ikisini de öncelik sırasına göre değerlendir.

Referans: Arızaları öncelik sırasına koyma (Katman 2, Adım 0)

3. Adım: Triaj KG-003 (Katman 2, Adım 1-2)

Test çalışması KG-003:

  • Örnek giriş: "İade ilkeniz nedir?"
  • Beklenen yanıt: "Tüm satın almalar için 30 günlük iade penceresi sunuyoruz."
  • Temsilcinin yanıtı: "İade politikamız, satın alma tarihinden itibaren 15 iş günü içinde iadelere olanak tanır."
  • Değerlendirme yöntemi: Anahtar sözcük eşleşmesi
  • Sonuç: Başarısız (beklenen "30 gün", aracı "15 iş günü" dedi)

Değerlendirme kurulumunu doğrulayın (Katman 2'nin 1. adımı):

Soru Yanıt Sonuç
Temsilcinin yanıtı kabul edilebilir mi? Kaynak belgeyi denetlemem gerekiyor. Önce kaynağı denetleyin.
Beklenen yanıt hala geçerli mi? Kaynak belgede "15 iş günü" yazıyor. İlke güncelleştirildi. Hayır Beklenen yanıt güncel değil.

Sınıflandırma: Değerlendirme kurulumu sorunu. Güncel olmayan beklenen yanıt. Temsilci doğru. Değerlendirme yanlış.

Adım 4: Triaj KG-005 (Katman 2, Adım 1-2)

Test çalışması KG-005:

  • Örnek giriş: "Premium plan genişletilmiş garanti içeriyor mu?"
  • Beklenen yanıt: "Premium plan iki yıllık standart garanti içerir. Genişletilmiş garanti seçenekleri ayrıca satın alınabilir."
  • Temsilcinin yanıtı: "Evet, Premium plan, tüm parçaları ve işçiliği kapsayan genişletilmiş üç yıllık garanti kapsamaktadır."
  • Değerlendirme yöntemi: Anlamı karşılaştırma
  • Sonuç: Başarısız (temsilci garanti ayrıntılarını uydurdu)

Değerlendirme kurulumunu doğrulayın (Katman 2'nin 1. adımı):

Soru Yanıt Sonuç
Temsilcinin yanıtı kabul edilebilir mi? Hayır "Üç yıllık uzatılmış garanti" ima edilir. Devam etmek
Beklenen yanıt güncel mi? Evet. Kaynak, iki yıllık standart garantiyi onaylar. Devam etmek
Test çalışması gerçekçi mi? Evet. Yaygın müşteri sorusu. Devam etmek
Alternatif bir yanıt doğru olabilir mi? Hayır Garanti ayrıntıları olgusaldır. Devam etmek
Değerlendirme yöntemi uygun mu? Evet.Anlam doğruluğu için anlamın doğru olduğunu karşılaştırın. Değerlendirme geçerli.

Aracıyı tanılayın (Katman 2'nin 2. adımı):

Soru Yanıt
Kaynak içerik yanlış mı? Hayır Kaynakta "iki yıllık standart garanti" yazıyor.
Aracı, kaynakta yer alan bilgilerle çelişti mi? Evet. Kaynak "iki yıllık standart garanti" diyor ancak aracı "üç yıllık uzatılmış garanti" dedi.
Temsilci herhangi bir kaynak kullanmadan yanıt verdi mi? Muhtemelen evet. "Tüm parçaları ve işçiliği kapsayan üç yıllık genişletilmiş garanti" ayrıntıları hiçbir kaynakta mevcut değildir.

Sınıflandırma: Aracı yapılandırması sorunu. Bilgi temeli oluşturma boşluğu. Temsilci, yapılandırılmış bilgi kaynaklarında mevcut olmayan garanti ayrıntılarını sağladı.

5. Adım: Düzeltme (Katman 3)

KG-003 (Değerlendirme kurulumu düzeltme):

  • Değiştirmek: Beklenen değeri "30 günlük iade penceresi" ile "15 iş günü" olarak güncelleştirin
  • Yeni -den çalıştırın: Yalnızca KG-003
  • Beklentiler: Başarılı

KG-005 (Aracı yapılandırma düzeltmesi):

  • Değiştirmek: Sistem istemine temel alma yönergesi ekleyin: "Yalnızca bilgi kaynaklarınızda bulunan bilgilere göre yanıt verin. Bilgi mevcut değilse, bunu belirtin.
  • Tekrar çalıştırın: Tam bilgi temellendirme değerlendirme seti (aracı yapılandırma değişikliğinin daha geniş etkileri olabilir)
  • Bekliyoruz: KG-005 geçti. Diğer test durumları gerileme yapmamalıdır.

6. Adım: Doğrulama

Her iki değişiklikte de bilgi temel alma değerlendirme kümesini yeniden çalıştırın:

Önce Sonra
%71 (5/7 geçer) 86% (7/6 geçiş)

Değerlendirme: Bilgi temeli artık %80 engelleme eşiğinin üzerindedir. Bir hata (KG-007) kalır ve hazır olma durumunu engellemez. Sonraki yinelemede gözden geçirin.

7. Adım: Belge (Katman 4)

Hata günlüğündeki kayıt:

Test çalışması Kök neden türü Sorun gözlemlendi Uygulanan değişiklik Çözümlendi
KG-003 Değerlendirme kurulumu Beklenen yanıt güncel değil (ilke 30 günden 15 iş gününe değiştirildi). Beklenen değer güncelleştirildi Yes
KG-005 Aracı yapılandırması Hiçbir kaynakta olmayan yanlış garanti ayrıntıları. Sistem istemine topraklama yönergesi eklendi Yes

Desen notu: Her değerlendirme çalıştırması öncesinde kaynak belgelere göre beklenen değerleri doğrulayın. Bu adımı ön değerlendirme denetim listesine ekleyin.

Hazır olma yeniden denetimi: Tüm değerlendirme kümeleri artık engelleyici eşiklerin üzerindedir.

Hazırlık değerlendirmesi: Bilinen eksiklikleri olan aracıyı devreye alın (KG-007 belgelendi, izleme planı hazır).

Başvuru: Katman 4: Kalıpları analiz edin ve temsilcinizi sürekli iyileştirin

Yolculuk 2: Puan platosu

Durum: Bir ürün destek aracısı üzerinde dört yineleme çalıştırırsınız. Dört çalışma boyunca gerçeklik doğruluğu %78'de kalır. Her çalıştırmadan sonra hızlı değişiklikler yaparsınız ancak hiçbir iyileştirme görmezsiniz.

1. Adım: Desenleri denetleme (Katman 4)

Dört yinelemede de hata günlüğünü gözden geçirin:

Yineleme Score Uygulanan değişiklik Sonuç
1 %78 (temel) —
2 %79 "Ürün belirtimleri hakkında kesin olun" eklendi Anlamlı bir değişiklik yok
3 77% Doğruluk talimatlarını öncelikli hale getirmek için yeniden düzenlenmiş talimat Anlamlı bir değişiklik yok
4 %78 Doğru ürün yanıtlarının çalışmış örnekleri eklendi Anlamlı bir değişiklik yok

Eğilim: Düz. Düzeltme gerçek kök nedeni hedeflemiyor.

Başvuru: Katman 4: Kalıpları analiz edin ve temsilcinizi sürekli iyileştirin

2. Adım: Başarısız test çalışmalarını analiz etme

Tüm yinelemelerde altı kalıcı hatayı gözden geçirin.

Test çalışması Şu tarihten beri başarısız: Sorun gözlemlendi
FA-002 Yineleme 1 Temsilci ürün el kitabı yerine SSS sayfasına atıfta bulunur.
FA-005 Yineleme 1 Temsilci ürün el kitabı yerine SSS sayfasına atıfta bulunur.
FA-008 Yineleme 1 Temsilci ürün el kitabı yerine SSS sayfasına atıfta bulunur.
FA-011 Yineleme 1 Temsilci ürün el kitabı yerine SSS sayfasına atıfta bulunur.
SK-014 Yineleme 1 Temsilci ürün el kitabı yerine SSS sayfasına atıfta bulunur.
FA-019 Yineleme 2 Aracı, SSS'den kısmi bir yanıt veriyor, kılavuzdaki ayrıntıları gözden kaçırıyor

Konsantrasyon analizi: Altı hatadan beşi (83%) aynı kök nedeni içerir: Aracı bilgileri ürün el kitabı yerine SSS sayfasından alır.

3. Adım: Yeniden deneme (Katman 2)

Başlangıçta hataları Aracı yapılandırma sorunu: Yanlış kaynak alındı olarak sınıflandırın.

İstemlerin yeniden yazılması, sıralamanın değiştirilmesi ve örneklerin eklenmesi dahil olmak üzere, çeşitli aracı yapılandırması değişikliklerini uygulayın. Bu değişiklikler ölçülebilir bir iyileştirmeye neden olmaz. Bu noktada, platform sınırlama göstergelerinde hatayı doğrulayın.

Indicator Denetle
Hata birden çok istem veya yapılandırma varyasyonu arasında kalıcı olur Evet. Değişiklik olmadan dört yineleme.
Alma işlemi, doğru kaynak yapılandırmasına rağmen tutarlı bir şekilde yanlış belgeler döndürüyor Evet. Ürün kılavuzu yerine sürekli olarak SSS bölümü getiriliyor.

Yeniden sınıflandırma: Bu sorun, alma derecelendirmesi ile ilgili bir platform sınırlamasıdır. Platform, bu tür sorgularda ürün kılavuzuna kıyasla SSS bölümünü her zaman öncelikli olarak gösterir ve daha sonraki istem veya talimat değişiklikleri arama sonuçlarını etkilemez.

Referans: 2. Katman: Önceliklendirme aracındaki arızalar

4. Adım: Düzeltme (Katman 3—Platform sınırlaması)

Bir hatayı platform sınırlaması olarak sınıflandırdığınızda, aracı yapılandırma değişiklikleri yapmak yerine geçici çözümlere ve belgelere odaklanın.

Referans: Platform sınırlama yanıtı

Geçici çözüm stratejisi: Etkiyi azaltmak için aşağıdaki risk azaltma yaklaşımlarından birini veya daha fazlasını uygulayın:

  • Kullanıcı sorgularında kullanılan sözlükle uyumlu daha net bölüm başlıklarıyla ürün el kitabını yeniden yapılandırın.
  • Kılavuzdaki kritik ürün spesifikasyonlarını yedekli erişim yolları oluşturmak amacıyla FAQ'a çoğaltın.
  • Geri alma parça eşleştirmesini geliştirmek amacıyla, her bölümün tek ve iyi tanımlanmış bir soruyu ele alması için içeriği elle yeniden yapılandırmak.

Bu yaklaşımlar, istem veya yönerge değişikliklerine bağlı kalmadan alma davranışını etkilemeyi amaçlar.

İlerletme ve izleme: Sınırlama devam ederse sorunu belgeleyip platform ekibine iletir.

  • Sınırlamayı şu şekilde belgelendirin: "<Ürün özelliklerine> ilişkin sorgular, kılavuzda kesin bilgiler yer almasına rağmen, ürün kılavuzu (son güncellenme tarihi: <date>, <n> sayfa) yerine sürekli olarak SSS sayfasını (son güncellenme tarihi: <date>, <N> sayfa) getiriyor."
  • Destekleyici kanıt sağlayın: Sorguyu, beklenen kaynağı ve alınan gerçek kaynağı gösteren birden çok test çalışması ekleyin.
  • Araştırma için gönderin.
  • Dokümante edilmiş kısıtları ve kanıtları izleme ve takip için platform ekibiyle paylaşın.

5. Adım: Doğrulama

Ürün el kitabını yeniden yapılandırıp gereksiz SSS girişleri ekledikten sonra, etkisini doğrulamak amacıyla ilgili değerlendirme kümesini yeniden çalıştırın.

Önce Sonra
78% (dört yinelemede değişmeden) 89%

Değerlendirme: Geçici çözüm genel performansı artırır. Bir arıza kaldı (FA‑019). Sorgu, yeniden yapılandırılmış içerikte bile doğru kaynağı güvenilir bir şekilde almak için çok belirsiz. Bu hata bilinen bir sınırlama olarak kaydedilir.

6. Adım: Belge

Hata günlüğünü son sınıflandırmayı ve sonuçları yansıtacak şekilde güncelleştirin.

Test çalışması Kök neden türü Sorun gözlemlendi Uygulanan değişiklik Çözümlendi
FA-002, 005, 008, 011, 014 Platform sınırlaması Bilgi getirme sıralaması, ürün kılavuzuna göre Sıkça Sorulan Sorular'a öncelik verir. Yeniden yapılandırılmış kılavuz başlıkları; SSS'de yinelenen kritik özellikler Yes
FA-019 Platform sınırlaması Belirsiz sorgu doğru kaynağı güvenilir bir şekilde alamıyor Bilinen bir sınırlama olarak belgelendi No

Anahtar çıkarım: Eğer değerlendirme puanları, birden çok istem veya yönerge değişikliği sonucunda sabit kalıyorsa, kök nedenin istemden kaynaklanma olasılığı düşüktür. İstem mühendisliğine daha fazla yatırım yapmadan önce altyapı ve platformun işleyişini doğrulayın.

3. Yolculuk: Güncelleştirme sonrası regresyon

Durum: Ton ve empatiyi geliştirmek için sistem istemini güncelleştirmişsiniz. Ton puanları yükseldi ancak olgusal doğruluk engelleme eşiğinin altına düşerek bir gerileme yaşandı.

Değişiklik öncesinde:

Değerlendirme kümesi Score
Olgusal doğruluk 91%
Ton ve kalite 83%
Diğerleri Eşiğin üzerinde

Sistem istemine şu yönergeyi eklediniz: "Her zaman müşterinin endişesini kabul edin ve yanıtınızı vermeden önce empati gösterin. Müşterinin deneyimini doğrulayarak her yanıtı başlatın."

Değişiklik sonrasında:

Değerlendirme kümesi Önce Sonra Delta
Olgusal doğruluk 91% 76% -15%
Ton ve kalite 83% 91% +8%

1. Adım: Yorumlama (Katman 1)

Olgu doğruluğu artık 80% engelleme eşiğinin altındadır. Bu değişiklik bir regresyona neden olur ve hazır olma durumunu engeller.

Başvuru: Katman 1: Puanları yorumlama ve hataları tanımlama

2. Adım: Desenleri denetleme (Katman 4)

Çapraz sinyal desen eşleşmesi: Ton iyileşirken doğruluk azalır.

Belirtilen kök neden: Yönerge çakışması.

Yeni eklenen ton yönlendirmesi, modelin dikkatini çekmek için doğruluk yönergeleriyle rekabet eder.

Başvuru: Katman 4: Kalıpları analiz edin ve temsilcinizi sürekli iyileştirin

3. Adım: Yeni hataları triyaj etme (Katman 2)

Değişiklik öncesinde geçen ve şimdi başarısız olan olgusal doğruluk testi çalışmalarını gözden geçirin.

Test senaryosu FA-007:

  • Giriş: "Dosya yükleme boyutu en fazla kaç olabilir?"
  • Beklenen: "Maksimum dosya yükleme boyutu standart hesaplar için 25 MB ve kurumsal hesaplar için 100 MB'tır."
  • Aracıdan önce: "Maksimum dosya yükleme boyutu standart hesaplar için 25 MB ve kurumsal hesaplar için 100 MB'tır."
  • Temsilciden sonra: "Dosya yükleme boyutlarıyla ilgili endişelerinizi tamamen anlıyorum – önemli belgeleri yüklemeye çalışırken bu oldukça rahatsız edici olabilir! İhtiyacınız olan tüm bilgilere sahip olduğunuzdan emin olmak istiyorum. Standart planlar için karşıya yükleme boyutu üst sınırı 25 MB'tır."

1. Adım Değerlendirmeyi doğrulayın: Beklenen yanıt doğru ve değerlendirme geçerli. Güncelleştirme sonrası yanıt, kurumsal hesap ayrıntılarını atlar.

2. Adım Tanılamak: Yeni ton yönergesi, her yanıtta empati önsözü gerektirir. Bu gereksinim yanıt bütçesini ve model dikkatini tüketir ve eksik olgusal yanıtlara yol açar.

Sınıflandırma: Aracı yapılandırması sorunu. Tonda ve doğruluk kılavuzunda yer alan talimatlar arasında çelişki.

Referans: 2. Katman: Önceliklendirme aracındaki arızalar

4. Adım: Düzeltme (Katman 3)

Sorun, üslup kılavuzunun kendisi değil; sistem içindeki birbiriyle çakışan önceliklerdir. Düzeltme, yönergeleri ayırmaya ve önceliklendirmeye odaklanır.

Eski yönerge (tek, rakip): "Her zaman müşterinin endişesini kabul edin ve yanıtınızı vermeden önce empati gösterin. Müşterinin deneyimini doğrulayarak her yanıtı başlatın."

Yeni yönerge (ayrılmış, önceliklendirilmiş): "Müşterinin sorusuna her zaman eksiksiz bir olgusal yanıt ekleyin. Kısalık için ayrıntıları atlamayın. Ayrıca müşteri hayal kırıklığını veya endişesini ifade ettiğinde bunu kısaca kabul edin."

Önemli değişiklikler:

  • Doğruluk açıkça önceliklendirilir.
  • Olgusal yanıtların eksiksizliği doğrudan belirtilir.
  • Empati evrensel değil koşulludur.
  • "Kısaca" ifadesi, içeriğin kesilmesini önlemek için empatiyi sınırlar.

Referans: Katman 3: Hata desenlerini düzeltme stratejileriyle eşleştirme

5. Adım: Doğrulama

Sistem istemi değişikliklerinin büyük etkisi olabileceğinden, tam değerlendirme paketini yeniden çalıştırın.

Değerlendirme kümesi Değişiklik öncesinde Regresyondan sonra Değişiklik sonrasında
Olgusal doğruluk 91% 76% %90
Ton ve kalite 83% 91% 89%
Diğerleri Eşiğin üzerinde Eşiğin üzerinde Eşiğin üzerinde

Değerlendirme: Her iki sinyal de artık engelleme eşiklerini karşılıyor. Sinyal gücü en yüksek seviyesine tam olarak geri dönmese de, %75 engelleme eşiğinin oldukça üzerinde kalıyor ve orijinal başlangıç değerine göre iyileşme gösteriyor.

6. Adım: Belge

Test çalışması Kök neden türü Sorun gözlemlendi Uygulanan değişiklik Çözümlendi
FA-007, FA-012, FA-018 (ve diğerleri) Aracı yapılandırması Ton rehberliği, olguların tamlığına öncelik aldı Doğruluğu önceliklendirmek ve koşullu empati uygulamak için yeniden yapılandırılmış istem Yes

Ana fikir: Sistem istemi değişikliklerini yalnızca hedef sinyale değil, her zaman tam değerlendirme dizisine karşı doğrulayın. Yönergeler modele dikkat etmek için rekabet eder ve bir alandaki geliştirmeler diğer alanlarda regresyonlara neden olabilir.

Dikkat edilmesi gereken desen: Bu senaryo, yönerge bütçesi sorununun bir örneğidir. komut istemleri büyüdükçe, yönerge çakışmaları daha olası hale gelir. Düzenli birleştirme ve basitleştirme kararlılığı korumaya yardımcı olur.

Yolculuklar genelinde yaygın desenler

Her yolculuk, farklı bir tanılama yolunu göstermek için farklı bir senaryodan başlar. Tek bir ajanın tam değerlendirme yaşam döngüsü boyunca nasıl ilerlediğini—skor yorumu, hata analizi, düzeltme ve doğrulama—görmek için, en eksiksiz uçtan uca kılavuzu sağlayan Yolculuk 1'i gözden geçirin.

Bu tabloda yolculuklar boyunca gözlemlenen yinelenen desenler ve pekiştirdikleri pratik dersler vurgulanmıştır.

Desen Göründüğü yer Ana fikir
Aracıya ulaşmadan önce değerlendirmeyi doğrulama Yolculuk 1 Harcanan çabanın yaygın bir kaynağı, değerlendirmenin kendisi yanlış olduğunda aracı davranışının sorunlarını gidermektir.
Düz puanlar yanlış sınıflandırılmış kök nedeni gösterir Yolculuk 2 Yinelenen düzeltme sonuçları iyileştirmezse sorunu yeniden sınıflandırın. Yanlış kök nedeni ele alıyor olabilirsiniz.
İstem değişikliklerinden sonra değerlendirme paketinin tamamını yeniden çalıştırma Yolculuk 3 İstem değişiklikleri birçok kalite göstergesini etkileyebilir. Her zaman hedef alanın dışındaki regresyonları denetleyin.
Sonuçları ve kararları belgele Tüm yolculuklar Hata günlüğünün tutulması, sonraki yinelemelerde aynı kök nedenlerin yeniden keşfedilmesine engel olur.
Bilinen boşluklar kabul edilebilir olabilir Journey 1 (KG-007), Journey 2 (FA-019) Her hata gönderimden önce çözülmek zorunda değildir. Bilinen boşlukları belgeleyin ve bunları zaman içinde izleyin.

Sonraki Adımlar

Bu örnekleri gözden geçirdikten sonra, geçerli durumunuzla en iyi eşleşen sonraki eylemi seçin:

  • Last updated on