Önceliklendirme ve düzeltme çerçevesinin hedeflerini anlama

Değerlendirme sonuçları hataları ortaya çıkardığında, bir sonraki zorluk bunlarla ne yapacağını bilmektir. Yapılandırma ve düzeltme çerçevesi, puanları doğru şekilde yorumlamak, arızaları teşhis etmek, sorumluluğu belirlemek ve sorunları belirli düzeltmelerle eşleştirmek için sistematik ve yapılandırılmış bir yöntem sağlar. Bu şekilde yanlış kök nedeni takip etmeden veya puanları sadece yalıtılmış olarak iyileştirmeden çalışabilirsiniz. Bu makalede çerçevenin hedefleri, yapısı ve önkoşulları tanıtılarak değerlendirme sonuçlarıyla sistematik olarak çalışabilirsiniz ve aracınızı üretime hazır olma durumuna taşıyabilirsiniz.

Çerçeve size ne yardımcı olur?

Çerçeve, aşağıdakilere yardımcı olarak sonuçlardan eyleme geçmek için yapılandırılmış bir yol sağlar:

  • Değerlendirme puanlarını bağlamda yorumlama
  • Risk ve etki temelinde hataların önceliklerini belirleme
  • Test çalışmalarının neden başarısız olduğunu tanılama
  • Birbirinden ayırt edin:
    • Değerlendirme kurulum sorunları
    • Aracı yapılandırma sorunları
    • Platform veya yetenek sınırlamaları

Tanılanan her sorun, belirli, test edilebilir bir düzeltme eylemiyle eşleştirilir.

Amaç, puanları tek başına optimize etmek değil, gerçek dünyadaki aracı davranışını iyileştirecek alanlara çabayı yoğunlaştırmaktır.

Daha geniş bir yaşam döngüsünde bu çerçeve sürekli iyileştirmeyi destekler:

  1. Ajanı tasarlayın ve oluşturun.
  2. Yapılandırılmış testlerle davranışı değerlendirme.
  3. Bu makale serisini kullanarak sorunları triyaj yapın ve giderin.
  4. Aracı geliştikçe yeniden değerlendirin ve yineleme yapın.

Değerlendirme sonuçlarını eyleme dönüştürülebilir sinyaller olarak değerlendirerek, denemeden tekrarlanabilir, üretime hazır aracılara verimli bir şekilde geçersiniz.

Çerçeve yapısı

Çerçeve, dört önceliklendirme katmanı halinde düzenlenmiştir. Her katman, puanları yorumlamaktan kök nedenleri tanılamaya ve sistemik desenleri tanımlamaya kadar daha derin bir analiz düzeyine karşılık gelir.

Çerçeve ayrıca uçtan uca uygulanan çerçeveyi gösteren pratik örnekler ve bulguları ve kararları izlemenize yardımcı olacak bir hata günlüğü şablonu içerir.

Hızlı başvuru, etkin oturumlar sırasında kullanılmak üzere önceliklendirme ve düzeltme işleminin sıkıştırılmış bir sürümünü sağlar.

Kök neden türleri

Değerlendirme hataları, sahibi veya işlem yapması gereken kişilere göre üç kök neden türünden birine atanır.

Kök neden türü Sahip Açıklama
Değerlendirme kurulumu sorunu Değerlendirme yazarı Test durumu, beklenen yanıt veya değerlendirici hatalı. Aracı düzgün çalışıyor olabilir.
Aracı yapılandırma sorunu Aracı oluşturucu Aracı, yapılandırma değişiklikleriyle giderilebilen yanlış bir yanıt üretir.
Platform sınırlama sorunu Platform ekibi Platform davranışı soruna neden oluyor ve yapılandırma aracılığıyla çözülemiyor.

Tasarım ilkeleri

Tasarım ilkeleri, etkili önceliklendirme ve düzeltme sağlamak için çerçeveyi uygulamada nasıl uygulayacağınız konusunda yol gösterir.

Principle Pratikte ne anlama gelir?
Değerlendirme sonuçlarından başlayın Soyut varsayımlarla değil gerçek geçiş oranları ve başarısız test çalışmaları ile başlayın.
Önce yanlış çalışmayı ortadan kaldırın Boşa harcanan çabayı önlemek için aracıyı araştırmadan önce değerlendirme kurulumunu doğrulayın.
Temel neden → sorumlu → eylem Her tanılama yolunun net bir sahip ve somut bir eylem tanımladığından emin olun.
Sınıflandırmayı doğrulama Düzeltmeden sonra değerlendirmeleri yeniden çalıştırın. Hatalar devam ederse yeniden önceliklendirme yapın.
Bileşik nedenler bekleyin Tek bir hatanın birden çok katkıda bulunma nedeni olabileceğini kabul edin.
Değişkenlik hesabı Model ve değerlendirici değişkenliğini göz önünde bulundurun. Sonuçları onaylamak için değerlendirmeleri yeniden çalıştırın.

Değerlendirme kümesi mimarisi

Önceliklendirmenin etkinliği, değerlendirme kümelerinin nasıl yapılandırıldığına bağlıdır.

  • İyi yapılandırılmış kümeler (kalite sinyali veya senaryoya göre düzenlenmiştir) yorumlanabilir puanlar ve etkili önceliklendirmeler üretir.
  • Kötü yapılandırılmış kümeler (karışık sinyaller, belirsiz sınırlar) gürültülü sonuçlar ve belirsiz tanılamalar üretir.

Puanların yorumlanması zorsa, tek tek hataları önceliklendirmeden önce değerlendirme kümelerini yeniden yapılandırmayı göz önünde bulundurun.

Başlamadan önce

Her bir test vakası için bir geçme veya kalma sonucu da dahil olmak üzere değerlendirme sonuçlarının hazır olması gerekir. Henüz değerlendirme çalıştırmadıysanız Aracı değerlendirmesiyle testi otomatikleştirme bölümünde yer alan adımları izleyin ve daha fazla kılavuz için Aracı değerlendirmesini tasarlama ve kullanıma hazır hale getirme bölümüne bakın.

Sonraki adım

Hazır olma durumunu belirlemek için değerlendirme sonuçlarınızı yorumlayarak başlayın.

Değerlendirme puanlarını yorumlama ve hazır olma durumunu değerlendirme

  • Last updated on