Genie alanında karşılaştırmaları kullanma

Bu sayfada Genie alanınızın doğruluğunu değerlendirmek için karşılaştırmaların nasıl kullanılacağı açıklanmaktadır.

Genel bakış

Karşılaştırmalar, Genie'nin genel yanıt doğruluğunu değerlendirmek için çalıştırabileceğiniz bir dizi test sorusu oluşturmanıza olanak sağlar. En sık sorulan kullanıcı sorularını kapsayan iyi tasarlanmış bir ölçütler kümesi, Genie alanınızı geliştirdikçe doğruluğunu değerlendirmenize yardımcı olur. Her Genie alanında en fazla 500 karşılaştırma sorusu bulunabilir.

Karşılaştırma soruları yeni konuşmalar olarak çalıştırılır. Zincirlenmiş bir Genie konuşmasıyla aynı bağlamı taşımazlar. Her soru, sağlanan örnek SQL ve SQL işlevleri dahil olmak üzere alanda tanımlanan yönergeler kullanılarak yeni bir sorgu olarak işlenir.

Karşılaştırma soruları ekleme

Karşılaştırma soruları, kullanıcılarınızın sordığı yaygın soruları ifade etmenin farklı yollarını yansıtmalıdır. Genie'nin söz konusu ifadelerdeki çeşitlemelere veya farklı soru biçimlerine verdiği yanıtı denetlemek için bunları kullanabilirsiniz.

Karşılaştırma sorusu oluştururken, isteğe bağlı olarak sonuç kümesi doğru yanıt olan bir SQL sorgusu ekleyebilirsiniz. Karşılaştırma çalıştırmaları sırasında doğruluk, SQL sorgunuzdaki sonuç kümesi Genie tarafından oluşturulan sorguyla karşılaştırılarak değerlendirilir. Unity Kataloğu SQL işlevlerini karşılaştırmalar için altın standart yanıtlar olarak da kullanabilirsiniz.

Karşılaştırma sorusu eklemek için:

1. Genie alanının üst kısmında Karşılaştırmalar'a tıklayın.

2. Karşılaştırma ekle'ye tıklayın.

3. Soru alanına test etmek için bir karşılaştırma sorusu girin.

4. (İsteğe bağlı) Soruyu yanıtlayan bir SQL sorgusu sağlayın. Unity Kataloğu SQL işlevleri de dahil olmak üzere SQL Yanıt metin alanına yazarak kendi sorgunuzu yazabilirsiniz. Alternatif olarak, Genie'nin SQL sorgusunu sizin için yazmasını sağlamak için SQL Oluştur'a tıklayın. Girdiğiniz soruyu doğru yanıtlayan bir SQL deyimi kullanın.

   Not

   Bu adım önerilir. Yalnızca bu örnek SQL deyimini içeren sorular doğruluk açısından otomatik olarak değerlendirilebilir. SQL Yanıtı içermeyen tüm soruların puanlanması için el ile gözden geçirme gerekir. SQL Oluştur düğmesini kullanıyorsanız, soruyu doğru yanıtladığınızdan emin olmak için deyimini gözden geçirin.

5. (İsteğe bağlı) Sorgunuzu çalıştırmak ve sonuçları görüntülemek için çalıştır'a tıklayın.

6. Düzenlemeyi bitirdiğinizde Karşılaştırma ekle'ye tıklayın.

7. Bir soruyu kaydettikten sonra güncelleştirmek için, soruyu güncelleştir iletişim kutusunu açmak için kalem simgesine tıklayın.

Alternatif soru ifadelerini test etmek için karşılaştırmaları kullanma

Genie alanınızın doğruluğunu değerlendirirken testleri gerçekçi senaryoları yansıtacak şekilde yapılandırmak önemlidir. Kullanıcılar aynı soruyu farklı şekillerde sorabilir. Databricks, doğruluğu tam olarak değerlendirmek için aynı sorunun birden çok tümcesini eklemeyi ve karşılaştırma testlerinizde aynı örnek SQL'i kullanmanızı önerir. Genie alanlarının çoğu aynı sorunun iki ila dört tümcesini içermelidir.

Karşılaştırma sorularını çalıştırma

Genie alanında en azından CAN EDIT izinleri olan kullanıcılar, istedikleri zaman bir karşılaştırma değerlendirmesi çalıştırabilir. Tüm karşılaştırma sorularını çalıştırabilir veya test etmek için bir soru alt kümesi seçebilirsiniz.

Genie her soru için girişi yorumlar, SQL oluşturur ve sonuçları döndürür. Daha sonra oluşturulan SQL ve sonuçlar, karşılaştırma sorusunda tanımlanan SQL Yanıtı ile karşılaştırılır.

Tüm karşılaştırma sorularını çalıştırmak için:

1. Genie alanının üst kısmında Karşılaştırmalar'a tıklayın.
2. Test çalıştırmasını başlatmak için Karşılaştırmaları çalıştır'a tıklayın.

Karşılaştırma sorularının bir alt kümesini çalıştırmak için:

1. Genie alanının üst kısmında Karşılaştırmalar'a tıklayın.
2. Test etmek istediğiniz soruların yanındaki onay kutularını seçin.
3. Seçili sorularda test çalıştırmasını başlatmak için Seçili çalıştır'a tıklayın.

Ayrıca önceki bir karşılaştırma sonucundan soruların bir alt kümesini seçebilir ve iyileştirmeleri test etmek için bu belirli soruları yeniden çalıştırabilirsiniz.

Karşılaştırmalar, sayfadan uzaklaştığınızda çalışmaya devam eder. Çalıştırma tamamlandığında Değerlendirme sekmesinde sonuçları de kontrol edebilirsiniz.

Derecelendirmeleri yorumlama

Aşağıdaki ölçütler Genie yanıtlarının nasıl derecelendirildiğini belirler:

Condition	Rating
Genie, sağlanan SQL Yanıtıyla tam olarak eşleşen SQL oluşturur	İyi
Genie, SQL Yanıt tarafından üretilen sonuç kümesiyle tam olarak eşleşen bir sonuç kümesi oluşturur	İyi
Genie , SQL Yanıtı ile aynı verilerle bir sonuç kümesi oluşturur ancak farklı sıralanır	İyi
Genie, SQL Yanıtı ile aynı 4 anlamlı basamağı yuvarlayan sayısal değerlerle bir sonuç kümesi oluşturur	İyi
Genie boş bir sonuç kümesi oluşturan veya hata döndüren SQL oluşturur	Kötü
Genie, SQL Answer tarafından üretilen sonuç kümesine kıyasla ek sütunlar içeren bir sonuç kümesi oluşturur	Kötü
Genie, SQL Yanıtı tarafından üretilen tek hücre sonucundan farklı tek bir hücre sonucu oluşturur	Kötü

El ile gözden geçirme gerekiyor: Genie doğruluğu değerlendiremediğinde veya Genie tarafından oluşturulan sorgu sonuçları sağlanan SQL Yanıtından elde edilen sonuçlarla tam eşleşme içermediğinde yanıtlar bu etiketle işaretlenir. SQL Yanıtı içermeyen karşılaştırma soruları el ile gözden geçirilmelidir.

Erişim karşılaştırması değerlendirmeleri

Genie alanınızdaki doğruluğu zaman içinde izlemek için tüm kıyaslama değerlendirmelerinize erişebilirsiniz. Bir alanın Karşılaştırmalarını açtığınızda Değerlendirmeler sekmesinde zaman damgalı değerlendirme çalıştırmaları listesi görüntülenir. Değerlendirme çalıştırması bulunamazsa bkz . Karşılaştırma soruları ekleme veya Karşılaştırma soruları çalıştırma.

Değerlendirmeleri sekmesi, aşağıdaki kategorilerde bildirilen değerlendirmelere ve performanslarına genel bir bakış gösterir:

Değerlendirme adı: Değerlendirme çalıştırmalarının ne zaman gerçekleştiğini gösteren zaman damgası. Bu değerlendirmenin ayrıntılarını görmek için zaman damgasına tıklayın. Yürütme durumu: Değerlendirmenin tamamlandığını, duraklatıldığını veya başarısız olduğunu gösterir. Değerlendirme çalıştırması önceden tanımlanmış SQL yanıtları olmayan karşılaştırma soruları içeriyorsa, bu sütunda gözden geçirilmeye işaretlenir. Doğruluk: Tüm karşılaştırma sorularının doğruluğunun sayısal değerlendirmesi. El ile gözden geçirme gerektiren değerlendirme süreçleri için doğruluk ölçüsü ancak bu sorular gözden geçirildikten sonra görüntülenir. Oluşturan: Değerlendirmeyi çalıştıran kullanıcının adını gösterir.

Bireysel değerlendirmeleri gözden geçirme

Her yanıta ayrıntılı bir bakış elde etmek için bireysel değerlendirmeleri gözden geçirebilirsiniz. Herhangi bir soru için değerlendirmeyi düzenleyebilir ve el ile gözden geçirilmesi gereken tüm öğeleri güncelleştirebilirsiniz.

Bireysel değerlendirmeleri gözden geçirmek için:

1. Genie alanının üst kısmında Karşılaştırmalar'a tıklayın.

2. Bu test çalıştırmasının ayrıntılı bir görünümünü açmak için Değerlendirme adı sütunundaki herhangi bir değerlendirmenin zaman damgasına tıklayın.

   

3. Her sorunun ayrıntılı bir görünümünü görmek için ekranın sol tarafındaki soru listesini kullanın.

4. Model çıkış yanıtını Temel gerçeklik yanıtıyla gözden geçirin ve karşılaştırın.

   Yanlış olarak derecelendirilmiş sonuçlar için, sonucun neden Hatalı olarak derecelendirildiğiyle ilgili bir açıklama görüntülenir. Bu, oluşturulan çıkış ile beklenen temel gerçek arasındaki belirli farkları anlamanıza yardımcı olur.

   Not

   Bu yanıtların sonuçları bir hafta boyunca değerlendirme ayrıntılarında görünür. Bir hafta sonra sonuçlar artık görünmez. Oluşturulan SQL deyimi ve örnek SQL deyimi kalır.

5. Yanıtı bu sorunun yeni Temel gerçeği olarak kaydetmek için Temel gerçeğigüncelleştir'e tıklayın. Bu, hiçbir temel gerçek yoksa veya yanıt mevcut yer gerçeği deyiminden daha iyi veya daha doğruysa yararlıdır.

6. Değerlendirmeyi düzenlemek için etikete tıklayın.

   Bu değerlendirme için doğru bir puan almak için her sonucu İyi veya Kötü olarak işaretleyin.