Genie Agent'ı test edip izleme

Genie Agent'ı gerçek dünya sorularıyla test edin, oluşturulan SQL ve görselleştirmeleri gözden geçirin, Genie bir sorun olduğunda yanıtları düzenleyin ve veri ve sorular geliştikçe aracıyı doğru tutabilmeniz için aracı kullanımını ve kullanıcı geri bildirimlerini izleyin. Uygun ölçekte yanıt doğruluğunu puanlemek için karşılaştırmaları kullanın.

Note

Genie Ajanları eskiden Genie Spaces olarak biliniyordu.

Genie Agent'ınızı test edin

Kullanıcı etkileşimlerinin çoğu sohbet penceresinde gerçekleşir. Temsilcinizin istediğiniz gibi çalışıp çalışmadığını öğrenmenin en iyi yolu, işletme kullanıcılarınızın sormasını beklediğiniz gerçekçi sorularla test etmektir.

Örnek soruların gösterildiği Genie sohbet penceresi ve kendi sorunuzu girmek için bir metin alanı.

Aracı ayarlarında yapılandırılan örnek sorular sohbet penceresinde görüntülenir. Genie, kullanıcıların verileri keşfetmeye başlamasına yardımcı olmak için aracının bağlamını temel alan örnek sorular da oluşturabilir. Kullanıcılar bir örnek soruya tıklayabilir veya ekranın altındaki metin alanına kendi sorularını girebilir.

Yanıtlar metin alanının üzerinde görünür. Kullanıcı bir soru girdikten sonra sohbet geçmişine kaydedilir.

Yeni bir konuşma başlatmak için:

  1. Yeni bir sohbet başlatmak için Yeni sohbet'e tıklayın. Önceki bir konuşmayı açmak için Geçmiş simgesine tıklayın.
  2. Sorunuzu Sorunuzu sorun... metin girişi alanına yazın.

Yanıtları gözden geçirme

Yanıtlar genellikle sorulara doğal dil yanıtları ve ilgili sonuç kümesini gösteren bir tablo olarak teslim edilir. Genie bir görselleştirmenin yanıt netliğini artırabileceğini algıladığında bir görselleştirme de döndürür. Kesin yanıt yapısı, soruya göre değişir. Soruyu yanıtlamak için bir SQL sorgusu oluşturulduysa, yanıta eklenir.

Görselleştirme, geri bildirim ve diğer seçenekleri içeren örnek bir yanıt gösterilir.

Note

Diğer büyük dil modelleri (LLM'ler) gibi Genie de belirlenimci olmayan davranışlar sergileyebilir. Bu, aynı istemi birden çok kez gönderirken zaman zaman farklı çıkışlar alabileceğiniz anlamına gelir. Genie'nin öğrenebileceği örnek SQL sorguları sağlamak Genie'nin daha tutarlı olmasını sağlayabilir. bkz. örnek SQL sorguları ve işlevleri ekleme.

Yanıt geri bildirimi

Her yanıt, kullanıcıdan bu doğru mu? yanıtını ister. Kullanıcılar aşağıdaki yollardan biriyle yanıt verebilir:

  • Evet: Yanıtın doğru göründüğünü onaylar.
  • Düzeltin: Yanıtı yanlış olarak işaretler. Kullanıcılar sık karşılaşılan sorunlardan birini seçebilir veya kendi açıklamalarını girebilir. Daha sonra yapabilecekleri:
    • Gönder'e tıklayın ve sağlanan geri bildirimi kullanarak yanıtı yeniden oluşturmak için yeniden deneyin.
    • Yanıtı yeniden oluşturmadan geri bildirim göndermek için Gönder'e tıklayın.
  • Gözden geçirme isteği: Yanıtı manuel gözden geçirme için işaretler. Kullanıcılar size ek bağlam sağlamak için isteğe bağlı bir açıklama ekleyebilir.

Düzenleyici olarak, Genie arabiriminde geri bildirimleri ve işaretlenmiş yanıtları görüntüleyebilirsiniz. Genie Agent'ınızın davranışı yalnızca kullanıcı geri bildirimlerine göre değişmez. İyileştirme fırsatlarını belirlemek veya doğrudan kullanıcı sorularını yanıtlamak için geri bildirim kullanmalısınız. Databricks, kullanıcıları bu mekanizmayı kullanarak aracı hakkında geri bildirim sağlamaya teşvik etmelerini önerir.

İş kullanıcıları , gözden geçirılmak üzere işaretledikleri soruların güncelleştirmelerini İzleyici sayfalarında görüntüleyebilir. Genie Aracısı üzerinde en az CAN MANAGE iznine sahip kullanıcılar belirli bir değişimi gözden geçirebilir, istekle ilgili yorum yapabilir ve yanıtı onaylayabilir veya düzeltebilir. İzleme sayfasından geri bildirime erişebilir ve istekleri gözden geçirebilirler. Ardından bu geri bildirimi kullanarak yanıtları ayarlayabilir ve aracınızda yineleme yapabilirsiniz. Bkz. Aracıyı izleyin.

Diğer yanıt eylemleri

Oluşturulan SQL içeren yanıtlar için, döndürülen verilerle etkileşim kurmanıza olanak sağlayan ek seçenekler vardır.

  • CSV'i kopyala: Aracı kullanıcıları, csv olarak yaklaşık 1 GB'a kadar sonuç verisi indirebilir. 1 GB sınırı son dosya indirme adımından önceki bir adıma uygulandığından, son dosya indirme boyutu 1 GB'tan biraz daha fazla veya daha az olabilir. Sonuçları indirmek için yanıttaki indirme simgesine tıklayın.

  • Kodu göster: Oluşturulan sorguyu görüntülemek için Kodu göster'e tıklayın. Bu, güvenilir olmayan yanıtlarla ilgili sorunları gidermek için yararlı olabilir. Bkz. Sorguları düzenleme ve kaydetme.

  • Kebap menü simgesi. kebap menüsü: Aşağıdaki eylemlere erişin:

    • CSV'yi kopyalama: Yanıt CSV'sini panonuza kopyalayın.
    • Yönerge olarak ekle: Genie'ye benzer soruları nasıl yanıtlayabileceğini öğretmek için yararlı olabilecek etkileşimler için Yönerge olarak ekle'ye tıklayın. Bu işlem, sorunun ve oluşturulan SQL'in otomatik olarak eklendiği örnek SQL sorgularını kaydetmek için kullanıcı arabirimini açar. Örneği yazıldı olarak bırakabilir veya değişiklik yapmak için düzenleyip kaydedebilirsiniz. bkz. örnek SQL sorguları ve işlevleri ekleme.
    • Kıyaslama olarak ekle: Soruyu kıyaslama sorusu olarak ekleyin. Bkz . Karşılaştırmalar.
    • Verileri yenileme: Daha önce oluşturulan sorguyu çalıştırarak verileri yenileyin.
    • Yanıtı yeniden oluştur: Soruyu yeniden gönderin ve Genie'nin yanıtı yeniden oluşturmasını sağlayın.

Sorguları düzenleme ve kaydetme

Genie'nin SQL sorguları doğruluk açısından gözden geçirilebilir ve gerektiğinde düzenlenebilir. Genie Agent yazarları genellikle, Genie'nin ne zaman yanlış bir yanıt ürettiğini fark etmelerini sağlayan alan ve verilere hakimdir. Hatalar genellikle oluşturulan SQL sorgusunda el ile yapılan küçük bir ayarlamayla düzeltilebilir. Sorguyu incelemek ve herhangi bir yanıt için oluşturulan SQL'i görüntülemek için Oluşturulan kodu göster'e tıklayın.

Genie Aracısı'nda CAN EDIT veya daha yüksek yetkilere sahipseniz, oluşturulan SQL deyimini düzeltmek için düzenleyebilirsiniz. Düzeltmelerinizi yaptıktan sonra sorguyu çalıştırın. Daha sonra, Genie'ye gelecekte nasıl yanıt verebileceğini öğretmek için bir yönerge olarak kaydedebilirsiniz. Düzenlenen sorgunuzu kaydetmek için Yönerge olarak ekle'ye tıklayın.

Genie Code ile yanıtlarda hata ayıklama

Genie yanlış bir yanıt döndürdüğünde sorunu tanılamak ve aracının bağlamını geliştirmek için Genie Code'u kullanın:

  1. Yanıttan Genie Code'yi açın.
  2. Sorunu ve istediğiniz davranışı açıklayın.
  3. Genie Code'un önerdiği bağlam değişikliklerini gözden geçirin ve saklamak istediklerinizi kabul edin.

Tip

Genie Code'a bunu sizin için gerçekleştirmesini söyleyin:

The Genie Agent is using calendar quarters instead of our fiscal calendar. Update its context to use our fiscal quarters: Q1 is February through April, Q2 is May through July, Q3 is August through October, and Q4 is November through January.

Konuşmadan anlam bağlamı kaydetmek için Genie Code'u da kullanabilirsiniz. Kullanıcılar yeni terimler tanıttıktan veya Genie'nin davranışını düzelttikkten sonra Genie Code'dan öğrendiklerini yakalamasını isteyin. Her öneriyi gözden geçirin ve aracıya eklemek istediğiniz bağlamı kabul edin.

Ajanı izleyin

Genie Agent, veri ekipleri ve iş kullanıcıları arasında uzun vadeli bir işbirliği aracı olarak düşünülebilir. Tek seferlik dağıtım olarak hizmet etmek yerine zaman içinde bilgi biriktirir. Kullanıcılar yeni sorular sordukçe, kapsamı ve doğruluğu geliştirmek için aracıyı geliştirebilirsiniz.

Tek tek soruları ve yanıtları gözden geçirmek, kullanıcı geri bildirimlerini görüntülemek ve gözden geçirmek üzere bayrak eklenmiş yanıtları belirlemek için İzleyici sekmesini kullanın.

Zaman, derecelendirme, kullanıcı ve durum filtrelerini içeren soruların ve yanıtların listesini gösteren İzleyici sekmesi.

İzleme sekmesinde, ajan içinde sorulmuş tüm sorular ve yanıtlar gösterilir. Soruları zamana, derecelendirmeye, kullanıcıya veya duruma göre filtreleyebilirsiniz. ARACıyı izleyerek, CAN MANAGE izinlerine sahip kullanıcılar, iş kullanıcıları tarafından tetiklenen sorguları ve Genie Aracısı'nın nasıl yanıt verdiğini proaktif olarak anlayabilir.

Genie'nin karşı karşıya olduğu soruları belirlemek, Genie Agent'ı yanıtlarını geliştirmek için belirli yönergelerle güncelleştirmenize yardımcı olabilir. Soru ve yanıt metnini açmak ve sohbet yazışmasının tamamını görüntülemek için bir soruya tıklayın.

Haftalık ileti hacmini, etkin kullanıcıları ve başparmak yukarı/aşağı geri bildirimini gözden geçirmek için İzleyici sekmesinin Haftalık özet bölümünü kullanın. En popüler kullanım trendlerini ve yaygın sorunları belirlemek için Agent Kullanımını Analiz Et'e tıklayın. Bu, son altı aydaki kullanıcı mesajlarını, geri bildirimlerini ve sorunlarını inceleyen, yaygın konuları, tekrarlayan sorunları ve önerilen bağlam iyileştirmelerini raporlayan Genie Code'u başlatıyor. Yanıtlar, aracınızdaki ilgili konuşmalara bağlantı veren atıflar içerir. Konuşmayı doğrudan Genie Code yazışmasında açmak için bir alıntıya tıklayın.

haftalık iletileri, kullanıcıları ve geri bildirimleri gösteren İzleme sekmesinin Haftalık özet bölümü.

Konuşmaları kalite için gözden geçirme

Genie Sohbet Paylaşımı , aracı yöneticilerinin bir Genie Agent ile iş kullanıcılarının yaptığı konuşmaların tamamını gözden geçirmesine olanak tanır. Bir konuşma ajan yöneticileri tarafından İncelelenebilir olarak ayarlandığında, CAN MANAGE iznine sahip kullanıcılar izleme sekmesinden konuşmayı açarak tam değişimi inceleyebilir. Bu, Genie'nin yanıt kalitesini değerlendirmenize, kullanıcı geri bildirimlerine yanıt vermenize ve ek yönergelerin veya örnek sorguların doğruluğu geliştireceği alanları belirlemenize olanak tanır. Özel olarak ayarlanmış konuşmalar için aracı yöneticileri izleme sekmesinde kullanıcı istemlerini görebilir ancak konuşmanın veya sonuçların tamamını görüntüleyemez. Daha fazla bilgi için bkz. Konuşma paylaşma.

Note

Konuşma paylaşım özelliği etkinleştirilmeden önce oluşturulan konuşmalar Özel olarak kalır. Etkinleştirildikten sonra oluşturulan konuşmalar ajan yöneticileri tarafından varsayılan olarak İncelebiliyor.

Konuşmayı silme

Bir Genie Agent’ta CAN MANAGE iznine sahip kullanıcılar, izleme sayfasından agent içindeki herhangi bir konuşmayı kalıcı olarak silebilir. Bu işlem, konuşmayı ve tüm kullanıcılara yönelik iletilerini kaldırır.

  1. Genie Aracısı'nı açın ve İzleyici sekmesine tıklayın.
  2. Konuşma çekmecesini açmak için bir konuşmaya tıklayın.
  3. Konuşmayı sil'e tıklayın.
  4. Onay iletişim kutusunda, konuşmayı kalıcı olarak silmek için Sil'e veya silmeden iletişim kutusunu kapatmak için İptal'e tıklayın.

Benchmarks

Karşılaştırmalar, Genie'nin genel yanıt doğruluğunu değerlendirmek için çalıştırabileceğiniz bir dizi test sorusu oluşturmanıza olanak sağlar. En sık sorulan kullanıcı sorularını kapsayan iyi tasarlanmış bir karşılaştırma kümesi, Genie Agent'ınızı iyileştirdikçe doğruluğunu değerlendirmenize yardımcı olur. Her Genie Aracısı en fazla 500 karşılaştırma sorusu içerebilir.

Karşılaştırma soruları yeni konuşmalar olarak çalıştırılır. Zincirlenmiş bir Genie konuşmasıyla aynı bağlamı taşımazlar. Her soru, sağlanan örnek SQL ve SQL işlevleri dahil olmak üzere aracıda tanımlanan yönergeler kullanılarak yeni bir sorgu olarak işlenir.

Karşılaştırma soruları iki modu destekler:

  • Sohbet modu: Varsayılan mod. Genie, SQL tarafından oluşturulan sonuçlarını sağlanan bir SQL yanıtıyla karşılaştırarak doğruluğu değerlendirir.
  • Aracı modu: Genie'nin Aracı moduyla aynı çok adımlı mantığı kullanarak karşılaştırma soruları yürütür. Bir LLM yargıcı yanıtları değerlendirir. Not verme işlemini yönlendirmek için isteğe bağlı bir değerlendirme notu sağlayabilirsiniz.

Modu benchmark çalıştırırken seçiyorsunuz, soru eklediğinizde değil. Bir çalıştırma için Benchmarks sekmesinin sağ üst köşesindeki mod düğmesini kullanarak Chat veya Ajan modunu seçin. Seçilen mod, o koşudaki tüm sorular için geçerlidir.

Dokuz soruda bildirilen doğrulukla örnek karşılaştırmalar.

Karşılaştırma soruları ekleme

Karşılaştırma soruları, kullanıcılarınızın sordığı yaygın soruları ifade etmenin farklı yollarını yansıtmalıdır. Genie'nin söz konusu ifadelerdeki çeşitlemelere veya farklı soru biçimlerine verdiği yanıtı denetlemek için bunları kullanabilirsiniz.

Karşılaştırma sorusu oluştururken, isteğe bağlı olarak sonuç kümesi doğru yanıt olan bir SQL sorgusu ekleyebilirsiniz. Karşılaştırma çalıştırmaları sırasında doğruluk, SQL sorgunuzdaki sonuç kümesi Genie tarafından oluşturulan sorguyla karşılaştırılarak değerlendirilir. Unity Kataloğu SQL işlevlerini karşılaştırmalar için altın standart yanıtlar olarak da kullanabilirsiniz.

Karşılaştırma sorusu eklemek için:

  1. Genie Aracısı'nın üst kısmında Karşılaştırmalar'a tıklayın.

  2. Karşılaştırma ekle'ye tıklayın.

  3. Soru alanına test etmek için bir karşılaştırma sorusu girin.

  4. (İsteğe bağlı) Soruyu yanıtlayan bir SQL sorgusu sağlayın. Unity Kataloğu SQL işlevleri de dahil olmak üzere SQL Yanıt kutusuna yazarak kendi sorgunuzu yazabilirsiniz. Alternatif olarak, Genie'nin SQL sorgusunu sizin için yazmasını sağlamak için SQL Oluştur'a tıklayın. Girdiğiniz soruyu doğru yanıtlayan bir SQL deyimi kullanın.

    Note

    Bu adım Sohbet modu çalışmaları için önerilir. Yalnızca bu örnek SQL deyimini içeren sorular doğruluk açısından otomatik olarak değerlendirilebilir. SQL Yanıtı içermeyen tüm soruların puanlanması için el ile gözden geçirme gerekir. SQL Oluştur düğmesini kullanıyorsanız, soruyu doğru yanıtladığınızdan emin olmak için deyimini gözden geçirin.

  5. (İsteğe bağlı) Değerlendirme notu alanında, doğru cevap veya beklenen içerik hakkında rehberlik yazın. Ajan modu çalışmaları sırasında, Genie değerlendirme notunu LLM yargıcına verir. Not, Aracı modunun oluşturduğu metin raporlarında beklenen içeriğe başvurabilir.

  6. (İsteğe bağlı) Sorgunuzu çalıştırmak ve sonuçları görüntülemek için çalıştır'a tıklayın.

  7. Düzenlemeyi bitirdiğinizde Karşılaştırma ekle'ye tıklayın.

  8. Bir soruyu kaydettikten sonra güncelleştirmek için, soruyu güncelleştir iletişim kutusunu açmak için kalem simgesine tıklayınDüzenle simgesi.

Alternatif soru ifadelerini test etmek için karşılaştırmaları kullanma

Genie Agent'ınızın doğruluğunu değerlendirirken testleri gerçekçi senaryoları yansıtacak şekilde yapılandırmak önemlidir. Kullanıcılar aynı soruyu farklı şekillerde sorabilir. Databricks, doğruluğu tam olarak değerlendirmek için aynı sorunun birden çok tümcesini eklemeyi ve karşılaştırma testlerinizde aynı örnek SQL'i kullanmanızı önerir. Çoğu Genie Aracısı, aynı sorunun iki ile dört arasında farklı ifade edilişini içermelidir.

Karşılaştırma sorularını çalıştırma

Genie Agent'ta en azından CAN EDIT izinlerine sahip kullanıcılar istedikleri zaman bir karşılaştırma değerlendirmesi çalıştırabilir. Tüm karşılaştırma sorularını çalıştırabilir veya test etmek için bir soru alt kümesi seçebilirsiniz.

Genie her soru için girişi yorumlar, SQL oluşturur ve sonuçları döndürür. Daha sonra oluşturulan SQL ve sonuçlar, karşılaştırma sorusunda tanımlanan SQL Yanıtı ile karşılaştırılır.

Tüm karşılaştırma sorularını çalıştırmak için:

  1. Genie Aracısı'nın üst kısmında Karşılaştırmalar'a tıklayın.
  2. Test çalıştırmasını başlatmak için Karşılaştırmaları çalıştır'a tıklayın.

Karşılaştırma sorularının bir alt kümesini çalıştırmak için:

  1. Genie Aracısı'nın üst kısmında Karşılaştırmalar'a tıklayın.
  2. Test etmek istediğiniz soruların yanındaki onay kutularını seçin.
  3. Seçili sorularda test çalıştırmasını başlatmak için Seçili çalıştır'a tıklayın.

Ayrıca önceki bir karşılaştırma sonucundan soruların bir alt kümesini seçebilir ve iyileştirmeleri test etmek için bu belirli soruları yeniden çalıştırabilirsiniz.

Karşılaştırmalar, sayfadan uzaklaştığınızda çalışmaya devam eder. Çalıştırma tamamlandığında Değerlendirme sekmesinde sonuçları de kontrol edebilirsiniz.

Bir çalıştırma tamamlandıktan sonra Genie Code'u kullanarak tüm çalıştırmadaki sonuçları gözden geçirebilir ve bağlam geliştirmeleri önerebilirsiniz. Bkz. Genie Code ile bir benchmark çalıştırmasını analiz etme.

Sohbet modu derecelendirmeleri

Aşağıdaki ölçütler Genie'nin Sohbet modu yanıtlarını nasıl ayarladığını belirler:

Koşul Rating
Genie, sağlanan SQL Yanıtıyla tam olarak eşleşen SQL oluşturur İyi
Genie, SQL Yanıt tarafından üretilen sonuç kümesiyle tam olarak eşleşen bir sonuç kümesi oluşturur İyi
Genie , SQL Yanıtı ile aynı verilerle bir sonuç kümesi oluşturur ancak farklı sıralanır İyi
Genie, SQL Yanıtı ile aynı 4 anlamlı basamağı yuvarlayan sayısal değerlerle bir sonuç kümesi oluşturur İyi
Genie boş bir sonuç kümesi oluşturan veya hata döndüren SQL oluşturur Kötü
Genie, SQL Answer tarafından üretilen sonuç kümesine kıyasla ek sütunlar içeren bir sonuç kümesi oluşturur Kötü
Genie, SQL Yanıtı tarafından üretilen tek hücre sonucundan farklı bir tek hücre sonucu oluşturur. Kötü

Note

Sohbet modu, her sonuç setinden 5.000 satıra kadar karşılaştırıyor. Bir sonuç kümesi 5.000 satırı aştığında ve Genie tarafından oluşturulan sonuçlar ile SQL Answer'ın sıra sırası farklılaştığında, bu kesinti eşleşen bir sonuç setinin Kötü olarak derecelendirilmesine neden olabilir. Bunu önlemek için, 5.000 satırdan az geri dönen SQL Answer soruları yazabilir veya hem ORDER BY hem de beklenen Genie çıktısına bir madde ekleyin; böylece satır sırası tutarlı kalsın.

Bir sonuç Kötü olarak değerlendirildiğinde, açıklama uyumsuzluğun türünü belirler.

El ile gözden geçirme gerekiyor: Genie doğruluğu değerlendiremediğinde veya Genie tarafından oluşturulan sorgu sonuçları sağlanan SQL Yanıtından elde edilen sonuçlarla tam eşleşme içermediğinde yanıtlar bu etiketle işaretlenir. SQL Yanıtı içermeyen karşılaştırma soruları el ile gözden geçirilmelidir.

Ajan Modu derecelendirmeleri

Bir LLM yargıcı, SQL karşılaştırması kullanmak yerine Aracı Modu yanıtlarını değerlendirir. Değerlendirme notu sağladıysanız LLM yargıcı, aracı modunun oluşturduğu metin raporundaki beklenen içerik de dahil olmak üzere yanıtı değerlendirirken bu notu kılavuz olarak kullanır. Yargıç, değerlendirme notu ölçütlerini karşılayan yanıtları İyi olarak derecelendirmektedir.

Erişim karşılaştırması değerlendirmeleri

Genie Agent'ınızdaki doğruluğu zaman içinde izlemek için tüm kıyaslama değerlendirmelerinize erişebilirsiniz. Bir aracının Karşılaştırmalarını açtığınızda Değerlendirmeler sekmesinde zaman damgalı değerlendirme çalıştırmaları listesi görüntülenir. Değerlendirme çalıştırması bulunamazsa bkz . Karşılaştırma soruları ekleme veya Karşılaştırma soruları çalıştırma.

Aşağıdaki metinde açıklandığı gibi değerlendirmeler ekranı.

Değerlendirmeleri sekmesi, aşağıdaki kategorilerde bildirilen değerlendirmelere ve performanslarına genel bir bakış gösterir:

Değerlendirme adı: Değerlendirme çalıştırmalarının ne zaman gerçekleştiğini gösteren zaman damgası. Bu değerlendirmenin ayrıntılarını görmek için zaman damgasına tıklayın. Yürütme durumu: Değerlendirmenin tamamlandığını, duraklatıldığını veya başarısız olduğunu gösterir. Değerlendirme çalıştırması önceden tanımlanmış SQL yanıtları olmayan karşılaştırma soruları içeriyorsa, bu sütunda gözden geçirilmeye işaretlenir. Doğruluk: Tüm karşılaştırma sorularının doğruluğunun sayısal değerlendirmesi. El ile gözden geçirme gerektiren değerlendirme süreçleri için doğruluk ölçüsü ancak bu sorular gözden geçirildikten sonra görüntülenir. Oluşturan: Değerlendirmeyi çalıştıran kullanıcının adını gösterir.

Bireysel değerlendirmeleri gözden geçirme

Her yanıta ayrıntılı bir bakış elde etmek için bireysel değerlendirmeleri gözden geçirebilirsiniz. Herhangi bir soru için değerlendirmeyi düzenleyebilir ve el ile gözden geçirilmesi gereken tüm öğeleri güncelleştirebilirsiniz.

Bireysel değerlendirmeleri gözden geçirmek için:

  1. Genie Aracısı'nın üst kısmında Karşılaştırma'ya tıklayın.

  2. Bu test çalıştırmasının ayrıntılı bir görünümünü açmak için Değerlendirme adı sütunundaki herhangi bir değerlendirmenin zaman damgasına tıklayın.

    Tek bir değerlendirme çalıştırmasının sonuçlarını gösteren ekran. Tüm sorular solda listelenir. Varsa, sağ tarafta model çıkışı ve temel gerçeklik çıkışı ile tek tek sorular gösterilir.

  3. Her sorunun ayrıntılı bir görünümünü görmek için ekranın sol tarafındaki soru listesini kullanın.

  4. Model çıkış yanıtını Temel gerçeklik yanıtıyla gözden geçirin ve karşılaştırın.

    Yanlış olarak derecelendirilmiş sonuçlar için, sonucun neden Hatalı olarak derecelendirildiğiyle ilgili bir açıklama görüntülenir. Bu, oluşturulan çıkış ile beklenen temel gerçek arasındaki belirli farkları anlamanıza yardımcı olur.

    Note

    Bu yanıtların sonuçları bir hafta boyunca değerlendirme ayrıntılarında görünür. Bir hafta sonra sonuçlar artık görünmez. Oluşturulan SQL deyimi ve örnek SQL deyimi kalır.

  5. Yanıtı bu sorunun yeni Temel gerçeği olarak kaydetmek için Temel gerçeğigüncelleştir'e tıklayın. Bu, hiçbir temel gerçek yoksa veya yanıt mevcut yer gerçeği deyiminden daha iyi veya daha doğruysa yararlıdır.

  6. Değerlendirmeyi Düzenle simgesi düzenlemek için etikete tıklayın.

    Bu değerlendirme için doğru bir puan almak için her sonucu İyi veya Kötü olarak işaretleyin.

Genie Code ile karşılaştırmalı çalıştırmayı analiz etme

Karşılaştırma çalıştırması tamamlandıktan sonra genie Code kullanarak her soruyu tek başına incelemek yerine çalıştırmanın tamamını gözden geçirin. Değerlendirmeden Genie Code'u başlatın ve çalıştırmayı analiz etmesini isteyin. Genie Code beklenen sonuçları, aracınızın oluşturduğu sonuçları ve boşluk bulmak için aracının geçerli bağlamını gözden geçirir, ardından gözden geçirip kaydetmeniz için yönerge ve bağlam iyileştirmeleri önerir.