Değerlendirme yöntemlerini seçin

Test setleri oluştururken, ajanınızın yanıtlarını değerlendirmek için farklı test yöntemlerinden seçim yapın. Her test yönteminin kendine ait güçlü yönleri vardır ve farklı değerlendirme türlerine uygundur.

Test yöntemi ekleme

1. Bir test seti oluştururken veya düzenlerken , Test yöntemini ekle seçeneğini seçin.

2. Test etmek istediğiniz tüm yöntemleri seçin, sonra OK'yi seçin. Birden fazla yöntem ekleyebilirsiniz.

   1. Bazı yöntemler geçiş puanı gerektirir. Geçme puanı, hangi puanın başarısızlık veya başarısızlık anlamına geldiğini belirler. Skoru belirleyin, sonra OK seçin.

   2. Bazı test yöntemleri daha fazla ölçüt gerektirir.

3. Test setindeki değişikliklerinizi kaydetmek için Kaydet'i seçin.

Mevcut bir test yöntemi seçin ve o yöntemin kriterlerini düzenleyin veya o yöntemi silinin.

Genel kalite

Tek yanıt ve konuşma test kümeleri için kullanılabilir. Genel kalite , temsilcinizin yanıtlarının standartlarınıza uygun olup olmadığını belirlemenize yardımcı olur. Bir aracının kullanıcı sorularını ne kadar etkili bir şekilde yanıtlayanı değerlendirmek için büyük bir dil modeli (LLM) kullanır.

Genel kalite özellikle kesin bir cevap beklenmediğinde faydalıdır. Alınan belgeler ve konuşma akışına dayalı olarak yanıtları değerlendirmek için esnek ve ölçeklenebilir bir yol sunar.

Bu temel kriterleri kullanır ve puanlama için tutarlı bir prompt uygular:

• İlgi: Aracının yanıtının soruyu ne ölçüde ele verdiği. Örneğin, ajanın yanıtı konuyla ilgili kalır ve soruyu doğrudan yanıtlar mı?

• Temel: Aracının yanıtının sağlanan bağlama göre ne ölçüde olduğu. Örneğin, aracının yanıt başvurusu veya ilgisiz veya desteklenmeyen bilgileri tanıtmak yerine bağlamda verilen bilgilere güveniyor mu?

• Eksiksizlik: Aracının yanıtının gerekli tüm bilgileri ne ölçüde sağladığı. Örneğin, aracının yanıtı sorunun tüm yönlerini kapsıyor ve yeterli ayrıntı sağlıyor mu?

• Çekimserlik: Aracının soruyu yanıtlamaya çalışıp çalışmadığı.

Yüksek kaliteli sayılması için yanıtın tüm bu temel kriterleri karşılaması gerekir. Bir kriterin karşılanmaması durumunda, yanıt iyileştirme için işaretlenir. Bu puanlama yöntemi, yalnızca hem eksiksiz hem de iyi desteklenen yanıtların üst işaretleri almasını sağlar. Buna karşılık, eksik veya destekleyici kanıt eksikliği olan yanıtlar daha düşük puanlar alır.

Test yöntemleri eklerken veya düzenlerken, Genel kaliteyi seçin. Tüm test setleri varsayılan olarak bu yöntemle başlar.

Genel kalite değerlendirmesini tamamlamak için test vakalarına beklenen cevaplar eklemenize gerek yok.

Anlamı karşılaştır

Tek yanıt test kümeleri için kullanılabilir. Anlamı karşılaştırmak, aracının yanıtının beklenen yanıtın hedeflenen anlamını ne kadar iyi yansıttığını değerlendirir. Kesin ifadeye odaklanmak yerine, niyet benzerliği kullanır; yani kelimelerin arkasındaki fikirleri ve anlamı karşılaştırarak tepkinin beklediğinizle ne kadar uyumlu olduğunu değerlendirir.

Genel kalite gibi, anlamı karşılaştırmak özellikle kesin bir cevap beklenmediğinde faydalıdır. Alınan belgeler ve konuşma akışına dayalı olarak yanıtları değerlendirmek için esnek ve ölçeklenebilir bir yol sunar.

Bir yanıt için geçiş puanının ne olduğunu belirlemek için bir geçiş puanı eşiği ayarlayabilirsiniz. Varsayılan geçiş puanı 50'dir. Anlam karşılaştırma testi yöntemi, bir cevabın farklı doğru şekillerde ifade edilebildiği, ancak genel anlamın veya niyetin yine de ortaya çıkması gerektiği durumlarda faydalıdır.

1. Test yöntemleri eklerken veya düzenlerken, Anlamı Karşılaştır'ı seçin.

2. Bu yöntem için geçiş puanını belirleyin.

3. Beklenen cevapları ekleyin. Beklenen yanıtlar olmadan herhangi bir test çalışması, bu test yöntemi için geçersiz bir sonuç üretir.

   1. Bir test vakası seçin.

   2. Beklediğiniz cevabı ekleyin.

   3. Beklenen cevabı kaydetmek için Başvur'u seçin.

   4. Bu yöntemle test etmek istediğiniz tüm test vakalarını tekrarlayın.

Araç kullanımı

Tek yanıt test kümeleri için kullanılabilir. Yetenek kullanımı, ajanın belirli araçlar veya konular kullanarak cevap üretip üretmediğini test eder. Öyleyse geçer. Aksi takdirde başarısız olur.

1. Test yöntemlerini eklerken veya düzenlerkenAraç kullanımı'nı seçin.

2. Beklenen araçları veya konuları ekleyin. Beklenen yanıtlar olmadan herhangi bir test çalışması, bu test yöntemi için geçersiz bir sonuç üretir.

   1. Bir test vakası seçin. Tüm test çalışmaları için aynı beklenen araçları ve konuları eklemek için Araç kullanımı sütun başlığındaki Düzenle simgesini seçin.

   2. Test durumu düzenle bölmesinde, bu test durumu için kullanmasını beklediğiniz araçları seçin.

   3. Tamam'ı seçin.

   4. Değişiklikleri kaydetmek için Uygula'yı seçin.

   5. Araçların kullanılması için test etmek istediğiniz tüm test vakaları için tekrarlayın.

Anahtar kelime eşleşmesi

Tek yanıt ve konuşma test kümeleri için kullanılabilir. Anahtar kelime eşleşmesi, temsilcinin cevabının, sizin tanımladığınız beklenen yanıttaki kelime veya ifadelerin bir kısmını ya da tümünü içerip içermediğini kontrol eder. Öyleyse geçer. Aksi takdirde başarısız olur.

Geçişin anahtar kelimelerden herhangi birini veya hepsini gerektirip gerektirmediğini seçebilirsiniz. Herhangi bir kelimeyi seçmek, en az bir kelime veya ifade eşleşirse test vakasının geçtiği anlamına gelir. Hepsini seçmek, bir sınav vakasının geçmesi için beklenen tüm kelime veya ifadelerin eşleşmesi gerektiği anlamına gelir.

1. Test metodlarını eklerken veya düzenlerken, anahtar kelime eşleşmesi seçeneğini seçin.

2. Bir test vakasının eşleşmesi için Herhangi bir veya Tüm anahtar kelimelere ihtiyacı olup olmadığını seçin.

3. Beklenen anahtar kelimeleri ekleyin. Beklenen anahtar sözcükler içermeyen herhangi bir test çalışması, bu test yöntemi için Geçersiz bir sonuç üretir.

   1. Bir test vakası seçin.

   2. Test durumunu düzenle bölmesinde, söz konusu olayın yanıtını beklediğiniz bir anahtar sözcük veya tümcecik ekleyin.

   3. Daha fazla anahtar sözcük veya tümcecik eklemek için + Ekle'yi seçin. Anahtar sözcüğü veya tümceciği kaldırmak için Sil simgesini seçin.

   4. Beklenen anahtar kelimeleri kaydetmek için Başvuru'yu seçin.

   5. Anahtar kelime eşleştirmesi için test etmek istediğiniz tüm test vakaları için tekrarlayın.

Metin benzerliği

Tek yanıt test kümeleri için kullanılabilir. Metin benzerliği test yöntemi, aracının yanıtlarının test kümenizde tanımladığınız beklenen yanıtlarla benzerliğini karşılaştırır. Bir yanıtın farklı doğru yollarla ifade edilebilmesi ancak genel anlamın veya amacın yine de gelmesi gerektiğinde yararlıdır.

Ajansın cevabının beklenen cevabın ifade tarzı ve anlamına ne kadar benzer olduğunu değerlendirmek ve bir puan belirlemek için kosinüs benzerlik ölçütü kullanır. Puan 0 ile 1 arasında değişir; burada 1, yanıtın yakın eşleşmediğini, 0 ise eşleşmediğini gösterir. Bir yanıt için geçiş puanının ne olduğunu belirlemek için bir geçiş puanı eşiği ayarlayabilirsiniz.

1. Test yöntemleri eklerken veya düzenlerken, Metin benzerliği seçeneğini seçin.

2. Bu yöntem için geçiş puanını belirleyin.

3. Beklenen cevapları ekleyin. Beklenen yanıtlar olmadan herhangi bir test çalışması, bu test yöntemi için geçersiz bir sonuç üretir.

   1. Bir test vakası seçin.

   2. Beklediğiniz cevabı ekleyin.

   3. Beklenen cevabı kaydetmek için Başvur'u seçin.

   4. Bu yöntemle test etmek istediğiniz tüm test vakalarını tekrarlayın.

Tam eşleşme

Tek yanıt test kümeleri için kullanılabilir. Tam eşleşme, aracının yanıtının testte beklenen yanıtla tamamen aynı olup olmadığını karakter ve kelime bazında denetler. Aynıysa geçer. Bir şey farklılık gösterirse, başarısız olur. Tam eşleşme, sayılar, kodlar veya sabit tümcecikler gibi kısa ve kesin yanıtlar için kullanışlıdır. İnsanların birden çok doğru şekilde ifade edebildiği yanıtlara uygun değildir.

1. Test yöntemleri eklerken veya düzenlerken, Tam Eşleşme'yi seçin.

2. Beklenen cevapları ekleyin. Beklenen yanıtlar olmadan herhangi bir test çalışması, bu test yöntemi için geçersiz bir sonuç üretir.

   1. Bir test vakası seçin.

   2. Beklediğiniz cevabı ekleyin.

   3. Beklenen cevabı kaydetmek için Başvur'u seçin.

   4. Bu yöntemle test etmek istediğiniz tüm test vakalarını tekrarlayın.

Özel

Özel , özelleştirilebilir bir test yöntemidir. Kendi ölçütlerinizi kullanarak aracı yanıtlarını test etmenizi ve etiketlemenizi sağlar. Örneğin, IK aracısı için bir uyumluluk testi oluşturarak test yanıtlarını IK uyumluluğu açıklamanızla uyumlu veya uyumsuz olarak etiketleyebilirsiniz.

Özel test, yapılandırmanız için iki bileşen içerir:

Değerlendirme yönergeleri: Bu testle gerçekleştirmek istediğiniz hedefi açıklar. Testin temsilcinizin yanıtları hakkında ne öğrenmesini istiyorsunuz?

İyi değerlendirme yönergeleri:

• Hedefe odaklı olun.

• Yalnızca izin verilen karakterleri kullanın.

• Düzenleme için madde işaretleri ve başlıklar kullanın.

Örneğin:

Evaluate the agent's response for HR policy compliance.

What to check:
- Determine whether the answer protects privacy and avoids revealing or requesting sensitive data.
- Avoids discrimination, bias, or inappropriate judgments.
- Provides safe, neutral, HR-aligned guidance.
- Does not give legal advice or make definitive claims.

Etiketler: Özel testi kullanarak her yanıta atanan sonucu açıklar. Etiketler, bu test yönteminin test kümesi başarı oranına katkıda bulunan geçme/başarısız olma atamalarına da sahiptir.

Etiketlerin bir adı ve açıklaması vardır. İyi bir açıklama:

• Kısa ve özdür.

• Eşleşen yanıtlarda aradığınız öznitelikleri içerir.

Etiketler için bir strateji iki etikete sahip olmaktır: biri aradığınız ölçütleri başarıyla karşılayan yanıtlar, diğeri ise bu ölçütleri başarıyla karşılamayan yanıtlar. Örneğin, bir İK politikası uyumluluk özel testi Uyumlu ve Uyumsuz etiketleri olabilir.

1. Test yöntemlerini eklerken veya düzenlerkenÖzel'i seçin.

2. Bu özel test için bir ad girin.

3. Değerlendirme yönergeleri ekleyin.

4. İki veya daha fazla etiket ekleyin. Her etiketin bir adı ve açıklaması vardır.

   Daha fazla etiket eklemek için Etiket ekle'yi seçin.

   Etiket başlıkları yalnızca harf, sayı, boşluk, kısa çizgi -, alt çizgi _, eğik çizgi /, ve &işareti , artı işareti +ve nokta .kullanabilir.

5. Her etiket için Pass veya Fail sonucunu ayarlayın.

6. Tamam'ı seçin.