Araştırma Soruları
- LLM tabanlı arama, geleneksel aramaya kıyasla verimlilik, doğruluk, kullanıcı algısı ve hata yönetimini nasıl etkiler?
- LLM çıktılarındaki hatalara aşırı güven nasıl azaltılabilir?
- Güven sinyalleri (ör. renk kodlu güven vurguları) kullanıcı davranışını nasıl değiştirir?
Sonuçlar
- LLM tabanlı arama, görev tamamlama süresini yarı yarıya kısalttı (1,6 dk vs. 3,4 dk).
- Kullanıcılar daha az ama daha karmaşık sorgular yaptı.
- Rutin görevlerde doğruluk benzerdi, ancak hata içeren görevde LLM kullanıcılarının doğruluğu sert biçimde düştü (47% vs. 93%).
- Katılımcılar LLM deneyimini daha tatmin edici buldu.
- Güven vurguları (renk kodlaması) hataların fark edilmesini sağladı ve doğruluğu iki kat artırdı.
Bulgular
- Verimlilik: LLM araması %50 daha hızlı, sorgular daha az sayıda ama daha karmaşıktı.
- Doğruluk ve aşırı güven: Normal görevlerde doğru karar oranı yüksekti, fakat hatalı veride LLM kullanıcıları yanlış sonuçlara aşırı güvendi.
- Kullanıcı algısı: LLM deneyimi daha tatmin edici görünse de, kullanıcılar hataları fark etmedi.
- Mitigasyon (Deney 2): Güven vurguları (yeşil = yüksek güven, kırmızı = düşük güven) doğruluğu 26%’dan 53–58% seviyelerine çıkardı; kullanıcılar ek sorgular yaparak yanlışları test etti.
Puanlar
- LLM Modelleri: 4
- Sentetik Veri: 0
- Yöntem: 5
- Hız: 5
- Etik: 3
- Doğruluk Oranı: 5
- Demografi: 0
Bu makale ile ilgili daha detaylı bilgiye ulaşmak isterseniz buraya tıklayarak ilgili makalenin ekine ulaşabilirsiniz.