Araştırma Soruları
- LLM örnekleri demografik gruplara göre nasıl kalibre edilerek insan yanıtlarına daha yakın hale getirilebilir?
- Bu yaklaşım model-agnostik (her LLM’e uygulanabilir) olabilir mi?
- Kalibrasyon farklı alanlara veya bölgelere ne ölçüde aktarılabilir?
Sonuçlar
- Human Mimicry Calibration (HMC), LLM yanıtlarını insan verileriyle hizalamada önemli iyileşme sağladı.
- HMC, geleneksel nüfus yoğunluğu tabanlı ağırlıklandırmadan daha iyi performans gösterdi.
- Mekânsal transfer (Teksas → New York, California, Florida) başarılı oldu; konu bazlı transfer (özellikle politika ve hassas konular) sınırlı kaldı.
- En yüksek ağırlık, genç (18–34) ve düşük gelirli demografilere verildi; bu gruplar insan davranışlarını en iyi yansıtan çıktı.
Bulgular
- Kalibrasyon tekniği: HMC, LLM’lerin demografik persona taklitlerini ağırlıklandırarak insan verilerine daha yakın hale getiriyor.
- Performans: HMC, üniform ve nüfus temelli yöntemlere kıyasla %20–30 daha yüksek doğruluk sağladı.
- Transfer yeteneği: Bölgesel transfer başarıyla gerçekleşti; ancak sektörler arası ve hassas politik konularda doğruluk düştü.
- Ölçüm metrikleri: Kendall’s Tau ve Wasserstein Distance ile insan-LLM farkı sayısal olarak azaltıldı.
- İçgörü: Genç ve düşük gelirli gruplar, LLM çıktılarında en temsil edici gruplar olarak öne çıktı.
Puanlar
- LLM Modelleri: 5
- Sentetik Veri: 4
- Yöntem: 5
- Hız: 3
- Etik: 3
- Doğruluk Oranı: 5
- Demografi: 5
Bu makale ile ilgili daha detaylı bilgiye ulaşmak isterseniz buraya tıklayarak ilgili makalenin ekine ulaşabilirsiniz.