Araştırma Soruları
- LLM’ler belirsizlik içeren karmaşık gerçek dünya senaryolarında (ör. şirket kazanç çağrıları) nasıl daha rasyonel kararlar verebilir?
- Faktör profilleri ile belirsizlik nasıl ölçülebilir?
- Tarihsel benzerliklere dayalı analoji, LLM kararlarını nasıl geliştirebilir ve şeffaflaştırabilir?
Sonuçlar
- DeFine çerçevesi, diğer yöntemlere göre daha yüksek doğruluk ve F1 skorları elde etti (Acc 29.6%, F1 23.7%).
- Uzun transkriptler yerine faktör profilleri üzerinden özetleme, karar doğruluğunu artırdı.
- Kararlar beş kategoriye (Strong Buy → Strong Sell) daha dengeli dağıldı; özellikle “Strong Buy” tahminlerinde güçlü performans sergilendi.
- Sektörler arası verilerle eğitim, tek sektör veya tek şirket eğitiminden daha iyi sonuç verdi.
- Analoji yöntemi, benzer geçmiş vakalardan %69 oranında doğru sonuç aktardı.
Bulgular
- Performans: DeFine, DeLLMa ve klasik LLM+CoT yöntemlerini geride bıraktı.
- Verimlilik: Yapılandırılmış faktör özetleri (15 faktör, 3 grup) uzun metinlere göre daha yüksek doğruluk sağladı.
- Denge: Kararlar sadece “Buy” yönünde toplanmadı; daha dengeli çıktı.
- Analoji kullanımı: KL divergence ile benzer örnekler bulunarak kararların %69’u en yakın geçmiş örnekle uyumlu çıktı.
- Beklenmedik bulgular: Bazen düşük pozitif olasılıklarda bile “Buy” kararı verilmesi, yatırımın doğasında olan rasyonel paradoksları yansıttı.
Puanlar
- LLM Modelleri: 5
- Sentetik Veri: 1
- Yöntem: 5
- Hız: 3
- Etik: 1
- Doğruluk Oranı: 5
- Demografi: 0
Bu makale ile ilgili daha detaylı bilgiye ulaşmak isterseniz buraya tıklayarak ilgili makalenin ekine ulaşabilirsiniz.