BAÜN Akademisyeninden Yapay Zeka Destekli Puanlamada Konum Yanlılığı ve Güvenilirlik Araştırması
Balıkesir Üniversitesi (BAÜN) Yabancı Diller Yüksekokulu akademisyenlerinden Öğr. Gör. Dr. Özgür Çelik’in imzasını taşıyan akademik çalışma, metin tabanlı üretken yapay zeka (GenAI) ve büyük dil modelleri (LLM) tabanlı değerlendirme araçlarıyla süreçleri çok boyutlu bir perspektiften ele alarak alanyazına güçlü ve özgün bir katkı sunuyor.
BAÜN
akademisyenlerinden Öğr. Gör. Dr. Özgür Çelik tarafından ortaya konulan “Lost
in the middle? Examining scoring reliability and position bias in LLM-based
automated essay scoring” başlıklı çalışma, uluslararası dergi sıralamalarında
en üst dilimlerden olan SSCI Q1 ölçeğindeki “Education and Information
Technologies” dergisinde yayınlandı.
Öğr.
Gör. Dr. Özgür Çelik; “İnsan Gözetimiyle Yapay Zeka Destekli Puanlama Güvenilir
Sonuçlar Verebilir”
Psikolojideki
“seri konum etkisi” (serial position effect) kavramından yola çıkılarak
yürütülen çalışma hakkında bilgi veren Öğr. Gör. Dr. Özgür Çelik, araştırmanın
ChatGPT gibi yapay zeka araçlarının öğrenci kompozisyonlarını puanlarken metnin
konumuna göre (baş, orta veya son) bir yanlılık sergileyip sergilemediğini
incelediğini aktardı.
Farklı
metin konumlarının değerlendirme üzerindeki etkisini test eden çalışmada 192
yazı örneği kullanıldığını belirten Öğr. Gör. Dr. Özgür Çelik, yapılan
analizlerin ChatGPT’nin metnin giriş veya sonuç kısmına yönelik sistematik bir
kayırma yapmadığını, aksine metni bütüncül biçimde değerlendirerek güçlü ve
zayıf yönleri dengeli şekilde ayırt edebildiğini vurguladı.
Öğr.
Gör. Dr. Özgür Çelik, elde edilen bulguların dil bilgisi gibi unsurların metnin
her bölümünde eşit şekilde dikkate alındığını, içerik kalitesinin ise özellikle
gövde paragraflarından değerlendirildiğini ortaya koyduğunu belirtti.
Araştırmanın, yapay zeka destekli otomatik notlandırma süreçlerinin insan
gözetimi ve kontrolü ile birlikte kullanıldığında güvenilir sonuçlar
üretebileceğini gösterdiğini ifade etti.
Makale
erişim adresi:
