A systematic review of interactive information retrieval evaluation studies, 2007-2016

Abstract

Since the last mid-century researchers start investigate in the performance of IIR (interactive information retrieval). Many methods and measures were innovated and used in this field studies. To ensure the replication of maturation researches there are several factors that effect on the maturation of researches such as introducing standards for measurement and analysis, and understand past endeavors. In this study, we analyzed a vast range of papers within the period (2007-2016), where 1110 papers were examined manually and only 78 articles were included. Based on the achieved results in our study, we found that the researchers increased their concentration on IIR evaluation. Due this expansion of researching in this topic, we noticed that researches used some new techniques and datasets for evaluation of IIR systems. Most of the included papers were conducted based on the help of participants and questionnaires.

Geçen yüzyılın ortalarından buyana, araştırmacılar IIR'nin (etkileşimli bilgi erişim sistemleri) performansı üzerine araştırmalar başlatmışlardır. Birçok yeni yöntem ve ölçme sistemi bulunmuş ve bu alandaki çalışmalarda kullanılmıştır. Olgunlaşmış araştırmaların çoğaltılmasını sağlamak amacıyla, ölçme ve analiz için standartların belirlenmesi ve geçmişte yapılan çabaların anlaşılması gibi araştırmaların olgunlaşması üzerinde etkiye sahip olan birkaç faktör mevcuttur. Bu çalışmada, 2007-2016 yıllarını kapsayan bir dönemde çok sayıda makaleyi analiz ederek, bunların arasından 1100 adet makale el ile incelenip sadece 78 adeti araştırmaya dahil edilmiştir. Çalışmamızda elde edilen sonuçlara dayalı olarak, araştırmacıların çalışmalarını IIR değerlendirmesi üzerine yoğunlaştırdıkları görülmüştür. Bu konu üzerine araştırmaların artmasından dolayı, araştırmacıların IIR sistemlerinin değerlendirmesi için bazı yeni teknikleri ve veri kümeleri kullandıklarını fark ettik. Çalışmamıza dahil edilen çoğu makale katılımcıların ve anketlerin yardımıyla yürütülmüştür.