Content-based lecture video retrieval

Abstract

Günümüzde e-öğrenme veya çevrimiçi öğrenme olarak sıklıkla karşımıza çıkan uzaktan eğitim, eğitim-öğretim sırasında eğitmen ile öğrencinin fiziksel olarak yan yana olmadığı ve öğrenci-eğitmen iletişimini kolaylaştırmak için çeşitli teknolojilerin kullanıldığı yeni nesil bir eğitim yaklaşımıdır. Bu yaklaşım koronavirüs pandemisi (COVID-19) ile dünya çapındaki ağda (www) özellikle ders-eğitim içerikli videolar ile daha yaygın ve kullanılabilir hale gelmiştir. Ancak internet ortamında bulunan video sayılarındaki yüksek artış hızı, belirli bir içeriğe sahip videoya ulaşmak isteyen kullanıcıların video içeriklerine erişimini oldukça zorlaştırmıştır. Bahsedilen bu zorluklara bir öneri geliştirmek bağlamında bu araştırmada kullanıcıların belirli eğitim içerikleri ile ilgili videolara erişimini amaçlayan içerik tabanlı erişim yöntemi ele alınmıştır. Kullanıcıların aradıkları video içeriklerine daha kolay ulaşması için videoların doğru sınıflandırılması gerekmektedir. Teknik açıdan sınıflandırılmanın yapılabilmesi için ise öncelikle videoların metin bilgilerine ulaşılmalıdır. Bu çerçevede araştırmada videoların metin bilgilerini çıkarmak için optik karakter tanıma (OCR) ve otomatik konuşma tanıma (ASR) isimli iki farklı indeksleme yöntemi kullanılmıştır. Bu iki yöntem ve bu iki yöntemin birlikte kullanıldığı bir analiz, bu tezde belirli bir veri kümesi üzerinden ele alınmıştır. Veri kümesi olarak ise 110 videolu bir eğitim koleksiyonu kullanılmıştır. Bu kapsamda aynı veriyi kullanarak OCR ile analiz yapmış bir tez referans alınarak, bu kez de ASR yöntemi ile aynı metrik analizler yapılmıştır. Son olarak ise, hem OCR hem de ASR yöntemi kullanılarak çeşitli metrik değerler hesaplanmıştır. Verilerin sınıflandırma analizi için 3 farklı geleneksel makine öğrenme yöntemi kullanılmıştır. Kullanılan geleneksel makine öğrenme yöntemleri Support Vector Machine (SVM), Naïve Bayes ve Random Forest yöntemleridir. Bu doğrultuda farklı makine öğrenme yöntemleri ve farklı indeksleme yöntemlerinin aynı veri kümesi üzerinde metrik analizleri karşılaştırılmıştır. Yapılan analizler sonucunda ders videolarının içerik tabanlı erişimde kullanılabilmesi için günümüzde mümkün olan geleneksel makine öğrenme yöntemleri ile indeksleme yöntemlerinin güçlü ve zayıf yönlerinin açıklaması yapılmıştır. Bununla birlikte aynı konuda yapılacak gelecek çalışmalar için yöntemin geliştirilebilecek yönleri vurgulanmış ve bu konudaki öneriler sunulmuştur. Bu tez, yapılan karşılaştırmalı araştırmanın hem eğitim hem de yazılım sektörünü nasıl etkileyebileceği tartışması ile noktalanmaktadır.

Distance education, which is frequently encountered as e-learning or online learning today, is a new generation education approach in which the instructor and the student are not physically in the same place during education. Various technologies are used to facilitate online student-instructor communication. This approach has become more common and available on the world wide web (www) with the coronavirus pandemic (COVID-19), especially regarding lecture videos. However, the high rate of increase in the number of lecture videos on the internet has made it very difficult for users who want to access a specific video with a certain content. In the context of developing a proposal for these challenges, this research deals with the content-based search method that aims to provide users with access to videos related to certain educational content. The videos need to be accurately categorized in order to make it easier for users to find the specific video content. From the technical point of view, in order to be able to make such categorization, the textual information of the videos should be first retrieved. In this context, two different indexing methods called optical character recognition (OCR) and automatic speech recognition (ASR) are adopted to extract the textual information of the videos in the research. These two methods and an analysis in which these two methods are used together, are handled in this thesis over a specific data set. A collection of 110 lecture videos is used as the dataset. Within this scope, by referring to a thesis that made analysis with OCR method using the same dataset, this time the same metric analyzes are made with the ASR method. Finally, various metric values are calculated using both OCR and ASR methods. Three different traditional machine learning methods are used for classification analysis of the dataset. The traditional machine learning methods used are Support Vector Machine (SVM), Naïve Bayes and Random Forest methods. Accordingly, metric analysis of different machine learning methods and different indexing methods on the same dataset are compared. As a result of the analysis, the strengths and weaknesses of traditional machine learning methods and indexing methods are explained in order to use the lecture videos in content-based search. In addition, the aspects of the method that can be improved for future studies on the same subject are emphasized and suggestions on this subject are presented. This thesis concludes with a discussion of how the comparative research can affect both the education and software industries.