Human activity recognition with convolutional and multi-head attention layer based neural network

Abstract

İnsan Aktivitesi Tanıma (HAR), sensörler tarafından oluşturulan zaman serisi verileriyle insan aktivitelerinin sınıflandırılmasını ifade eder. HAR için birçok farklı algılama tekniği olmasına rağmen, bu tezde, mobil giyilebilir algılama cihazlarındaki son gelişmeler nedeniyle, HANDY veri seti tarafından sağlanan bileğe takılan ivmeölçer verileri kullanılmıştır. Önerilen modelde, öznitelik çıkarma katmanı sırasıyla dikkat katmanına bağlanmıştır ve bu bağlam girdileri sınıflandırmak için tam bağlantılı katmana bağlanmıştır. Öznitelik çıkarımdaki başarılarından dolayı öznitelik çıkarma katmanında Evrişimsel Sinir Ağı (CNN), ivme sensöründen gelen 3B zaman serisi verilerinin her boyutunu değerlendirmek için CNN'den sonra Çok Kafalı Dikkat Katmanı kullanılmıştır. Öznitelik çıkarma ve dikkat katmanından sonra SoftMax sınıflandırıcı ile tam bağlantılı katman ile sonlanan bu model, kategorik çapraz entropi kaybı ile değerlendirildiğinde 0,935 doğrulama oranına ulaşmıştır.

Human Activity Recognition (HAR) refers to classifying human activities with time-series data generated by sensors. Although there are many different sensing techniques for HAR, this thesis uses wrist-worn accelerometer data provided by the HANDY dataset due to the recent development of mobile wearable sensing devices. In the proposed model, the feature extraction layer is connected to the attention layer, respectively, and this context is connected to the fully connected layer to classify the inputs. Due to its achievements in feature extraction, Convolutional Neural Network (CNN) was used in the feature extraction layer, Multi-Head Attention Layer was used after CNN to evaluate every dimension of the 3D time-series data coming from the acceleration sensor. After the feature extraction and attention layer, this model, which ended with a fully connected layer with the SoftMax classifier, reached 0. 935 validation accuracy when evaluated with categorical cross-entropy loss