Efficient implementation of convolutional neural networks on embedded devices

Abstract

Yapay zeka alanında, derin evrişimsel sinir ağı modelleri, insan sonuçlarına yakın sonuçlar verebildikleri için çok popülerdir. Uygulamaya bağlı olarak, bu derin öğrenme modelleri çok basit ve küçük olabilir, ancak aynı zamanda çok karmaşık ve büyük de olabilir. Bu nedenle, bu modelleri uygulayan gömülü sistemlerin performansı zayıf ve olanaksız olabilir. Bu tez, çeşitli yöntemlerin kullanılmasıyla, performansta önemli bir kayıp olmadan derin evrişimsel sinir mimarisi verimliliğini iyileştirmeyi amaçlamaktadır. Bu amaçla, ilk olarak katman aktivasyonlarında öznitelik boyutu küçültmelerinden yararlanıyoruz. Özellik boyut küçültme için Temel Bileşen Analizi ve Select-K-Best fonksiyonu gibi yöntemler kullanıyoruz. Sonrasında, niceliksel farkındalık eğitimli ikili derin evrişimli sinir ağı modelini daha verimli hale getirmek için, bir karar verme mekanizması olarak derin öğrenme modelinin tam bağlantılı katmanlarını değiştirerek "Düzenli Pozitif ve Negatif Çıkarım" algoritmasını da kullanıyoruz. Bu tezin nihai amacı, bu yöntemlerin önemli bir performans kaybı olmadan modellerimizi verimli hale getirip getiremeyeceğini ve ikili nicemlenmiş derin evrişimsel sinir ağının verimliliğini daha da artırıp artıramayacağımızı gözlemlemektir.

In the field of artificial intelligence, deep convolutional neural network models are very popular because they can yield results close to those of humans. Depending on the application, these deep learning models can be very simple and small, but also very complex and large. Hence, the performance of an embedded systems that implement these models may be poor and infeasible. Through the use of various methods, this thesis aims to improve deep convolutional neural architecture efficiency without a significant loss of in the performance. For this purpose, we first utilize feature dimension reductions in layer activations. We use methods such as Principal Component Analysis and Select K-Best functions for feature dimension reduction. In the following, in order to make a quantization-aware trained binary deep convolutional neural network model more efficient, we also utilize the "Regular Positive and Negative Inference" algorithm by replacing the fully connected layers of the deep learning model as a decision-making mechanism. The ultimate aim of this thesis is to observe if these methods would make our models efficient without a significant loss of performance, and if we can further increase the efficiency of a binary quantized deep convolutional neural network.