Digital video stabilization using artificial neural networks

Abstract

Teknolojideki hızlı gelişim, daha ucuz ve imaj kalitesi ve video çekme kabiliyeti üstün olan daha küçük cihazların üretilmesine yol açmış ve bu tür cihazlar fiyat açısından daha uygun olduklarından müşteriler tarafından rağbet görmüş ve saat ve akıllı telefon gibi günlük kullanım alanı geniş farklı cihazlara yerleştirilebilir hale gelmişlerdir. Bu gelişim sayesinde günlük olarak çekilen videolar mekanik sabitleyici gibi profesyonel destekleyici donanım kullanılmaksızın sayıca artmıştır. Stabilize olmayan videolar, kamera tarafından alınan resimdeki objelerin istem dışı olarak hareket ettiği, çekilen videonun kalitesine olumsuz anlamda etki ettiği sonuçlara sahip videolardır. Bu sebepten dolayı daha iyi videolar çekmek için bu tür istem dışı hareketlerin ortadan kaldırılması büyük önem taşımaktadır. Görüntü almak için kullanılan kameraların birçoğu resim çekme kapasitesine sahip olup çektiği resimleri dijital ortamda muhafaza eder ve bu resimler üzerinde dijital görüntüleme işlem tekniklerini kullanmak mümkündür. Bundan dolayı, istenmeyen hareketleri düzeltmek ve ortadan kaldırmak için birçok dijital video dengeleme teknikleri önerilmiştir. Bu çalışmada, videodaki kasıtsız hareketleri / oynamaları ortadan kaldırmak için her kareden alınacak olan bölgeyi tahmin edebilmek üzere Kıvrımlı Nöral Ağ (Convolutional Neural Network) kullanan iki boyutlu dengeleme tekniği önerilmektedir. Karenin partinin orta kısmında bulunması ve konumsal olarak dengelenmesinden, çekilen kareler, nöral networka partiler halinde verilir, bir önceki kareler yine bir önceki aşamaların dengeleme sonuçlarından elde edilirken, gelecekte alınacak olan kareler video girişinden elde edilmektedir. İşlem öncesi ve sonrasındaki karelere ek olarak daha uzaktan alınan karelerde partiye dahil edilir ve böylece uzun ve kısa dönem hareketler nöral network tarafından tahmin edilebilir. Önerilen ve bir video dengeleyici veri-seti kullanan yöntemin incelenmesi, sonuç olarak elde edilen videonun, Adobe Premire video derleme yazılımı tarafından kullanılan, en iyi ticari tekniğine oldukça yakın olduğunu gösterir.

The rapid growth in technology has enables the production of smaller video capturing devices of good image quality and low costs, which makes these devices more available for customers in lower prices and allows embedding them in different everyday devices, such as watches and smartphones. This growth has rapidly increased the number of videos being captured for everyday actions without the use of professional supporting equipment, such as the mechanical stabilizer. Unstable videos are videos that have unintentional movements in the objects being captured by the camera, which may result in a dramatic influence over the quality of the captured video. Thus, it is important to eliminate such movements in order to produce better videos that are easier to watch. As most of the cameras being used to capture the scenes acquire the images and save them digitally, it is possible to use digital imaging processing techniques over these images. Thus, many digital video stabilizing techniques have been proposed to correct and eliminate any undesired movements. In this study, a two-dimensional video stabilization technique is proposed, which employs a Convolutional Neural Network in order to predict the region that should be extracted from each frame in order to remove the unintentional movements in the video. Frames are fed in batches to the neural network, where the frame being stabilized in positioned in the middle of the batch, while previous frames are collected from the stabilization results of previous steps and future frames are collected from the input video. In addition to the frames directly before and after the being processed, frames from farther distances are also included in the batch, so that, the long- and short-term movements can be predicted by the neural network. The evaluation of the proposed method using a video stabilization dataset show that the resulting video is very similar to the best commercial technique being used, employed by Adobe Premiere video editing software.