3D hand reconstruction with binocular view

Abstract

In the field of Human Computer Interaction (HCI) one of the important goals is designing better interfaces for improving interactions between human beings and computers. There are lots of approaches to address this problem. One of these approaches is interfacing using human hand gestures. The capturing and modeling of the gestures and articulations of the human hand is a challenging problem. There exist hardware and software solutions proposed to solve this problem. In this thesis, an inexpensive fast and effective method to stereo capture and create 3D hand model is proposed. The setup used for this thesis is; five different color markers and commodity hardware consists of two web cameras and a low cost laptop computer. In this thesis, starting with the stereo calibration of the cameras, capturing and tracking the color markers attached to the finger tips, leading 2D points of the finger tips, converting the 2D points to 3D points and calculating the finger articulations according to these 3D points and modeling the 3D hand have been accomplished, so the user can see his/her own hand’s articulation on the screen as a 3D hand model.

İnsan bilgisayar etkileşimi alanında en önemli hedeflerden birisi de insan ve bilgisayar arasındaki etkileşiminin geliştirilmesi için daha iyi ara yüzeyler tasarlanmasıdır. Bu problemin ele alınmasında bir çok yaklaşım bulunmaktadır. Bu yaklaşımlardan bir tanesi de insan eli hareketleri ile arayüzlemedir. İnsan eli hareketlerinin ve artikülasyonlarının yakalanması ve modellenmesi zorlu ve iddialı bir problemdir. Bu problemin çözülmesi için tasarlanmış donanım ve yazılımlar mevcuttur. Bu tez kapsamında, ucuz, hızlı ve etkili bir yöntem olarak stereo yakalama ve 3B el modeli oluşturma yöntemi önerilmiştir. Bu tez için kullanılan düzenek, beş farklı renkteki renkli işaretler, kolaylıkla erişilebilir olan düşük maliyetli iki web kamerası ve bir dizüstü bilgisayardan oluşmaktadır. Bu tez kapsamında, stereo kalibrasyondan başlanarak, parmak uçlarındaki renkli işaretlerin yakalanması ve izlenmesi, parmak uçlarının 2B noktalarının bulunması ve bu 2B noktaların 3B’a dönüştürülmesi, ardından bu 3B noktalara göre parmak artikülasyonlarının hesaplanması ve sonunda 3B el modellenmesi yapılmıştır, böylece kullanıcı kendi elinin artikülasyonunu ekranda 3B el modeli olarak görebilmektedir.