GDL

Mobile Robot Controlling Using Hand Gesture Based on Augmented Reality with Sensor Fusion Method

Skripsi, 008 / 2019 / EK
Undergraduate Theses from JBPTPPOLBAN / 2020-01-13 08:06:07
Oleh : Ditto Fauzandhiiya - 151354009 (fauzanditto@gmail.com)
Dibuat : 2020-01-13, dengan 4 file

Keyword : Gestur Tangan, Sensor Kinect, Fuzzy Logic, Wireless LAN, Augmented Reality, Sensor Fusion
Subjek : Hand Gesture, Kinect Sensor, Fuzzy Logic, Wireless LAN, Augmented Reality, Sensor Fusion

Pada tugas akhir ini akan dirancang suatu sistem gestur tangan (hand gesture) berbasis augmented reality dengan menggunakan metode sensor fusion untuk mengendalikan Mobile Robot. Metode yang digunakan pada tugas akhir ini adalah kuantitatif eksperimental. Tugas akhir ini dititikberatkan pada teknologi pengenalan gestur tangan yang direalisasikan dalam bentuk visualisasi augmented reality. Manfaatnya dapat diaplikasikan untuk membantu orang-orang disabilitas dalam mengendalikan suatu alat atau dapat digunakan untuk menerjemahkan bahasa isyarat bagi orang yang kesulitan berbicara (tunawicara). Sistem ini menggunakan komunikasi Wireless agar pengendalian kendaraan dapat dilakukan dari jarak jauh dan digunakan komunikasi Wireless LAN untuk koneksi kamera sebagai visualisasi pengguna. Sistem ini akan bekerja dengan cara membaca gestur tangan berupa gerakan tangan layaknya sedang memagang stir mobil saat berkendara. Gerakan tangan tersebut akan dibaca oleh sensor kinect. Hasil pembacaan dari sensor kinect adalah data sumbu X, Y, dan Z. Kendali fuzzy logic digunakan sebagai pengambil keputusan dari hasil pembacaan sensor kinect. Keluaran dari fuzzy logic ini berupa sinyal pwm yang akan mengatur arah mobile robot. Hasil pembacaan dari beberapa sensor ultrasonik akan disimpulkan menjadi satu kesimpulan dengan metode sensor fusion yang berupa algoritma pada program agar mobile robot dapat terhindar dari tabrakan. Augmented Reality pada mobile robot berbentuk peringatan ketika kamera mendeteksi objek. Hasil Pengujian pada Mobile Robot, didapatkan keakurasian sebesar 89.47% pada perbandingan input dan output dan mobile robot dapat menghindari tabrakan pada jarak kurang dari 25 cm. Metode Sensor Fusion dapat meminimalkan tabrakan depan pada mobile robot. Kata Kunci: Gestur Tangan, Sensor Kinect, Fuzzy Logic, Wireless LAN, Augmented Reality, Sensor Fusion.

Deskripsi Alternatif :

In this final project, an augmented reality-based hand gesture system will be designed using sensor fusion methods to control the Mobile Robot. The method used in this final project is quantitative experimental. It focuses on hand gesture recognition technology which is realized in the form of augmented reality visualization. The benefits can be applied to help people with disabilities in controlling a device or can be used to interpreted sign language for people who have disabilities. This system uses Wireless communication so that controlling vehicle can be done remotely and Wireless LAN communication is used for camera connections as user visualization. It will work by reading steering-like hand gestures while driving. The hand movements will be read by Kinect sensors. The results of the reading from the Kinect sensor are X, Y and Z plane data. Fuzzy logic control is used as a decision-maker from Kinect sensor readings. The output of this fuzzy logic is a PWM signal that will control the direction of the mobile robot. The results of the several ultrasonic sensors reading will be concluded with the sensor fusion method in the form of an algorithm in the program so that the mobile robot can avoid collisions. Augmented Reality in mobile robots is in the type of warning when the camera detects an object. Test results show that the mobile robot has an accuracy of 89.47% in the comparison of input and output and it can avoid collisions at a distance less than 25 cm. The sensor fusion methods can minimize front collisions on mobile robots. Keywords: Hand Gesture, Kinect Sensor, Fuzzy Logic, Wireless LAN, Augmented Reality, Sensor Fusion.

Beri Komentar ?#(0) | Bookmark

Properti	Nilai Properti
ID Publisher	JBPTPPOLBAN
Organisasi
Nama Kontak	Erlin Arvelina
Alamat	Jl. Trsn. Gegerkalong Hilir Ds. Ciwaruga
Kota	Bandung
Daerah	Jawa Barat
Negara	Indonesia
Telepon	022 201 3789 ext. 168, 169, 239
Fax	022 201 3889
E-mail Administrator	erlin.arvelina@polban.ac.id
E-mail CKO	erlin.arvelina@polban.ac.id