GDL

Electronic Sign Language Translator Glove Based On American Sign Language With Sensor Fusion Method

Skripsi, 018 / 2019 / EK
Undergraduate Theses from JBPTPPOLBAN / 2020-01-13 10:36:09
Oleh : Muhamad Zahra Saputra - 151354021 (muhamadzahrasaputra@gmail.com)
Dibuat : 2020-01-13, dengan 4 file

Keyword : Sarung Tangan Elektronik, Bahasa Isyarat, Sensor Fusion, Aplikasi Mobile, American Sign Language
Subjek : Electronic Glove, Sign Language, Sensor Fusion, Mobile Application, American Sign Language

Penyandang disabilitas tuli dan bisu umumnya menggunakan Bahasa isyarat untuk berkomunikasi. Namun tidak semua orang dapat memahami penggunaan bahasa isyarat ini. Untuk mengatasi masalah tersebut pada Tugas Akhir ini telah direalisasikan sebuah sarung tangan elektronik yang berfungsi menerjemahkan bahasa isyarat huruf A-Z dan angka 0-9 berdasarkan American Sign Language (ASL). Alat ini dilengkapi 5 buah sensor fleks di setiap jari, sebuah IMU (Inertial Measurement Unit) 3-axis accelerometer, dan 3-axis giroskop untuk mendeteksi gerakan jari dan posisi tangan. Untuk mengolah pembacaan data dari sensor digunakan metode sensor fusion. Operator fusion yang digunakan terdiri dari Operator Kalman Filter untuk pengolahan data IMU, Operator (IF-THEN) untuk pengolahan data dari 5 buah sensor fleks, dan Operator (IF-THEN) untuk mengklasifikasikan gerakan ASL berdasarkan penggabungan kedua operator tersebut. Selanjutnya data ini dikirimkan ke aplikasi mobile melalui internet, dan ditampilkan pada smartphone, serta dapat disuarakan menggunakan fitur text to speech. Pengujian terhadap 5 orang naracoba menunjukkan sarung tangan elektronik ini telah dapat menerjemahkan 28 gerakan ASL (77%) dengan baik, waktu rata-rata pengiriman data adalah 1, 32 detik, huruf A-Z dan angka 0-9 telah dapat disuarakan dengan benar. Fitur text to speech ini juga dapat membedakan pengejaan huruf, pengucapan kata, dan kalimat dengan baik. Untuk menerjemahkan gerakan-gerakan ASL yang mirip (M, N, S, T, U, dan V), sarung tangan elektronik ini memiliki kepresisian < 60%. Ketidakpresisian ini diakibatkan karena sarung tangan belum didesain mengikuti struktur anatomi tangan pengguna sehingga mempengaruhi pembacaan sensor di setiap jari. Untuk meningkatkan kepresisian ini dapat diterapkan teknologi machine learning, atau teknologi image processing. Kata kunci: Sarung Tangan Elektronik, Bahasa Isyarat, Sensor Fusion, Aplikasi Mobile, American Sign Language.

Deskripsi Alternatif :

People with deaf and mute disabilities generally use Sign Language to communicate. Unfortunately, not everyone can understand the use of this sign language. To overcome this problem, in this Final Project, electronic glove is proposed to translate sign language A-Z and numbers 0-9 based on the American Sign Language (ASL). This tool is equipped with 5 flex sensors on each finger and an IMU (Inertial Measurement Unit) which included 3-axis accelerometer and 3-axis gyroscope to detect finger movements and hand position. To process reading data from the sensor, sensor fusion method is used. The fusion operator used consists of the Kalman Filter Operator for IMU data processing, IF-THEN Operator for processing data from 5 flex sensors and classify ASL movements based on the merger of the two operators. Furthermore, this data is sent to the mobile application via the internet, and displayed on a smartphone, and can be voiced using the text to speech feature. From the experiment, it showed that this electronic glove was able to translate 28 ASL (77%) movements well, the average time of data transmission was 1.32 seconds, the letters A-Z and numbers 0-9 could be correctly voiced. The text to speech feature can also distinguish spelling of letters, pronunciation of words, and sentences properly. To translate similar ASL movements (M, N, S, T, U, and V), this electronic glove has a precision of less than 60%. This imprecision is caused by the gloves that have not been designed to follow the anatomical structure of the user's hand, so that it affects the reading of the sensor on each finger. To improve the precision, a machine learning technology or an image processing technology can be applied. Keywords: Electronic Glove, Sign Language, Sensor Fusion, Mobile Application, American Sign Language.

Beri Komentar ?#(0) | Bookmark

Properti	Nilai Properti
ID Publisher	JBPTPPOLBAN
Organisasi
Nama Kontak	Erlin Arvelina
Alamat	Jl. Trsn. Gegerkalong Hilir Ds. Ciwaruga
Kota	Bandung
Daerah	Jawa Barat
Negara	Indonesia
Telepon	022 201 3789 ext. 168, 169, 239
Fax	022 201 3889
E-mail Administrator	erlin.arvelina@polban.ac.id
E-mail CKO	erlin.arvelina@polban.ac.id