Sistem Deteksi Simbol pada SIBI (Sistem Isyarat Bahasa Indonesia) Secara Real Time Menggunakan Mediapipe dan LSTM

Diskripsi Karya

Penyandang tunarungu memiliki batasan dalam berkomunikasi secara verbal, dan solusi paling efektif yang dapat digunakan saat ini adalah bahasa isyarat. Di Indonesia sendiri terdapat bahasa isyarat yang digunakan secara resmi yaitu Sistem Isyarat Bahasa Indonesia (SIBI). Namun hanya sedikit orang non penyandang tunarungu yang menguasainya, sehingga akan tetap menyulitkan ketika berkomunikasi. Teknologi deep learning dapat menjadi salah satu solusi untuk mengatasi ketimpangan ini. Untuk memudahkan komunikasi antara penyandang tunarung dengan non penyandang tunarungu yang belum mengetahui bahasa isyarat, maka dibuatlah sistem deep learning yang dapat mendeteksi SIBI. Pada penelitain ini digunakan framework mediapipe dan model Long Short Term Memory untuk membangun sistem SIBI detection. Hasilnya didapatkan nilai akurasi setelah training mencapai 100% dan loss sebesar 4.5115e-05. Pada hasil pengujian performa didapatkan nilai precision 100%, recall 100%, dan F1-Score 100%. Sistem kemudian di uji testing atau prediksi secara real time dengan jarak 1.5; 3, dan 4 meter. Hasilnya nilai rata-rata persentase ketepatan prediksi adalah 83%. Namun prediksi pada jarak 1,5 meter saja memiliki persentase ketepatan prediksi sebesar 100%.