Klasifikasi Ekspresi Wajah Menggunakan CNN Dalam Keadaan Wild Setting Pada Virtual Meeting
Isnan Firmansyah(1*), Diyah Utami Kusumaning Putri(2), Bakhtiar Alldino Ardi Sumbodo(3)
(1) Universitas Gadjah Mada
(2) Universitas Gadjah Mada
(3) Universitas Gadjah Mada
(*) Corresponding Author
Abstract
Ekspresi wajah merepresentasikan perasaan dalam diri manusia serta dapat menjadi sebuah mediator dalam dunia sosial. Dalam rapat virtual, pemahaman terhadap suasana hati dan emosi peserta sangat dibutuhkan untuk menciptakan interaksi dan kerjasama yang baik. Emosi alami akan muncul ketika peserta berbicara secara spontan dengan keadaaan lingkungan alami tanpa dikondisikan sebelumnya. Oleh karena itu, dibutuhkan sebuah sistem yang mampu mengetahui emosi manusia secara otomatis dalam keadaan spontan (wild setting) pada virtual meeting sehingga ekspresi lebih alami. Teknik machine learning digunakan untuk melakukan klasifikasi ekspresi wajah pada virtual meeting.
Penelitian ini membandingkan performa arsitektur LightCNN dan EfficientNet. Pelatihan dilakukan pada dataset gabungan antara FER-2013, Extended and Augmented Google FER dan CK+. Dataset berjumlah 67.362 citra terbagi menjadi data training 60.184 buah, data validation 3.589 buah, dan data testing 3.589 buah. Input model arsitektur EfficientNet divariasikan menjadi 48x48 dan 224x224 pixels. Optimasi learning rate dilakukan untuk menemukan performa tertinggi dari arsitektur terbaik.
Hasil penelitian menunjukan bahwa arsitektur terbaik adalah EfficientNet dengan input 48x48 pixel. Nilai parameter learning rate paling optimal yaitu 0,0005. performa model dalam klasifikasi ekspresi wajah mencapai akurasi 90,50%, presisi 89,50%, recall 90,69% dan F1-score 90,06%. Implementasi EfficientNet pada video virtual meeting untuk mengklasifikasikan ekspresi wajah mendapatkan performa akurasi sebesar 96,18%.
Keywords
Full Text:
PDFReferences
A. Mehrabian, “Communication Without Words,” Psychol. Today, vol. 2, hal. 52–55, 1968.
P. Ekman dan W. V. Friesen, “Constants across cultures in the face and emotion.,” J. Pers. Soc. Psychol., vol. 17, no. 2, hal. 124–129, 1971, doi: 10.1037/h0030377.
D. Keltner, A. M. Kring, dan G. A. Bonanno, “Fleeting signs of the course of life: Facial expression and personal adjustment,” Curr. Dir. Psychol. Sci., vol. 8, no. 1, hal. 18–22, 1999, doi: 10.1111/1467-8721.00005.
N. Joshi, N. Beecken, H. Bah, F. Steinicke, dan J. Degner, “Advanced Emotion Analytics of Virtual Group Meetings involving Intelligent Virtual Agents,” Proc. - 2022 IEEE Conf. Virtual Real. 3D User Interfaces Abstr. Work. VRW 2022, hal. 344–350, 2022, doi: 10.1109/VRW55335.2022.00077.
J. Shao dan Y. Qian, “Three convolutional neural network models for facial expression recognition in the wild,” Neurocomputing, vol. 355, hal. 82–92, 2019, doi: 10.1016/j.neucom.2019.05.005.
M. Tan dan Q. V Le, “EfficientNet : Rethinking Model Scaling for Convolutional Neural Networks,” 2019.
Z. Song, “Facial Expression Emotion Recognition Model Integrating Philosophy and Machine Learning Theory,” Front. Psychol., vol. 12, no. September, 2021, doi: 10.3389/fpsyg.2021.759485.
A. Mollahosseini, D. Chan, dan M. H. Mahoor, “Going deeper in facial expression recognition using deep neural networks,” 2016 IEEE Winter Conf. Appl. Comput. Vision, WACV 2016, hal. 1–10, 2016, doi: 10.1109/WACV.2016.7477450.
M. Sajjad dkk., “A comprehensive survey on deep facial expression recognition: challenges, applications, and future guidelines,” Alexandria Eng. J., vol. 68, hal. 817–840, 2023, doi: 10.1016/j.aej.2023.01.017.
K. Zhang, Z. Zhang, Z. Li, dan Y. Qiao, “Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks,” IEEE Signal Process. Lett., vol. 23, no. 10, hal. 1499–1503, 2016, doi: 10.1109/LSP.2016.2603342.
W. Watch, “Teen Wolf 9-Years Later | MTV Reunion.” 2020, [Daring]. Tersedia pada: https://www.youtube.com/watch?v=q1V1Zu7XYaI.
P. Utami, R. Hartanto, dan I. Soesanti, “The EfficientNet Performance for Facial Expressions Recognition,” 2022 5th Int. Semin. Res. Inf. Technol. Intell. Syst., no. 1, hal. 756–762, 2023, doi: 10.1109/isriti56927.2022.10053007.
DOI: https://doi.org/10.22146/ijeis.92088
Article Metrics
Abstract views : 0 | views : 0Refbacks
- There are currently no refbacks.
Copyright (c) 2024 IJEIS (Indonesian Journal of Electronics and Instrumentation Systems)
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
View My Stats1