Kisah di Balik Disertasi Dr. Mujiyanto: Mengajarkan AI Mengenali Ekspresi di Balik Masker dan Hijab

Program Studi menyampaikan selamat kepada Mujiyanto, M.Kom. atas keberhasilannya menyelesaikan studi Doktor pada Program Studi Doktor Informatika, Universitas Amikom Yogyakarta. Kandidat berhasil mempertahankan disertasinya yang berjudul “Model Pengenalan Ekspresi Wajah Teroklusi Berbasis Swin Transformer Melalui Paired Clean-Anchor Consistency” di hadapan tim penguji pada hari Jumat, 14 Agustus 2026. Pencapaian ini menambah daftar doktor baru yang lahir dari lingkungan akademik Amikom, sekaligus menegaskan konsistensi kandidat dalam menekuni bidang kecerdasan buatan dan computer vision sepanjang masa studinya.

 

Rekam Jejak Peneliti

Mujiyanto menempuh pendidikan Sarjana Teknologi Informasi di Universitas Amikom Yogyakarta (2011–2014) dengan predikat cum laude, kemudian melanjutkan Magister Ilmu Komputer di kampus yang sama (2016–2018) dengan tesis mengenai pemodelan fuzzy ME-MCDM untuk kelayakan komersialisasi produk. Ia melanjutkan studi Doktor Ilmu Komputer di Amikom sejak 2023, dengan riset yang didukung Hibah Penelitian Disertasi Doktor (PDD) BIMA untuk periode 2023–2026.

Kandidat dikenal sebagai praktisi teknologi dengan pengalaman lebih dari satu dekade. Sejak 2014, ia menjabat sebagai Co-Founder dan Chief Technology Officer PT GIT Solution (GITS), yang mengembangkan Genius HR, sebuah platform B2B SaaS untuk analitik sumber daya manusia dan preventive wellness berbasis mesin AI multimodal bernama GENCO. Sejak 2016, ia juga berperan sebagai AI Consultant untuk Bank Indonesia, memberikan pendampingan teknis pada inisiatif kecerdasan artifisial dan modernisasi sistem informasi, termasuk pemanfaatan data platform SiHaTi untuk peramalan harga komoditas.

Rekam jejak kandidat turut diwarnai sejumlah penghargaan internasional, di antaranya Juara 1 IEEE AI Startup pada APICTA Awards di Kaohsiung, Taiwan (2025), serta Juara 1 Asia Pacific Outstanding Youth Startup Awards dari UNDP–United Nations di Beijing, Tiongkok (2019). Ia juga memimpin inisiatif AI dan enterprise software yang melayani lebih dari 100.000 pekerja harian pada lebih dari 20 organisasi. Rekam jejak ini menunjukkan bahwa kontribusinya tidak berhenti pada riset akademik semata, tetapi juga merambah ke penerapan teknologi pada sektor jasa keuangan, pendidikan, kesehatan, pemerintahan, dan manajemen sumber daya manusia.

Perjalanan Menuju Gelar Doktor

Disertasi Mujiyanto disusun di bawah bimbingan Prof. Arief Setyanto, S.Si., M.T., Ph.D sebagai promotor, bersama Prof. Dr. Ema Utami, S.Si., M.Kom. dan Prof. Dr. Kusrini, M.Kom. sebagai ko-promotor. Ujian promosi doktor berlangsung pada 14 Agustus 2025, dengan Prof. Agus Harjoko dari Universitas Gadjah Mada bertindak sebagai penguji eksternal, serta Dr. Andi Sunyoto, M.Kom dan Dhani Ariatmanto, M.Kom, Ph.D dari lingkungan Universitas Amikom Yogyakarta sebagai penguji internal. Kehadiran penguji eksternal dari perguruan tinggi lain menjadi bagian penting dalam menjaga objektivitas dan kualitas akademik disertasi yang diuji, sekaligus menegaskan bahwa hasil penelitian kandidat telah melalui proses penilaian yang ketat dari berbagai perspektif keilmuan.

Sepanjang masa studinya, kandidat menunjukkan produktivitas ilmiah yang konsisten, dengan hasil penelitian yang dipublikasikan pada jurnal dan konferensi internasional terindeks Scopus sebelum ujian akhir dilaksanakan — sebuah pendekatan yang memperkuat kualitas argumentasi ilmiah yang disampaikan dalam forum ujian.

Jejak Karya di Panggung Ilmiah

Selama masa studi doktoralnya, kandidat menghasilkan sejumlah publikasi yang relevan dengan topik disertasinya. Dua di antaranya menjadi rujukan utama: “Swin Transformer with Enhanced Dropout and Layer-wise Unfreezing for Facial Expression Recognition in Mental Health Detection” yang terbit di Engineering, Technology & Applied Science Research (Scopus Q2), dan “Facial Expression Recognition with Deep Learning and Attention Mechanisms: A Systematic Review” yang dipresentasikan pada International Conference on Informatics and Computational Sciences (ICICoS) 2024 terbitan IEEE (Scopus Q2). Kandidat juga mempublikasikan riset di luar topik utama disertasinya, yaitu perbandingan metode peramalan deret waktu untuk harga komoditas, yang terbit di jurnal Telematika.

Selain itu, kandidat juga memegang Hak Cipta program komputer untuk Sistem Informasi Manajemen Rumah Sakit (2021), serta aktif sebagai reviewer pada jurnal Engineering, Technology and Applied Science Research.  Rekam jejak riset kandidat turut berlanjut pascadisertasi melalui penelitian lanjutan bertajuk “Semantically Guided Diffusion for Occlusion-Robust Facial Expression Recognition”, yang saat ini dalam proses review pada jurnal internasional terindeks Scopus Q1.

Ketika AI Belajar Membaca Ekspresi di Balik Masker dan Hijab

Disertasi kandidat mengangkat tantangan nyata dalam pengenalan ekspresi wajah (facial expression recognition/FER): bagaimana sistem AI tetap dapat mengenali delapan kelas ekspresi wajah ketika sebagian petunjuk wajah tertutup oleh masker, hijab, atau keduanya. Penelitian ini secara tegas membatasi cakupannya pada ekspresi yang tampak secara visual, bukan emosi batin seseorang, dan tidak dimaksudkan untuk mendukung keputusan klinis maupun ketenagakerjaan.

Untuk menjawab tantangan tersebut, kandidat mengembangkan dua kontribusi utama yang sengaja dipisahkan pengujiannya. Pertama, AffectSyn, sebuah dataset supervisi oklusi berpasangan yang terkontrol, terdiri atas 13.586 source family pada domain wajah bersih (clean), bermasker, berhijab, dan kombinasi masker-hijab. Struktur data ini dirancang agar oklusi semantik dapat dibandingkan secara adil dengan oklusi naif, tanpa mengubah identitas maupun ekspresi asli subjek. Kedua, Paired Clean-Anchor Consistency (PCAC), sebuah metode pembelajaran pada arsitektur Swin Transformer (Swin-T) yang mengajarkan model untuk tetap konsisten mengenali ekspresi yang sama pada versi wajah bersih maupun versi yang teroklusi.

Untuk memastikan manfaat data dan manfaat metode PCAC tidak tercampur, kandidat menerapkan kontrol exposure-matched dengan parameter lambda=0 sebagai pembanding yang menerima jumlah data dan anggaran pelatihan yang sama, sehingga selisih hasil benar-benar mencerminkan kontribusi PCAC, bukan sekadar tambahan data. Evaluasi dilakukan dengan tiga random seed, kohort data nyata, benchmark publik AffectNet dan RAF-DB, serta pengujian statistik yang ketat berupa bootstrap dan koreksi Holm untuk pengujian jamak.

Hasilnya, pada dataset AffectSyn, PCAC berhasil menurunkan kesenjangan macro-F1 antara kondisi bersih dan teroklusi dari 0,03444 menjadi 0,01623 — penutupan kesenjangan sebesar 52,9%. Pada kohort nyata yang terdiri dari 1.600 citra dari 100 subjek, penggunaan data oklusi semantik meningkatkan macro-F1 sebesar 0,0288 dibanding oklusi naif, sementara PCAC menambah peningkatan sebesar 0,0295 dibanding kontrol exposure-matched; kedua temuan ini tetap signifikan setelah koreksi Holm (p<0,001). Dalam pengujian transfer zero-shot, model PCAC-Swin-T mencapai akurasi 70,95% pada RAF-DB kondisi bersih dan 65,26% pada kondisi teroklusi (Occlusion-RAF-735).

Menariknya, kandidat juga menemukan bahwa manfaat PCAC tidak bersifat universal di semua arsitektur. Pada backbone ResNet-50, data semantik tetap meningkatkan performa, namun PCAC justru tampil sedikit di bawah kontrol pembandingnya. Pada model FMAE-L, adaptasi berbasis data sintetis bahkan mengalami negative transfer pada domain tertentu. Temuan ini menjadi salah satu kontribusi penting disertasi: menetapkan dengan jujur kondisi keberhasilan sekaligus batas generalisasi dari metode yang dikembangkan, alih-alih mengklaim keunggulan yang bersifat universal.

Sebagai penutup disertasinya, kandidat merekomendasikan tiga arah penelitian lanjutan: memperluas variasi oklusi di luar masker dan hijab (termasuk oklusi wajah atas dan oklusi tidak beraturan), merancang strategi adaptasi model pralatih yang mempertahankan kemampuan aslinya melalui mekanisme residual atau selektif, serta memperkuat evaluasi lanjutan dengan benchmark eksternal yang lebih besar dan pelaporan yang memisahkan secara jelas antara kemampuan klasifikasi dalam domain dan kemampuan transfer lintas domain.

Keberhasilan Dr. Mujiyanto diharapkan dapat memacu semangat dosen dan mahasiswa lain di lingkungan Program Studi untuk terus berkontribusi dalam pengembangan riset di bidang kecerdasan buatan dan computer vision. Program Studi turut berharap agar hasil penelitian ini dapat terus dikembangkan lebih lanjut, baik dari sisi metode maupun penerapannya pada konteks nyata seperti deteksi dini kesehatan mental. Sekali lagi, seluruh sivitas akademika mengucapkan selamat atas pencapaian gelar Doktor ini.

Translate »