Antarmuka multimodal merujuk pada kombinasi dari beberapa modalitas.
Penelitian dalam bidang interaksi manusia dan komputer telah banyak dilakukan dan telah banyak menemukan berbagai terobosan-terobosan baru dalam model interaksi yang inovatif antara manusia dan komputer.
Dalam beberapa dekade terakhir, model interaksi manusia dengan komputer yang paling banyak ditemui adalah dengan model Command Line Interface (CLI) yakni interaksi yang berbasis perintah teks pada jendela teriminal komputer.
Kemudian berkembang model interaksi baru yakni Graphical User Interface (GUI) yang berbasis pada tampilan grafis yang lebih memanfaatkan tetikus dan kumpulan menu yang siap dieksekusi.
Seiring dengan berkembangnya hasil penelitian dalam bidang interaksi manusia dan komputer, banyak skenario interaksi baru bermunculan dalam waktu kurang lebih dua dekade terakhir.
Model interaksi yang banyak dikembangkan mengadaptasi dengan kebiasaan manusia, dimana model diangggap harus lebih alami, intuitif, adaptif dan tidak mengganggu.
Kebutuhan akan teknik interaksi baru yang berbeda dan lebih menarik serta alamiah menjadi fokus utama pada masa sekarang ini, dimana dalam membangun interface dapat menggunakan teknologi untuk memanfaatkan kemampuan alami manusia untuk berkomunikasi melalui suara, gerakan, ekspresi, sentuhan, dll.
Sementara ini tidak mungkin untuk sepenuhnya menggantikan interaksi antarmuka berbasis GUI, namun gaya interaksi baru ini akan dikembangkan untuk melengkapi yang sudah ada dengan gaya interaksi yang dinamis dan lebih nyaman.
Salah satu model interaksi manusia dengan komputer yang banyak diteliti dalam beberapa tahun terakhir ialah pada bidang visi komputer.
Penelitian dalam bidang interaksi manusia dan komputer telah banyak dilakukan dan telah banyak menemukan berbagai terobosan-terobosan baru dalam model interaksi yang inovatif antara manusia dan komputer.
Dalam beberapa dekade terakhir, model interaksi manusia dengan komputer yang paling banyak ditemui adalah dengan model Command Line Interface (CLI) yakni interaksi yang berbasis perintah teks pada jendela teriminal komputer.
Kemudian berkembang model interaksi baru yakni Graphical User Interface (GUI) yang berbasis pada tampilan grafis yang lebih memanfaatkan tetikus dan kumpulan menu yang siap dieksekusi.
Seiring dengan berkembangnya hasil penelitian dalam bidang interaksi manusia dan komputer, banyak skenario interaksi baru bermunculan dalam waktu kurang lebih dua dekade terakhir.
Model interaksi yang banyak dikembangkan mengadaptasi dengan kebiasaan manusia, dimana model diangggap harus lebih alami, intuitif, adaptif dan tidak mengganggu.
Kebutuhan akan teknik interaksi baru yang berbeda dan lebih menarik serta alamiah menjadi fokus utama pada masa sekarang ini, dimana dalam membangun interface dapat menggunakan teknologi untuk memanfaatkan kemampuan alami manusia untuk berkomunikasi melalui suara, gerakan, ekspresi, sentuhan, dll.
Sementara ini tidak mungkin untuk sepenuhnya menggantikan interaksi antarmuka berbasis GUI, namun gaya interaksi baru ini akan dikembangkan untuk melengkapi yang sudah ada dengan gaya interaksi yang dinamis dan lebih nyaman.
Salah satu model interaksi manusia dengan komputer yang banyak diteliti dalam beberapa tahun terakhir ialah pada bidang visi komputer.
Tujuan utama dari visi komputer adalah untuk menggunakan visi sebagai modalitas masukan dalam interaksi manusia-komputer.
Shneiderman juga mengungkapkan perbedaan pengguna sebagai tujuan utama dari desain sebuah sistem yang interaktif.
Pada tahun 1970-an dan 1980-an, hadir antarmuka pengguna yang berbasis grafis yang sering disebut dengan singkatan WIMP (windows, ikon, menu, and pointer).
Selama lebih dari dua dekade, model antarmuka ini telah mendominasi dalam interaksi manusia dan komputer.
Terlepas dari semua kemajuan dalam bidang HCI, sebagian besar sistem multimodal yang ada saat ini masih dikembangkan untuk menjadi konsep antarmuka yang lebih baik dan presis, karena keterbatasan dari berbagai mode yang masih jauh dari sempurna membuah model antarmuka multimodal ini masih belum dapat bekerja terlalu optimal.
Oleh karena itu antarmuka multimodal masih menjadi sebuah penelitian dalam bidang interaksi manusia dan computer yang masih terus berlanjut untuk mendapatkan hasil yang lebih baik, presisi, dan mampu menghasilkan keluaran yang sesuai dengan masukan.
Interaksi Manusia dan Komputer
Interaksi manusia dan komputer atau Human Computer Interaction (HCI) adalah studi tentang manusia, teknologi komputer, dan pengaruhnya terhadap satu sama lain.
Dalam prakteknya, HCI melibatkan desain, evaluasi, dan implementasi sistem komputer interaktif untuk digunakan manusia.
lnteraksi manusia dan merupakan bidang penelitian yang banyak melibatkan berbagai bidang ilmu yang lain seperti komputer, psikolog, faktor-faktor kebiasaan manusia dan banyak disiplin ilmu lainnya.
Hal ini juga melibatkan desain, implementasi, dan evaluasi sistem komputer interaktif dalam konteks interaksi dimana pengguna bergerak.
Sebagai salah satu unsur interaksi manusia dan komputer, antarmuka pengguna biasanya dianggap sebagai bagian dari program komputer dimana pengguna berinteraksi; yaitu, titik kontak antara manusia dan komputer.
Menurut Shneiderman ada beberapa faktor yang harus memimbing evaluator dan desainer dalam merancang sebuah interface yakni:
Dalam prakteknya, HCI melibatkan desain, evaluasi, dan implementasi sistem komputer interaktif untuk digunakan manusia.
lnteraksi manusia dan merupakan bidang penelitian yang banyak melibatkan berbagai bidang ilmu yang lain seperti komputer, psikolog, faktor-faktor kebiasaan manusia dan banyak disiplin ilmu lainnya.
Hal ini juga melibatkan desain, implementasi, dan evaluasi sistem komputer interaktif dalam konteks interaksi dimana pengguna bergerak.
Sebagai salah satu unsur interaksi manusia dan komputer, antarmuka pengguna biasanya dianggap sebagai bagian dari program komputer dimana pengguna berinteraksi; yaitu, titik kontak antara manusia dan komputer.
Menurut Shneiderman ada beberapa faktor yang harus memimbing evaluator dan desainer dalam merancang sebuah interface yakni:
- Waktu mempelajari
- Kecepatan performa
- Tingkat kesalahan pengguna
- Perulangan/ mengingat berkali kali
- Kepuasan subjectif
Shneiderman juga mengungkapkan perbedaan pengguna sebagai tujuan utama dari desain sebuah sistem yang interaktif.
Pada tahun 1970-an dan 1980-an, hadir antarmuka pengguna yang berbasis grafis yang sering disebut dengan singkatan WIMP (windows, ikon, menu, and pointer).
Selama lebih dari dua dekade, model antarmuka ini telah mendominasi dalam interaksi manusia dan komputer.
Model interaksi ini lebih mudah digunakan karena bisa dilihat melalui simbol-simbol tanpa perlu mengingat perintah-perintah yang berbasis teks.
Seiring dengan evolusi dari teknologi dalam hal ukuran fisik, penggunaan, kapasitas dan lain sebagainya menimbulkan tuntutan adanya perubahan dalam hal antarmuka pengguna.
Melihat berbagai perkembangan saat ini seperti tren virtual reality, augmented reality, augmented virtuality, komputasi tersebar dll menjadi dasar perkembangan model interface yang memanfaatkan lebih dari satu input untuk menghasilkan sebuah output, istilah ini sering disebut sebagai antarmuka multimodal.
Seiring dengan evolusi dari teknologi dalam hal ukuran fisik, penggunaan, kapasitas dan lain sebagainya menimbulkan tuntutan adanya perubahan dalam hal antarmuka pengguna.
Melihat berbagai perkembangan saat ini seperti tren virtual reality, augmented reality, augmented virtuality, komputasi tersebar dll menjadi dasar perkembangan model interface yang memanfaatkan lebih dari satu input untuk menghasilkan sebuah output, istilah ini sering disebut sebagai antarmuka multimodal.
Antarmuka Multimodal
Antarmuka multimodal merupakan sebuah system yang mengkombinasikan dua atau lebih modul masukan secara terkoordinasi. Antarmuka multimodal merujuk pada kombinasi dari beberapa modalitas.
Dalam sistem Human Computer Interaction (HCI), modalitas ini sebagian besar mengacu pada cara sistem merespon input, yaitu saluran komunikasi.
Definisi saluran ini mengacu pada alat indera yang ada pada manusia seperti penglihatan, pendengaran, sentuhan, rasa dll.
Oleh karena itu, antarmuka multimodal bertindak sebagai fasilitator interaksi antara manusia dengan komputer melalui dua atau lebih mode masukan yang dihasilkan dari tubuh manusia itu sendiri.
Jumlah mode input, jenis dan cara di mana mereka bekerja bersama-sama dapat bervariasi dari satu sistem multimodal dengan yang lain.
Antarmuka multimodal menggabungkan kombinasi yang berbeda seperti suara, gerakan, tatapan mata, ekspresi wajah dan berbagai mode yang lain.
Salah satu kombinasi yang paling sering digunakan adalah metode input gerakan dan ucapan.
Sistem antarmuka multimodal telah berkembang menggunakan sejumlah mode non-tradisional dan teknologi. Beberapa yang paling umum adalah sebagai berikut:
Dalam sistem Human Computer Interaction (HCI), modalitas ini sebagian besar mengacu pada cara sistem merespon input, yaitu saluran komunikasi.
Definisi saluran ini mengacu pada alat indera yang ada pada manusia seperti penglihatan, pendengaran, sentuhan, rasa dll.
Oleh karena itu, antarmuka multimodal bertindak sebagai fasilitator interaksi antara manusia dengan komputer melalui dua atau lebih mode masukan yang dihasilkan dari tubuh manusia itu sendiri.
Jumlah mode input, jenis dan cara di mana mereka bekerja bersama-sama dapat bervariasi dari satu sistem multimodal dengan yang lain.
Antarmuka multimodal menggabungkan kombinasi yang berbeda seperti suara, gerakan, tatapan mata, ekspresi wajah dan berbagai mode yang lain.
Salah satu kombinasi yang paling sering digunakan adalah metode input gerakan dan ucapan.
Sistem antarmuka multimodal telah berkembang menggunakan sejumlah mode non-tradisional dan teknologi. Beberapa yang paling umum adalah sebagai berikut:
1. Speech Recognition
Input berbasis pengenalan suara merupakan salah satu dari penelitian interasi manusia dan komputer, dan telah menjadi komponen populer dari sistem multimodal.
Suara adalah modalitas komunikasi yang sangat penting dan fleksibel bagi manusia, dan jauh lebih alami daripada mengetik atau cara lain untuk mengekspresikan kata-kata tertentu, frase, dan ucapan-ucapan lagi.
Meskipun penelitian pada bidang pengenalan suara telah banyak dilakuakn dan menghasilkan berbagai terobosan baru, namun teknologi ini masih jauh dari sempurna, karena ukuran, kompleksitas, dan kehalusan bahasa, keterbatasan teknologi mikrofon dan masalah lingkungan yang bising.
Suara adalah modalitas komunikasi yang sangat penting dan fleksibel bagi manusia, dan jauh lebih alami daripada mengetik atau cara lain untuk mengekspresikan kata-kata tertentu, frase, dan ucapan-ucapan lagi.
Meskipun penelitian pada bidang pengenalan suara telah banyak dilakuakn dan menghasilkan berbagai terobosan baru, namun teknologi ini masih jauh dari sempurna, karena ukuran, kompleksitas, dan kehalusan bahasa, keterbatasan teknologi mikrofon dan masalah lingkungan yang bising.
Oleh karenanya teknologi pengenalan suara masih jauh dari kata sempurna.
2. Pen-Based Gesture
Masukan berbasis pena telah populer di pada sebagian perangkat komputer (PDA dan komputer tablet) yang mencakup pen atau stylus sebagai perangkat input utama.
Masukan jenis ini berguna sebagai penunjuk, mendefinisikan garis, kontur, dan daerah, dll. Sistem yang berbasis pena cukup berguna dalam komputasi mobile, dimana pada perangkat yang memiliki ukuran kecil lebih sedikit susah digunakan jika menggunakan jari tangan.
Masukan jenis ini berguna sebagai penunjuk, mendefinisikan garis, kontur, dan daerah, dll. Sistem yang berbasis pena cukup berguna dalam komputasi mobile, dimana pada perangkat yang memiliki ukuran kecil lebih sedikit susah digunakan jika menggunakan jari tangan.
3. Haptic Input
Haptic input merupakan perangkat yang memanfaatkan rasa sentuhan dan aksi umpan balik dari sebuah masukan.
Ini dapat diintegrasikan ke dalam perangkat yang ada (misalnya, keyboard dan mouse yang tahu kapan mereka disentuh, dan oleh siapa).
Model antarmuka ini lebih memberikan umpan balik berupa rasa dari sebuah antarmuka yang dimana pengguna yang memakainya seolah-olah bias merasakan interaksi tersebut terasa nyata, seperti contoh sebuah joystick yang memberikan peringatan berupa getaran kepada penggunanya apabila ada kejadian tertentu pada sebuah sistsem permainan tersebut.
Model antarmuka ini lebih memberikan umpan balik berupa rasa dari sebuah antarmuka yang dimana pengguna yang memakainya seolah-olah bias merasakan interaksi tersebut terasa nyata, seperti contoh sebuah joystick yang memberikan peringatan berupa getaran kepada penggunanya apabila ada kejadian tertentu pada sebuah sistsem permainan tersebut.
4. Computer Vision
Visi komputer memiliki banyak keuntungan sebagai modalitas masukan untuk antarmuka multimodal.
Informasi visual jelas penting dalam komunikasi manusia, sebagai informasi yang berarti disampaikan melalui identitas, ekspresi wajah, postur, gerak tubuh, dan isyarat visual yang diamati dan lain-lainnya.
Merasakan dan memahami ini isyarat visual dari kamera video yang ditempatkan di lingkungan adalah domain dari visi komputer.
Mode memanfaatkan visi computer sebagai masukan merupakan salah satu mode yang banyak berkembang akhir-akhir ini karena bias memberikan informasi masukan yang lebih banyak daripada yang lainnya.
Merasakan dan memahami ini isyarat visual dari kamera video yang ditempatkan di lingkungan adalah domain dari visi komputer.
Mode memanfaatkan visi computer sebagai masukan merupakan salah satu mode yang banyak berkembang akhir-akhir ini karena bias memberikan informasi masukan yang lebih banyak daripada yang lainnya.
Keuntungan Antarmuka Multimodal
- Meningkatkan efisiensi dari sebuah interaksi.
- Dapat memanfaatkan berbagai mode interaksi sebagai masukan.
- Memberikan alternative interaksi yang lebih menyenangkan.
- Sistem terus beradaptasi selama perubahan lingkungan dan penggunaan secara terus menerus.
Terlepas dari semua kemajuan dalam bidang HCI, sebagian besar sistem multimodal yang ada saat ini masih dikembangkan untuk menjadi konsep antarmuka yang lebih baik dan presis, karena keterbatasan dari berbagai mode yang masih jauh dari sempurna membuah model antarmuka multimodal ini masih belum dapat bekerja terlalu optimal.
Oleh karena itu antarmuka multimodal masih menjadi sebuah penelitian dalam bidang interaksi manusia dan computer yang masih terus berlanjut untuk mendapatkan hasil yang lebih baik, presisi, dan mampu menghasilkan keluaran yang sesuai dengan masukan.
Kesimpulan
Antarmuka multimodal adalah suatu konsep perancangan antarmuka yang memanfaatkan kombinasi dua atau lebih modalitas (indera) manusia sebagai input secara terkoordinasi untuk memfasilitasi interaksi manusia dan komputer yang alami dan interaktif.
Ada perbedaan antara modalitas (mode) dan saluran (chanel), modalitas adalah segala sesuatu yang merupakan sensor alami yang digunakan oleh manusia (penglihatan, pendengaran, sentuhan, rasa, dan penciuman), sedangkan saluran (chanel) adalah segala bentuk media yang digunakan untuk memfasilitasi modalitas untuk berinteraksi dengan system.
Dalam perkembangannya konsep antarmuka multimodal memanfaatkan berbagai teknologi, umunya teknologi yang banyak diguakan ialah pengenalan suara, visi computer, haptic input, interaksi berbasis pena.
Antarmuka multimodal merupakan salah satu bidang penelitian yang terus dikembangkan dalam bidang interkasi manusia dan computer, karena masih jauh dari kaa sempurna yang disebabkan oleh belum maksimalnya berbagai mode input yang ada saat ini.
Ada perbedaan antara modalitas (mode) dan saluran (chanel), modalitas adalah segala sesuatu yang merupakan sensor alami yang digunakan oleh manusia (penglihatan, pendengaran, sentuhan, rasa, dan penciuman), sedangkan saluran (chanel) adalah segala bentuk media yang digunakan untuk memfasilitasi modalitas untuk berinteraksi dengan system.
Dalam perkembangannya konsep antarmuka multimodal memanfaatkan berbagai teknologi, umunya teknologi yang banyak diguakan ialah pengenalan suara, visi computer, haptic input, interaksi berbasis pena.
Antarmuka multimodal merupakan salah satu bidang penelitian yang terus dikembangkan dalam bidang interkasi manusia dan computer, karena masih jauh dari kaa sempurna yang disebabkan oleh belum maksimalnya berbagai mode input yang ada saat ini.