به گزارش کارگروه فناوری اطلاعات سایبربان به نقل از اینترستینگ انجینرینگ، این ابداع جدید برای کمک به افراد کم شنوا است که نمی توانند همیشه با کمک زبان اشاره با افراد دیگر ارتباط برقرار کنند. همچنین می توان در حوزه نظامی و زمانی که ارتباطات رادیویی به دلیل سروصدای محیطی پیچیده می شود، از این دستاورد استفاده کرد.
هنگام ادا شدن کلمات در دهان فرد، فناوری مذکور با استفاده از حسگرهای کشش هرگونه انبساط و انقباض در صورت را ردیابی می کند و در مرحله بعد از یک الگوریتم یادگیری عمیق برای تبدیل حرکات صورت به کلمات استفاده می شود.
تائمین کیم از دانشکده مهندسی برق و الکترونیک یونسی در این باره می گوید: حسگرهای کشش که به صورت متصل می شوند، هنگام صحبت فرد کشیده یا کوتاه می شوند. ویژگی های الکتریکی این حسگرهای فشار نیز برحسب همین موارد تغییر می کند.
این سیستم تاکنون توانسته مجموعه ای شامل ۱۰۰ لغت را شناسایی کند و دقت آن نیز ۸۸ درصد اعلام شده است. حسگرهای مذکور همچنین در برابر عرق و چربی پوست مقاوم هستند. جالب آنکه این ابزارها در مقایسه با دستگاه های مشابه اندازه کوچکتری دارند.
کوچکتر بودن حسگر به معنای آن است که حسگرهای بیشتری را می توان روی صورت فرد به کار برد و در نتیجه واژه های ادا شده را بهتر می توان درک کرد.
کیم در این باره می گوید: برای طبقه بندی و شناسایی اصوات بیشتر، به اطلاعات با وضوح بیشتری نیاز است. به همین دلیل محققان اکنون سعی دارند یک سیستم خوانش صحبت خاموش ابداع کنند که حسگرهای کشش قابل پوشیدن را با مدارهای یکپارچه ترکیب کند که به طور نرمال در تولید نمایشگر یا نیمه رسانا به کار می رود. اگر بتوانیم مقدار اطلاعات را افزایش دهیم، سیستم می تواند واژه ها و جملات بیشتری را شناسایی کند، پیش بینی می کنیم در آینده افرادی با اختلالات زبانی بتوانند در زندگی روزمره به راحتی محاوره کنند.
این تحقیق در نشریه نیچر کامونیکیشنز منتشر شده است.
