به گزارش کارگروه فناوری سایبربان؛ دانشمندان یک هوش مصنوعی تولید کرده‌اند که می‌تواند موسیقی را فقط از طریق تماشای حرکات دست نوازنده و اجرای بی‌صدای پیانو، تولید کند.
این سیستم که Audeo نامیده می‌شود، بالا و پایین رفتن‌های انگشت نوازنده را تجزیه‌وتحلیل می‌کند تا دکمه‌هایی که در فریم بعدی استفاده می‌شوند را پیش‌بینی کند. سپس از آن موسیقی یک متن تولید می‌کند و یک سینتی سایزر (ترکیب‌کننده) آن متن را به صدا تبدیل می‌کند.
محققان این هوش مصنوعی را با ویدیویی از یک پیانیست به نام پاول بارتون (Paul Barton) که در آن موسیقی‌های آهن‌سازان معروف را می‌نواخت، آموزش دادند و آزمایش کردند.
سپس آن‌ها با پخش موسیقی‌های تولیدشده در برنامه‌های تشخیص موسیقی ازجمله Shazam و Sound Hound میزان دقت و صحت آهنگ‌های Audeo را ارزیابی کردند. این برنامه‌ها 86٪ مواقع آهنگ‌های ارائه‌شده را شناسایی کردند؛ یعنی تنها 7٪ کمتر از مواقعی که ویدیوهای منبع را تشخیص دادند.
نویسنده‌ی ارشد این مطالعه، الی شلیزرمن (Eli Shlizerman) استادیار دانشگاه واشنگتن گفت که از کیفیت خروجی این هوش مصنوعی تعجب کرده است.
پیش‌ازاین تصور می‌شد که تولید موسیقی‌ای که در یک اجرای موزیکال پخش‌شده است غیرممکن باشد. یک الگوریتم باید نشانه‌ها یا ویژگی‌های موجود در فریم‌های ویدیویی را که مربوط به تولید موسیقی هستند بفهمد و صدایی را که در میان فریم‌های ویدیو به گوش می‌رسد را تصور کند. پس این امر به سیستمی نیاز دارد که هم دقیق باشد و هم دارای قدرت تخیل فعال باشد.
محققان همچنین از Audeo برای تغییر سبک موسیقی نیز استفاده کرده‌اند. شلیزرمن گفت این سیستم می‌تواند نشان دهد که موسیقی تولیدشده توسط پیانو اگر از طریق یک ترومپت پخش و اجرا شود چگونه صدایی تولید می‌کند.
وی امیدوار است که این تحقیق راه‌های جدیدی را برای مردم جهت تعامل با موسیقی باز کند. به‌عنوان‌مثال قصد داریم Audeo را به یک پیانوی مجازی بسط دهیم که با دوربین، فقط حرکات دستان یک فرد را ضبط کرده و آهنگ را تولید می‌کند. همچنین می‌توان آن را بالای یک پیانوی واقعی قرارداد تا بتواند به آموزش روش‌های جدید نحوه‌ی تولید یک موسیقی به هنرجویان کمک کند.
