23.02.2024

Мыслеобразы из головы человека смогли превратить в видео

Исследователи из Национального университета Сингапура и Китайского университета Гонконга представили нейросеть MinD-Video, способную на основе данных функциональной магнитно-резонансной томографии (фМРТ) воссоздавать мысли человека. Разработка откроет новые возможности для исследования механизмов зрения, памяти и воображения.

MinD-Video

В эксперименте участники смотрели видеоролики, а учёные тем временем использовали данные фМРТ и генеративную нейросеть Stable Difussion для преобразования текста в изображение модели под названием MinD-Video, которая генерирует видео из мозга. Затем эти сигналы отправлялись нейронной сети, которая обучалась воспроизводить видео на основе данных мозговой активности.

MinD-Video

Результаты оказались впечатляющими: нейронная сеть смогла не только восстановить общие контуры и цвета объектов на видео, но и детализировать их текстуру, движение и освещение. Восстановленные видео оценивались с помощью различных семантических и пиксельных метрик, и средняя точность достигала 85% в задачах семантической классификации и 0,19 в индексе структурного подобия (SSIM), превзойдя предыдущий уровень техники на 45%.

Подобная технология фундаментально меняет отношение к человеческому воображению, делая его чем-то материальным и открытым для цифрового кодирования. 

Источник: marktechpost.com

Поделиться ссылкой: