Учёные увидели глазами мыши

Мышь смотрит видео. В это время тысячи нейронов в её зрительной коре мерцают — каждый по-своему. Учёные записали эту активность и превратили её обратно в картинку. В чёткое десятисекундное видео того, что мышь реально видела.

Это первый случай, когда сырую активность мозга удалось перевести в качественный видеоряд.

Как это устроено. Мыши показывают фильмы и одновременно записывают сигналы от тысяч нейронов с помощью двухфотонной кальциевой визуализации — метода, который отслеживает вспышки флуоресценции при срабатывании нейрона. Получается подробная карта: вот кадр — вот паттерн активности.

Дальше в дело вступает ИИ-модель DNEM. Сначала её учат предсказывать, как нейроны отреагируют на любое видео. Потом процесс разворачивают: модели дают реальную запись мозговой активности и просят сгенерировать видео, которое эту активность вызвало бы. Начинает с серого экрана и шаг за шагом, пиксель за пикселем, подбирает картинку.

Точность — 0,57 корреляции на уровне пикселей. Это больше чем вдвое превышает предыдущий рекорд (0,24), и тот был для статичных изображений, а здесь — динамическое видео. Секрет — ансамбль из семи моделей: каждая даёт свою версию, усреднение убирает шум и артефакты.

Ещё одна деталь: оказалось, что для приличного качества достаточно 4–8 тысяч нейронов. Половина от полного набора снижает точность всего на 10%.

Метод позволяет видеть мир не таким, какой он есть, а таким, каким его строит мозг — с его фильтрами, искажениями и акцентами. Это инструмент для изучения внимания, предиктивного кодирования и, может быть, когда-нибудь — визуализации снов.

P.S. Кто распознал фильм, который показали мышкам?

@droidergram