Новый алгоритм переводит мысли в речь почти без задержки

Свою разработку ученые Калифорнийского университета в Сан-Франциско протестировали на пациентке Энн, которая уже почти 20 лет парализована после инсульта. В 2023 году та же группа исследователей поместила на поверхность речевой зоны коры ее мозга чип, считывающий активность нейронов.

На основе этих сигналов алгоритм может генерировать речь. Первые эксперименты двухлетней давности позволили Энн говорить со скоростью до 80 слов в минуту (темп естественного разговора — около 160 слов в минуту), что в несколько раз быстрее ее стандартного аппарата. Однако задержка от появления мысли в разуме Энн до ее озвучивания составляла до 8 секунд — в таком режиме диалог больше напоминал обмен сообщениями, чем живую беседу.

Новый метод сокращает задержку менее, чем до 1 секунды, и позволяет общаться в максимально естественном формате, невозможном ранее. Добиться этого помог алгоритм декодирования речи, схожий с теми, что применяются в голосовых ассистентах, как Alexa или Siri, рассказывает соавтор исследования Гопала Ануманчипалли.

ИИ-модель, синтезирующую голос Энн, обучили на ее свадебных видео, записанных еще до инсульта. При этом нейросеть озвучивает даже редкие слова, которых не было в обучающей выборке.

К слову, один из ключевых членов команды исследователей, нейрохирург Эдвард Чанг, недавно возглавил компанию Echo Neurotechnologies Corp., разрабатывающую импланты для соединения мозга с компьютером. Подробнее о стартапе, получившем $50 млн инвестиций, мы рассказывали здесь.

Подпишитесь на Hi, AI!

#новости #здоровье