Учёные из Калифорнийского университета в Дэвисе сделали важный шаг в развитии нейропротезирования речи. Сергей Ставиский и Майтрейя Вайрагкар вместе со своими коллегами разработали технологию, с помощью которой человек, лишившийся возможности говорить из-за бокового амиотрофического склероза (БАС), может вести беседы в реальном времени и петь.
В результате создан интерфейс «мозг-компьютер», который за 25 миллисекунд преобразует нейронную активность в синтезированную речь. Для этого пациенту вживили 256 электродов, регистрирующих активность участков мозга, отвечающих за мимические мышцы, участвующие в речи. В ходе исследований испытуемому показывали предложения, которые он пытался произнести, меняя интонацию. Полученные данные о нейронной активности использовались для обучения модели искусственного интеллекта.
Модель искусственного интеллекта научилась связывать особые узоры нейронной активности с словами и интонациями, которые пытался произнести пациент. В результате система создает речь, передающую не только содержание высказывания, но и его эмоциональный оттенок. Кроме того, исследователи применили технологию клонирования голоса, обучив ИИ записям речи пациента до начала заболевания. Так удалось создать синтезированный голос, максимально похожий на его естественный тембр.
Эта технология отличается своей скоростью. Общеизвестно, что обычные нейропротезы речи обрабатывают информацию достаточно медленно, что мешает естественному общению. Новая система обеспечивает практически мгновенную обработку данных, позволяя вставлять уточнения, прерывать и отвечать незамедлительно. По словам Майтрейи Вайрагкар, пациент, хотя системе ещё предстоит совершенствование для повышения чёткости речи, счастлив и воспринимает синтезированный голос как свой собственный.
Эксперименты выявили, что система позволяет не только говорить, но и петь простые мелодии, верно передавая высоту тона. Пациент также успешно воспроизводил звуки, междометия и даже выдуманные слова. Дэвид Брэндман, член исследовательской группы, отметил, что пациент, ранее полностью парализованный и лишенный возможности говорить, теперь может работать полный рабочий день и вести полноценную жизнь. Эта разработка открывает новые перспективы для людей с нарушениями речи, вызванными различными неврологическими заболеваниями.