Ученые воссоздали песню Pink Floyd, считывая сигналы мозга слушателей
Звук звучит так, как будто он воспроизводится под водой. Тем не менее, это первый шаг к созданию более выразительных устройств, чтобы помочь людям, сообщает «nytimes».
Ученые обучили компьютер анализировать мозговую активность человека, слушающего музыку песни Pink Floyd 1979 года «Another Brick in the Wall, и, основываясь только на этих нейронных паттернах, воссоздавать песню.
Теперь «вы действительно можете слушать мозг и восстанавливать музыку, которую слышал человек», — сказал Гервин Шальк, нейробиолог, который руководит исследовательской лабораторией в Шанхае.
Исследователи также обнаружили место в височной доле мозга, которое реагировало, когда добровольцы слышали 16-ю ноту гитарного грува песни (ритмического ощущения в музыке). Они предположили, что эта конкретная область может быть вовлечена в наше восприятие ритма.
За последние несколько лет ученые совершили крупные прорывы в извлечении слов из электрических сигналов, производимых мозгом людей с мышечным параличом, когда они пытаются говорить.
Ученые надеются создать новые «речевые протезы» для людей с неврологическими заболеваниями, влияющими на их вокальное производство. Цель состоит в том, чтобы эти устройства передавали не только то, что кто-то пытается сказать, но и сохраняли некоторую музыкальность, ритм и эмоции органической речи.
Команда выбрала песню Pink Floyd отчасти потому, что она понравилась пожилым пациентам. «Если бы они сказали: «Я не могу слушать этот мусор», то данные были бы ужасными, сказал доктор Шальк. Кроме того, песня содержит 41 секунду текста и две с половиной минуты игры «угрюмых инструментов», комбинация, которая была полезна для того, чтобы понять, как мозг обрабатывает слова по сравнению с мелодией.
Анализируя данные каждого пациента, ученые определили, какие части мозга загорались во время песни и на какие частоты реагировали эти области.
Затем исследователи пропустили выходные данные через компьютерную модель. Получившиеся в результате воссоздания были узнаваемой песней Pink Floyd.
По словам ученых, различия в мелодики и звуках воспроизводимые во время исследования, вероятно зависят от каждого человека индивидуально. Судя по всему, имеет значение был ли человек музыкантом и какой у него внутренний музыкальный слух.
Новое исследование также подчеркнуло, что отличает музыку от речи. Когда добровольцы слушали песню, правое полушарие их мозга, как правило, было более вовлечено, чем левое, тогда как обратное происходит, когда люди слышат простую речь. Это открытие, помогает объяснить, почему некоторые пациенты с инсультом, которые не могут хорошо говорить, могут четко петь предложения.
«Это технический прорыв», —считают нейробиологи, ученым удалось воспроизвести песню из чьей-то головы.