Анкета проверяла убеждения людей о кросс-модальном восприятии, перцептивная способность участников проверялась в онлайн-задаче 2AFC с использованием записей, сделанных в амбисоническом помещении. Записи также использовались для обучения модели машинного обучения для выполнения той же классификации. Кредит: Институт когнитивных функций мозга и технологий им. Ивчера, Университет Райхмана
Ученые из Института мозга, познания и технологий Ивчера (Институт BCT) при Университете Райхмана (IDC Herzliya) исследовали в значительной степени непризнанную перцептивную способность и использовали машинное обучение для выяснения динамики кросс-модального восприятия; опыта взаимодействия между несколькими различными сенсорными модальностями.
В недавно опубликованном исследовании команда исследовала возможность для людей определять тепловые свойства воды (температуру воды) по ее звуку, и происходит ли это осознанно. Используя принципы мультисенсорной интеграции (способ, которым мозг объединяет информацию из различных сенсорных модальностей для формирования единого восприятия окружающей среды), команда исследовала потенциал мультисенсорного теплового восприятия.
Исследование опубликовано в журнале Frontiers in Psychology.
Они также использовали предварительно обученную глубокую нейронную сеть (DNN) и алгоритм классификации (машину опорных векторов) для изучения сможет ли машинное обучение успешно и последовательно классифицировать аудиозаписи наливаемой воды при разных температурах и создать карту этих тепловых свойств, физически закодированных в звуке.
«Восприятие температуры довольно уникально по сравнению с другими сенсорными ощущениями», — говорит доктор Ади Снир, научный сотрудник Института BCT и соавтор исследования.
«Для зрения и слуха у нас есть специальные сенсорные «органы», такие как глаза и уши, в отношении температуры мы полагаемся на специализированные рецепторы в коже, которые реагируют на различные диапазоны температур, которые мы воспринимаем как тепло и прохладу, но в животном мире мы знаем, например, что змеи могут фактически «видеть» тепло тела, что позволяет им идентифицировать добычу».
Вопрос о том, распространяется ли мультисенсорное восприятие температуры на людей, уже поднимался ранее.
«Предыдущие исследования изучали это на поведенческом уровне», — утверждает профессор Амир Амеди, основатель и директор Института BCT. «Эти исследования показали, что люди могут слышать разницу между наливаемыми горячими и холодными жидкостями, но не то, как или почему это возможно».
Исследователи сначала решили повторить предыдущие открытия и подтвердить эту удивительную способность восприятия, а также выяснить, является ли эта способность врожденной или приобретенной, вопрос, который долгое время был предметом многочисленных споров.
«Мы также хотели выяснить, осознают ли люди эти различия в звуковых свойствах тепловых различий», — говорит Снир. «А также изучить, какие характеристики самих звуков позволяют различать восприятие».
Для этого команда использовала предварительно обученную глубокую нейронную сеть (DNN) для характеристики записей различных температур наливаемой воды, алгоритм машинного обучения для классификации тепловых свойств воды и вычислительный анализ слуховых характеристик каждой записи.
«Мы увидели, что участники постоянно могли различать температуру воды по ее звуку, даже когда они не верили, что могут, что говорит нам, что это, вероятно, неявный навык, приобретенный посредством воздействия слуховых сигналов на протяжении всей жизни», — объясняет Амеди. «Одновременно с этим модель машинного обучения, обученная на записях горячей и холодной воды, показала высокую точность в классификации звуков».
Результаты исследования показывают, что люди способны изучать сложные сенсорные карты из повседневного опыта, и что машинное обучение может помочь прояснить тонкие перцептивные явления.
«Следующий шаг — изучить, разовьют ли люди новые сенсорные карты в мозге для этого опыта, как они это делают для зрения, осязания и слуха», — утверждает Амеди. «Теоретически недавние заявления Илона Маска о том, что Neuralink создает сверхчеловеческие способности, могут стать реальностью, если объединить этот же метод со стимуляцией мозга».
Дополнительная информация: Мор Венгер и др., Слыша температуру: использование машинного обучения для выяснения кросс-модального восприятия тепловых свойств посредством аудирования, Frontiers in Psychology (2024). DOI: 10.3389/fpsyg.2024.1353490
Информация о журнале: Frontiers in Psychology Предоставлено Университетом Райхмана
