Головоломка Connections, опубликованная The New York Times 19 января 2024 года. Источник: arXiv (2024). DOI: 10.48550/arxiv.2407.11240
Может ли искусственный интеллект (ИИ) создавать словесные головоломки, столь же увлекательные и сложные, как те, которые создают эксперты-люди? Исследование, опубликованное на сервере препринтов arXiv, предполагает, что ответ может быть положительным — по крайней мере, когда речь идет о популярной игре Connections от The New York Times.
Исследователи из Школы инженерии Тандон при Нью-Йоркском университете и Jester Labs разработали систему искусственного интеллекта, способную генерировать новые головоломки Connections, которые часто конкурируют с головоломками, созданными дизайнерами головоломок Times.
В исследовании пользователей участники играли в головоломки, созданные ИИ, и официальные головоломки Times, не зная их источника. Примерно в половине сравнений лицом к лицу игроки оценили головоломки ИИ как такие же или более увлекательные, креативные и сложные, чем их созданные человеком аналоги.
Их выводы проливают свет на творческие возможности больших языковых моделей, таких как GPT-4.
Connections, дебютировавшая в июне 2023 года, предлагает игрокам отсортировать 16 слов в четыре тематически связанные группы по четыре слова. Игра быстро стала одним из самых популярных онлайн-предложений Times, уступая только Wordle, с миллиардами игр в год.
Для создания головоломок, генерируемых ИИ, исследователи использовали подход «агентного рабочего процесса». Этот метод подразумевает использование GPT-4 в нескольких специализированных ролях на протяжении всего процесса создания головоломок.
Вместо того чтобы просить ИИ сгенерировать всю головоломку сразу, исследователи разбили задачу на более мелкие, более целенаправленные шаги. Для каждого шага они давали GPT-4 конкретные инструкции, фактически заставляя его играть разные роли, такие как создатель головоломки, редактор и оценщик сложности.
Этот подход позволил команде более эффективно использовать возможности ИИ, проводя его через процесс, который имитирует подход дизайнеров-людей к созданию головоломок.
«Мы обнаружили, что для решения сложной задачи, такой как создание головоломки Connections, недостаточно просто попросить ИИ сделать это», — сказал Тимоти Мерино, аспирант в игровой инновационной лаборатории Нью-Йоркского университета Тандон, который является ведущим автором исследования. «Разбив задачу на более мелкие, более управляемые шаги и используя LLM в качестве инструмента различными способами, мы достигли лучших результатов».
Старший автор статьи Джулиан Тогелиус — доцент кафедры компьютерных наук и инженерии Нью-Йоркского университета в Тандоне и директор Лаборатории игровых инноваций — подчеркнул важность этого подхода. «LLM имеет решающее значение для нашей системы, но он не на водительском месте. Мы используем его в разных частях системы для определенных задач, например, для запроса лучшей концепции, которая будет применима к определенному списку слов».
Исследователи также выявили два основных способа, которыми головоломки создают трудности: «Намеренное перекрытие» и «Ложные группы». Они проанализировали сходство слов по отношению к уровням сложности, обнаружив, что более простые группы слов, как правило, имеют больше похожих слов, в то время как более сложные группы имеют меньше похожих слов.
«Я постоянно удивлялся тому, насколько хорош GPT в создании умных групп слов», — сказал Мерино. «Одно из моих любимых, созданных ИИ, — это «слова альбома Beatles»: «Abbey», «Mystery», «Pepper» и «White».
По словам исследователей, это исследование имеет значение, выходящее за рамки словесных игр. Это шаг к лучшему пониманию как возможностей ИИ, так и человеческого творчества.
«Эта работа направлена не только на создание головоломок», — сказал Тогелиус. «Речь идет об использовании ИИ для проверки и уточнения наших теорий о том, что делает головоломку хорошей. Связи — это достойная область исследований, потому что нелегко определить, что делает игру хорошей. Мы можем улучшить наше понимание игрового дизайна. создав теории о том, что делает игры хорошими, внедрить их в алгоритмы и посмотреть, действительно ли игры, созданные этими алгоритмами, хороши».
Эта недавняя статья основана на текущих исследованиях Лаборатории игровых инноваций в области ИИ и связи. В исследовании, опубликованном ранее в этом году, исследователи лаборатории оценили способность различных моделей ИИ решать головоломки Connections. Их результаты показали, что, хотя GPT-4 превосходил другие модели, он все же не освоил игру, успешно решив только около 29 процентов представленных головоломок.
Подробнее : Тим Мерино и др., Создание новых связей: студенты магистратуры как генераторы головоломок для словесной игры «Связи» The New York Times, arXiv (2024). DOI: 10.48550/arxiv.2407.11240
Информация журнала: arXiv Предоставлено Инженерной школой Тандон Нью-Йоркского университета.
