Источник: Pixabay/CC0 Public Domain
Трио специалистов по этике из Оксфордского института Интернета Оксфордского университета опубликовало статью в журнале Royal Society Open Science, в которой задается вопросом, есть ли у создателей LLM юридические обязательства относительно точности ответов, которые они дают на запросы пользователей.
Авторы, Сандра Вахтер, Брент Миттельштадт и Крис Рассел, также задаются вопросом, следует ли обязать компании добавлять в результаты функции, которые позволяют пользователям лучше судить о точности полученных ими ответов.
По мере того, как программы LLM становятся все более популярными, их использование стало предметом спекуляций: следует ли разрешить студентам использовать их, например, при выполнении домашних заданий, или же деловые или государственные служащие должны иметь возможность использовать их для ведения серьезного бизнеса?
<р>Это становится все более заметным, поскольку LLM довольно часто допускают ошибки — иногда действительно большие. В этой новой работе команда Оксфорда предлагает, чтобы производители LLM несли большую ответственность за свою продукцию из-за серьезности поднятых проблем.
Исследователи признают, что производители LLM в настоящее время не могут быть юридически обязаны выпускать LLM, которые выдают только правильные и обоснованные ответы — в настоящее время это технически неосуществимо. Но они также предлагают, чтобы компании не оставались безнаказанными.
Они задаются вопросом, не пришло ли время ввести юридическую обязанность уделять больше внимания правде и/или точности в отношении своих продуктов. И если это невозможно, они предлагают, чтобы создатели LLM, по крайней мере, были вынуждены добавлять такие функции, как включение цитат в свои ответы, чтобы помочь пользователям решить, правы ли они, или, возможно, добавить функции, которые дают пользователям некоторое представление об уровне уверенности в данных ответах.
Если чат-бот не уверен в ответе, отмечают они, возможно, он мог бы просто сказать об этом вместо того, чтобы генерировать нелепый ответ.
Исследователи также предлагают, чтобы LLM, используемые в областях с высоким риском, таких как здравоохранение, обучались только на действительно полезных данных, таких как академические журналы, тем самым значительно повышая их точность. Они предполагают, что их работа предлагает путь к возможному улучшению точности LLM, проблема, которая может стать более важной, поскольку они становятся более распространенным источником информации.
Дополнительная информация: Сандра Вахтер и др., Имеют ли большие языковые модели юридическую обязанность говорить правду? Королевское общество открытой науки (2024). DOI: 10.1098/rsos.240197
Информация о журнале: Королевское общество открытой науки
