Кредит: Pixabay/CC0 Public Domain
Мы живем в эпоху поразительного распространения данных и распространения пользовательского контента во всех видах медиа: от социальных сетей до новостных сайтов, обзоров электронной коммерции и бесконечных форумов для всех видов интересов и ниш.
Возможность точно интерпретировать эмоции, передаваемые посредством таких сообщений, становится все более важной для социальных наук и политики, маркетинга, бизнеса и экономики, а также других областей.
Недавние достижения в области так называемого «анализа настроений» привели к разработке более сложных моделей, способных извлекать и интерпретировать эмоциональные тонкости в текстовых данных. Одной из таких моделей является BERT-ABiLSTM — двунаправленные кодирующие представления из трансформеров, внимание двунаправленная долговременная кратковременная память.
Исследование опубликовано в International Journal of Information and Communication Technology сообщает о том, как этот крупномасштабный предварительно обученный алгоритм может быть использован для анализа настроений. Однако, как отмечает автор Чжубин Ло из Университета гуманитарных наук, науки и технологий провинции Хунань в Китае, использование системой ABiLSTM означает, что есть некоторые ограничения, поскольку она фокусируется на глобальных особенностях и может упускать из виду нюансы.
BERT, объясняет Луо, может изучать языковые представления из обширных текстовых массивов. ABiLSTM, рекуррентная нейронная сеть, обрабатывает текстовые последовательности. Луо теперь добавил TextCNN (текстовая сверточная нейронная сеть) в систему, чтобы сделать BERT-CNN-ABiLSTM, более сложной версией модели.
В целом, базовый двунаправленный подход позволяет модели понимать контекст как из прошлого-в-будущее, так и из будущего-в-прошлое сегментов текста. Это важно для захвата долгосрочных зависимостей в тексте. Механизм внимания в ABiLSTM дополнительно совершенствует это, позволяя модели сосредоточиться на наиболее релевантных частях текста при составлении прогнозов, тем самым повышая точность анализа настроений.
Затем компонент TextCNN использует сверточные ядра различных размеров для обнаружения различных степеней детализации признаков в тексте. Это позволяет модели захватывать гораздо более тонкие локальные закономерности в тексте, которые были бы пропущены более простыми моделями, тем самым обеспечивая еще более подробный анализ текстового контента.
Улучшения, о которых сообщает Luo, особенно актуальны для сценариев, требующих детальной классификации и распознавания текста. Это может включать анализ настроений в социальных сетях, оценку отзывов клиентов на платформах электронной коммерции или расширение возможностей «интеллектуальных» онлайн-систем вопросов и ответов.
Дополнительная информация: Чжубин Ло, Исследование модели анализа настроений в тексте на основе глубокого обучения, Международный журнал информационных и коммуникационных технологий (2024). DOI: 10.1504/IJICT.2024.139869 Предоставлено Inderscience
