Решение задач на тему: Анализ тональности текстов основе ДСМ-метода

Введение

В сети Интернет содержится огромное количество разнообразных текстов, авторами которых являются обычные пользователи. Это могут быть статьи в блогах, отзывы на продукты, сообщения в социальных сетях и т. п. В этом контенте содержится большое количество ценной информации.

В компьютерной лингвистике существует отдельное направление обработки естественно-языковых текстов - анализ тональности текстов (sentiment analysis). Тональностью называется эмоциональная оценка, которая выражена в тексте. Актуальность задачи определения тональности заключается в том, что на основе текстовой информации можно оценить отношение общества к какому-либо продукту или событию. Например, с помощью данного анализа можно оценить успешность рекламной кампании, политических и экономических реформ; выявить отношение прессы и СМИ к определенной персоне, к организации, к событию; определить, как относятся потребители к определенной продукции, к услугам, к организации. Такая информация представляет значительный интерес для маркетологов, социологов, экономистов, политологов и всех тех специалистов, деятельность которых зависит от мнений людей.

Существуют два основных подхода к решению задачи анализа тональности текста: на основе словарей и на основе машинного обучения. В первом подходе используются словари, содержащие слова и предложения, для которых известна оценка выраженной в них тональности. Этот подход эффективен при использовании больших словарей, но процесс их составления весьма трудоемкий. Второй подход заключается в создании автоматического классификатора, который использует коллекцию обучающих текстов. В основе этого подхода лежат статистические методы. Подход эффективен при наличии большой коллекции обучающих текстов.

Одним из логических методов анализа тональности текстов является ДСМ-метод автоматического порождения гипотез. В [9] отмечается, что преимуществом ДСМ-метода по сравнению со статистическими методами является прозрачность и корректность процесса логического вывода, хорошая интерпретируемость генерируемых гипотез, отсутствие необходимости большого числа примеров для обучения.

Целью настоящей курсовой работы является применение ДСМ-метода для определения тональности текстов. Обозначенная цель достигается за счет решения следующих задач:

изучение области анализа тональности текстов;

описание ДСМ-метода автоматического порождения гипотез;

программная реализация ДСМ-метода;

проведение экспериментов по определению тональности текстов;

анализ результатов влияния компонентов ДСМ-метода на качество определения тональности.

В первой главе приводится постановка задачи анализа тональности текстов и примеры областей деятельности, в которых применяется анализ тональности, рассматриваются теоретические аспекты ДСМ-метода автоматического порождения гипотез, дается описание показателей, на основе которых будет сделано заключение о качестве работы метода.

Во второй главе дается описание практической реализации ДСМ-метода, приводятся результаты тестирования разработанной программы-анализатора в виде таблиц и графиков.

В заключение работы приводится общий вывод по полученным результатам и список использованной литературы.

Оглавление

- Введение

- Задача анализа тональности текстов .1 Понятие анализа тональности текста

- Определение

- История

- Постановка задачи

- Применение

- ДСМ-метод

- Схема метода

- Описание метода

- Алгоритм поиска пересечений

- N-кратный скользящий контроль

- Метрики качества

- Правильность и ошибочность

- Точность и полнота Глава 2. Практическое исследование ДСМ-метода

- Программная реализация

- Пользовательский интерфейс

- Входные данные

- Выходные данные

- Текстовая коллекция

- Эксперименты и результаты

- Оценка качества анализа тональности

- Оценка времени работы программы Заключение

- Библиографический список

- Приложение

Заключение

В процессе выполнения курсовой работы был изучен ДСМ-метод автоматического порождения гипотез, применяемый для анализа тональности текстов, выполнена программная реализация этого метода и проведен ряд компьютерных экспериментов. Исследование было направлено на выявление влияния компонентов ДСМ-метода на качество распознавания тональности текстов. Изучалось влияние словаря, частей речи и функции разрешения конфликтов. Анализ полученных результатов позволил сделать следующие выводы:

о словарь, составленный вручную, по сравнению с автоматическим словарем дает улучшение значения метрик качества вследствие отсечения множества слов с нейтральной окраской, а также увеличивает скорость работы программы;

о наибольший вклад в качество определения тональности вносят имена прилагательные вследствие частого употребления и содержания ярко выраженной эмоциональной окраски;

о разные функции разрешения конфликтов дают разное качество определения тональности.

Список литературы

1. Feldman R. Techniques and Applications for Sentiment Analysis // Communications оf the ACM. 2013. Vol. 56, №4. Р. 82-89.

3. Liu В. Sentiment Analysis and Opinion Mining. Morgan & Claypool Publishers, 2012.

4. Refaeilzadeh Р., Tang L., Liu Н. Encyclopedia оf Database Systems // Springer, US. 2009.

. Sebastiani F. Machine learning in Automated Text Categorization // ACM Computing Surveys. 2002. Vol. 34. Р. 1-47.

6. Автоматическое порождение гипотез в интеллектуальных системах / под ред. В. К. Финна. - М.: Либроком, 2009. - 528 с.

. ДСМ-метод автоматического порождения гипотез / под ред. О. М. Аншакова. - М.: Либроком, 2009. - 432 с.

. Кожунова О. С. Технология разработки семантического словаря системы информационного мониторинга // Автореферат диссертации на соискание ученой степени кандидата технических наук. - М., 2009. - 21 с.

. Котельников Е. В. Распознавание эмоциональной составляющей в текстах: проблемы и подходы / Е. В. Котельников, М. В. Клековкина, Т. А. Пескишева, О. А. Пестов; под. ред. С. М. Окулова. - Киров: Изд-во ВятГГУ, 2012. - 103 с.

. Котельников Е. В., Пескишева Т. А., Пестов О. А. Параллельный выбор параметров классификатора для анализа тональности текстов // Вопросы современной науки и практики. Университет им. В.И. Вернадского. Тамбов: ГОУ ВПО ТГТУ, 2012. С. 67-74.