Автоматический сбор и анализ текстовых данных

Аннотация
Топ-менеджмент компаний заинтересован быть информированным о текущих сообщениях о компании, а также о конкурентах, в СМИ и социальных сетях.

Задача
Разработка программы для круглосуточного сбора релевантной информации из заданного списка СМИ и социальных сетей, анализа собранной информации (определение тональности и влиятельности сообщений), а также наглядной визуализации текущего имиджа компании в сети Интернет.

Решение
Программа-краулер для сбора релевантной информации из источников, анализа собранной информации, определения наиболее значимых источников информации. Собранная информация представляется в виде дайджеста в веб- и мобильном приложении.

Результаты 
Информированность о текущей оценке деятельности компании и её конкурентов СМИ и пользователями социальных сетей.
Клиент:
Крупная строительная компания

Сфера деятельности:
Разработка веб-сервиса и мобильного приложения, аналитика

Технологии:
Python, JavaScript, TensorFlow, Yargy, Scrapy

География:
Россия

Размер команды:
7

Кейс: Система мониторинга сообщений о компании и конкурентах

Цель проекта
Создание системы сбора и анализа списка сообщений из соцсетей и СМИ о компании Заказчика, а также его основных конкурентах.

Технологии, использованные в проекте
  • TensorFlow
  • API соцсетей
  • Scrapy
  • Yargy
  • Vue.js
  • Flask
Описание проекта
Система включает в себя:
  • Модуль сбора данных:
    • Работа с API VK, Twitter, Instagram
    • Краулер для сбора данных
  • Модуль анализа документов:
    • Распознавание именованных сущностей и кореференций
    • Извлечение ключевых фактов
    • Сентиментальный анализ сообщений
  • Модуль визуализации результатов:
    • Веб-сервис и мобильное приложение
    • Визуализация статистики
    • Поиск по сообщениям и новостям

Мониторинг сообщений о компании и конкурентах




Результат использования