Анализ поведения пользователей социальных сетей с использованием Big Data

Бизнес: Social network
Среда разработки: Java, Hadoop
Платформы: Windows, Linux
Технологии: Hadoop, Java+Web, Kafka, Cassandra, Hive, HBASE

Задача

Одна из известных мировых социальных сетей обратилась к компании СКЭНД с просьбой о написании ПО для анализа поведения пользователей: количества новых пользователей за день, их активности онлайн, шаблонов поведения, обнаружения вирусных элементов, совместного фильтрования и т.д.

Заказчик хотел отслеживать цифровые профили пользователей для того, чтобы вся необходимая информация для проведения рекламных кампаний онлайн была под рукой. Таким образом, предполагалось повысить эффективность рекламы в соцсетях.

С учетом необходимости использования Big Data, команда разработчиков решила применить для улучшения аналитики действий пользователей онлайн ультрасовременную платформу, которая обеспечивает гибкий и управляемый доступ к аналитике цифровых профилей пользователей: статического и динамического. Это решение также анализирует различные демографические статистические данные.

Решение

Во-первых, специалисты компании СКЭНД по Big Data добавили якоря на каждую страничку социальной сети (изображение, размером 1х1) и такой подход помог маркировать и анализировать активность пользователей через cookie-файлы. Как только появлялся новый пользователь, то на его страничку добавлялся cookie-файл. Вся полученная информация собиралась в HBASE и анализировалась c помощью Kafka.

Во-вторых, эти маркеры собираются с информацией о возрасте, поле, личных тегах пользователей, и т.д. После этого, можно преобразовать ссылки пользователей и оригинальные ссылки в их постах становятся доступными. Другими словами, если такая ссылка помещается на стену, то информация о кликах и интересах пользователей анализируется таким же образом, как и просмотры. Была применена косинусная совместная фильтрация для просмотров и кликов каждого пользователя. Таким образом, если пользователь кликает на похожие ссылки и просматривает похожие стенки, то блок «смотри также» можно сформировать на основе схожих интерсов других пользователей.

Как только получены данные о цифровых профилях, добавляются фильтры на группы по возрасту, полу и тэгам. Такой анализ увеличивает релевантность предлагаемых блоков для просмотра еще на несколько долей процента.

Теперь, таргетированная кампания готова к запуску. Добавлены контрольные группы с «оригинальным» трафиком, а другие группы таргетируются посредством вирусных новостей и специальных объявлений. Также используются заранее подготовленные новости и посты для того, чтобы можно было замерить изменения в моделях поведения пользователей. Такой подход позволяет владельцу социальной сети использовать саму сеть как мощный инструмент по управлению рекламным контентом.

Характеристики системы

Разработанное решение для социальной сети, основанное на Big Data, обладает следующим функционалом:

  • Обработка огромного массива данных;
  • Автоматическая генерация отчетов;
  • Аналитика представлена в виде таблиц и диаграмм;
  • Режим общего просмотра;
  • Режим просмотра аналитики;
  • Первичный сбор аналитики и ее хранение осуществляется в HBASE с помощью Kafka;
  • Быстрый сбор данных с помощью Cassandra;
  • Генерация запросов на подобии SQL и их обработка в Hive;
  • Таргетированные кампании;

Результат

Внедрение Big Data в работу социальных сетей, а так же активное использование статистического анализа и активного сбора данных позволяет проекту обеспечить доступ к необходимым ресурсам и позволить рекламной кампании проходить бесперебойно, затрагивать только целевую аудиторию и обеспечить нужный инструментарий. Обычный анализ «контент бустеров» позволяет сделать видимыми любые изменения в цифровом профиле пользователей и ресурсы социальной сети могут быть использованы более эффективно.

Для того, чтобы узнать больше об опыте наших специалистов по созданию похожего ПО, свяжитесь с нами через контактную форму.


(на этот адрес будет отправлено подтверждение)

CAPTCHA Image Обновить