Skip to content

Distributed task execution system for collecting data from VK API

Notifications You must be signed in to change notification settings

sdallaboratory/q-data

Repository files navigation

Q-DATA

Микросервисная система сбора, анализа и визуализации данных на Node.js и Vue

План работ

  1. Добавить процессор для агрегации и анонимизации пользователей
  2. Создать пакет @types/q-data для шеринга моделей с другими проектами, где будут использоваться данные
  3. Для инструмента Bauman Graph добавить
  4. Добавить этап сбора пользователей на основании частотности упоминаний среди неизвестных id друзей
  5. Добавить локигу проверки текущего состояния для сбора групп (смотреть, какие поисковые запросы уже встречаются в списке групп)
  6. Встроить Bauman Graph в docker-compose (для этого там надо добавить настройку источника данных)
  7. Реализовать сервис на Python для подсчёта метрик и аннотации данных (пока можно ограничиться ноутбуками Jupyter)
  8. Добавить локигу проверки текущего состояния для сбора участников групп (смотреть, какие группы уже фигурируют у собранных участников)
  9. Понять, в чём причина ошибок в работе алгоритма сбора друзей
  10. Добавить возможность редактирования параметров JSON в web-client
  11. Добавить кнопки для открытия bull-dashboard и mongo-express в отдельной вкладке