Большая Тройка на HighLoad ++

Директор по разработке Большой Тройки Егор Маслов выступил на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad ++ и рассказал, как команда разработчиков Большой Тройки решает задачи, связанные с мониторингом движущихся по карте объектов.

Чтобы увидеть работу всей отрасли обращения с отходами, нужно собрать и проанализировать огромное количество данных о каждой контейнерной площадке, каждом объекте обращения с отходами, о каждом мусоровозе и его перемещениях. Только так можно создать в цифре модель отрасли обращения с твердыми коммунальными, опасными, медицинскими, строительными и промышленными отходами.

Для этого наша команда решает такие задачи как:

• геопространственный мониторинг в реальном времени;
• обработка входящего GPS-трафика;
• кластеризация динамических объектов;
• создание карт покрытия.

На примере конкретной микросервисной архитектуры Python + Rabbit + Clickhouse, обслуживающей взаимодействие 40 тысяч движущихся (мусоровозы) и 8 миллионов статичных (контейнеры для отходов) объектов на карте, рассмотрели ошибки и особенности систем мониторинга транспорта в реальном времени. Разобрали, как не создавать лишние точки отказа и обеспечить нормальную работу системы при взаимодействии ее пользователей в режиме «все со всеми». Где применить OLTP, а где OLAP-решения, как достичь баланса между ними. Разобрали все сервисы от источников данных до клиентского приложения.