7 петабайт логов в Elastic. Как мы это сделали? / Роман Николаев (Тинькофф)

Приглашаем на конференцию Saint HighLoad++ 2024, которая пройдет 24 и 25 июня в Санкт-Петербурге!
Программа, подробности и билеты по ссылке: vk.cc/cuyIqx
--------
--------
Профессиональная конференция разработчиков высоконагруженных систем Saint HighLoad++ 2023
Генеральный партнер конференции Garage Eight.
Презентация и тезисы:
highload.ru/spb/2023/abstract...
В Тинькофф тысячи сервисов, и все эти сервисы пишут логи. За сбор логов и метрик отвечает Sage - платформа мониторинга собственной разработки с Elasticsearch под капотом. Объемы логов постоянно росли и сейчас это 7 ПБ, а суммарное количество нод на 15 кластерах в двух ДЦ достигло 370 штук.
...
--------
Нашли ошибку в видео? Пишите нам на support@ontico.ru