Артем Шутак - Вставить в ClickHouse и не умереть
-
Казалось бы, что может быть проще, чем вставить данные в БД?! Но в Одноклассниках это делают 2 года и ClickHouse не перестает удивлять.
Артём Шутак из Одноклассников. Их инсталляция - это примерно 1PB и 100 машин. И команда реально настрадалась: ClickHouse тормозил, данные дублировались и/или терялись, иногда просто не вставлялись.
В докладе подробно рассматривается задача вставки данных в ClickHouse для всех самых популярных сценариев:
- «игрушечная» инсталляция на одном сервере;
- горизонтально масштабируемый кластер с репликацией данных между дата
- особенности батчевой и стриминговой вставки.
Также напишем свой собственный классный механизм вставки в ClickHouse, который используется в Одноклассниках.
Приходите на доклад, и Артём поделится тем, что знает про вставку в ClickHouse. Доклад нацелен на инженеров и архитекторов, как планирующих интегрировать ClickHouse в свою экосистему, так и тех, кто уже работает с ним, но не полностью доволен текущим положением дел.
Скачать презентацию: assets.ctfassets.net/oxjq45e8...
Интересно!
Спасибо за отличную иллюстрацию, чем плохи вставка в Distributed таблицы и ожидание от Kafka Engine, что она магически делает всё хорошо :). (я всегда придерживался идеи, что вставка должна быть только в ReplicatedMergeTree напрямую и ребалансировка тоже должна делаться вручную, например сделать на кластер сразу 60 шардов, что легко делится на 1, 2, 3, ..., 12, 15, 30 и т.д. узлов, и перемещать таблицы тупо репликацией).
Очень интересный доклад
спасибо за лекцию
Гениальный доклад, спасибо
Спасибо за доклад. Конечно, стоило руками ребеленсировать заранее. Если делать ребалансировку из коробки, то это может занять много времени и в сложно обработать каждый частный случай
9:48 дефолтный энджин на сингл ноде 🤣
ну нафик, уже год на сноуфлейке - забыл как страшный сон все эти непредсказуемые и неописанные поведения, танцы с бубнами над ручным шардированием, танцы с бубнами над вставкой, танцы с бубнами над администрированием...
а сколько данных?