Почему column-oriented?
Так работают row-oriented системы:
ClickHouse - distributed analytical column-oriented DBMS
Так работают row-oriented системы:
Так работают column-oriented системы:
Ничего готового не подошло.
Тогда мы сделали ClickHouse.
«Эволюция структур данных в Яндекс.Метрике»
* Если вы хотите попробовать ClickHouse, достаточно и одного сервера.
Нам удалось сделать систему сравнительно удобной.
С самого начала мы имели подробную документацию.
В течение пары лет ClickHouse распространился по другим отделам Яндекса.
Почта, Маркет, Директ, Вебмастер, AdFox, Инфраструктура, Бизнес аналитика...
Есть случаи, когда аналитики самостоятельно устанавливали ClickHouse на виртуальные машины и успешно использовали без каких-либо вопросов.
Потом мы решили — ClickHouse слишком хорошая система, чтобы нам одним на нём сидеть.
Чтобы было веселее, надо подсадить на ClickHouse людей снаружи, пусть радуются. Решили сделать open-source.
Лицензия Apache 2.0 — минимум ограничений.
Цель — максимальное распространение продукта.
Мы хотим, чтобы продуктом Яндекса пользовались по всему миру.
См. “Яндекс открывает ClickHouse”
Хорошо структурированные, очищенные, неизменяемые события.
Click stream. Веб-аналитика. Рекламные сети. RTB. E-commerce.
Аналитика онлайн игр. Данные сенсоров и мониторингов. Телеком данные.
Финансовые транзакции. Биржевая аналитика.
OLTP
В ClickHouse нет UPDATE и полноценных транзакций.
Key-Value
Если нужны частые запросы на обновление по ключу, используйте другое решение.
Blob-store, document oriented
ClickHouse предназначен для большого количества мелко-гранулированных данных.
Излишне нормализованные данные
Лучше сделать широкую таблицу фактов.
— от безысходности.
Яндекс.Метрика должна работать.
Алгоритмическая оптимизация.
MergeTree, локальность расположения данных на диске
— быстрые диапазонные запросы.
Пример: функция uniqCombined состоит из комбинации трёх различных структур данных, подходящих под разные диапазоны кардинальностей.
Низкоуровневая оптимизация.
Пример: vectorized query execution.
Специализация и внимание к деталям.
Пример: у нас есть 17 разных алгоритмов выполнения GROUP BY. Для вашего запроса выбирается лучший.
Теперь 5 разработчиков.
— HTTP и executable источники;
— оптимизация мержей, вертикальный мерж;
— трассировка распределённых запросов;
— clickhouse-local;
— операторы BETWEEN, ||;
— функции UUID - text;
— KILL QUERY;
— LIMIT BY;
— SELECT INTO OUTFILE;
— «правильная» сборка и пакеты;
— Таблица system.build_options;
— возможность получить прогресс выполнения в HTTP заголовках;
— возможность пропуска ошибок в текстовых форматах;
— правильные коды ответа в HTTP интерфейсе;
— производительность кэшируемых внешних словарей;
— инструментирование кэшируемых внешних словарей;
— HTTPS словари;
— информация об использовании памяти под индекс;
— информация о размере столбцов в несжатом виде;
— метрики по потреблению оперативки кэшами;
— метрики про мержи;
— оптимизация DISTINCT;
— производительность gzip в HTTP интерфейсе;
— оптимизация mark cache;
— правильная логика сравнений, least, greatest;
— groupUniqArray для всех типов данных;
— decodeURLComponent;
— защита от случайного DROP TABLE;
— use_client_time_zone; timezone в конфиге;
— fsync_metadata;
— интеграция с Grafana, Redash, Apache Zeppelin, Superset;
— правильные пакеты для CentOS, RHEL, GosLinux;
— драйвер native протокола для Go и C++;
— возможность передавать заголовки X-ClickHouse-*;
— бенчмарки NYC Taxi, Percona (Spark);
— бенчмарк Greenplum;
— англоязычный Telegram чат;
— встречи и доклады (Париж - февраль, Сан-Франциско - апрель);
https://www.percona.com/blog/2017/02/13/clickhouse-new-opensource-columnar-database/
— распределённые DDL запросы;
— конфиги в ZooKeeper;
— полная поддержка NULL;
— работоспособность ODBC драйвера под Windows;
— переделать анализ запроса: правильная поддержка JOIN;
Сайт: https://clickhouse.com/
Google groups: https://groups.google.com/forum/#!forum/clickhouse
Рассылка: [email protected]
Telegram чат: https://telegram.me/clickhouse_en and https://telegram.me/clickhouse_ru (уже 500 участников)
GitHub: https://github.com/ClickHouse/ClickHouse/
+ встречи. Москва, Санкт-Петербург, Новосибирск... Далее: Екатеринбург, Киев, Минск, Сан-Франциско...
HTTP REST
clickhouse-client
JDBC
Python, PHP, Go, Perl, Ruby, Node.JS, R, .NET
Itai Shirav:
«I haven't made a rigorous comparison, but I did convert a time-series table with 9 million rows from Postgres to ClickHouse.
Under ClickHouse queries run about 100 times faster, and the table takes 20 times less disk space. Which is pretty amazing if you ask me».
Bao Dang:
«Obviously, ClickHouse outperformed PostgreSQL at any metric».
Timur Shenkao:
«ClickHouse is extremely fast at simple SELECTs without joins, much faster than Vertica».
Ömer Osman Koçak:
«When we evaluated ClickHouse the results were great compared to Prestodb. Even though the columnar storage optimizations for ORC and Clickhouse is quite similar, Clickhouse uses CPU and Memory resources more efficiently (Presto also uses vectorized execution but cannot take advantage of hardware level optimizations such as SIMD instruction sets because it's written in Java so that's fair) so we also wanted to add support for Clickhouse for our open-source analytics platform Rakam (https://github.com/rakam-io/rakam)»
«Я потестировал Clickhouse, по скорости просто отлично = намного быстрее spark на одной машине (у меня получилось порядка 3x, но еще буду сравнивать). Кроме того compression получается лучше».
«ClickHouse показывает сравнимую скорость на таком запросе за 30 дней и в 8 раз быстрее (!) на таком запросе. В планах есть протестировать и другие запросы, еще не добрались.
Скорость выполнения запросов стабильна. В Google BigQuery в период пиковых нагрузок, например в 4:00 p.m. PDT или в начале месяца, время выполнения запросов может заметно увеличиваться».
«В этом году мы развернули сборку на основе Druid — Imply Analytics Platform, а также Tranquility, и уже приготовились запускать в продакшн… Но после выхода ClickHouse сразу отказались от Druid, хотя потратили два месяца на его изучение и внедрение».
«结论：clickhouse速度更快！»
«In conclusion, ClickHouse is faster!»
http://verynull.com/2016/08/22/infinidb与clickhouse对比/
