推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
mysql2ch，一个同步 MySQL 数据到 ClickHouse 的项目
jenlors · 2020-03-19 21:16:35 +08:00 · 3242 次点击这是一个创建于 2000 天前的主题，其中的信息可能已经有所发展或是发生改变。
不久之前发布了初代版本的帖子，https://www.v2ex.com/t/647495#reply5，经过一段时间的升级之后，mysql2ch 升级到了 2.0 版本，功能更完善，跪求各位 star~👉mysql2ch
mysql2ch
Introduction
mysql2ch is used to sync data from MySQL to ClickHouse.
Requirements
- kafka
- docker & docker-compose
Usage
Full data etl
$ python manage.py etl -h
usage: manage.py etl [-h] --schema SCHEMA --tables TABLES [--debug]
optional arguments:
-h, --help show this help message and exit
--schema SCHEMA Schema to full etl.
--tables TABLES Tables to full etl,multiple tables split with comma.
--debug Display SQL information.
Continuous Sync
cp .env.example .envand edit it.- edit
docker-compose.yml,which will read.env,add your own consumer.One consumer consume one kafka partition. docker-compose up -d.
Optional
- sentry,error reporting,worked if set
SENTRY_DSNin.env.
Select Language