V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  bluebo  ›  全部回复第 1 页 / 共 2 页
回复总数  23
1  2  
102 天前
回复了 bluebo 创建的主题 程序员 写了一个 mysql cdc table,有用么
@zhenjiachen 暂时只是做了捕获和展示的动作, 数据落地应该不会接着做了
102 天前
回复了 bluebo 创建的主题 程序员 写了一个 mysql cdc table,有用么
@wenxueywx gtid 确实不直观,但是比__tm 更精准些。想想能不能直接在 mysql 上操作其他数据库(CRUD)。 应该也能实现,体量太大了
102 天前
回复了 bluebo 创建的主题 程序员 写了一个 mysql cdc table,有用么
@lvlongxiang199 DDL ,我没捕获, 但是 DDL 应该是对系统表做了增删改的操作,需要捕获系统表,而且不同版本的 mysql 不知道系统表有没有变化。
102 天前
回复了 bluebo 创建的主题 程序员 写了一个 mysql cdc table,有用么
@wenxueywx 会话变量 optime? 是不是就是刚连接上来的时间戳? __optime 就是数据变更时间戳把, 我那里是有一个__tm 的, 这个字段就是数据操作记录的变更时间戳,
我感觉我这玩意的优势就是内置到数据库了, 可以直接用 sql 去过滤不需要的记录, 而且根据 gtid 去拿的数据的話 会很快。
103 天前
回复了 bluebo 创建的主题 程序员 写了一个 mysql cdc table,有用么
@RedisMasterNode 倒是没想着往 cdc 走,要做 cdc 差的太多太多了。只是去年的练手项目, 直接用的 mysql 源码 自己加的估计就 2000 来行。只是想着有没有往小工具之类的发展形式
103 天前
回复了 bluebo 创建的主题 程序员 写了一个 mysql cdc table,有用么
@cheng6563 难用不至于,就一个 so 文件, 主要还是鸡肋, 没有后续的想法
103 天前
回复了 bluebo 创建的主题 程序员 写了一个 mysql cdc table,有用么
@wenxueywx 工作原因接触过这部分代码, 然后写着玩了
103 天前
回复了 bluebo 创建的主题 程序员 写了一个 mysql cdc table,有用么
@youngPacce 是的,这种都大同小异, 只不过我是直接把捕获的数据重新写回 myql 了, 当作了 mysql 的记录集
103 天前
回复了 bluebo 创建的主题 程序员 写了一个 mysql cdc table,有用么
@wenxueywx 其他类型的数据库同步,并不是单指 mysql->mysql
103 天前
回复了 bluebo 创建的主题 程序员 写了一个 mysql cdc table,有用么
@wenxueywx
目前只能读本地 binlog
对于表的过滤, 我这边是一张 cdc 表对应一个 mysql 的表, 并不是所有表都会采集到一张 cdc 表,在创建 cdc 表时, 表名 为 xxx_cdc ,xxx 为具体要捕获的 mysql 表
103 天前
回复了 bluebo 创建的主题 程序员 写了一个 mysql cdc table,有用么
@ChainLock 比如增量同步到 oracle,
因为原表数据删除后,历史数据是不会存在表里面的, 但是 binlog 里面有记录, 我这个可以直接查 binlog 记录到 cdc 表中,这样历史记录也能查出来。 这样可以根据历史记录可以封装成 sql 到 oracle 执行, 实现增量同步

row = select * from cdc_table where gitd> xxx and __tm > xxx ;
switch __op
{
case 0:
delete from dest_table where colx = row[x][x];
case 1:
insert into dest_table values row[x][x];
case 2
update set colx = row[x+1][x] where colx = row[x][x];
}
103 天前
回复了 bluebo 创建的主题 程序员 写了一个 mysql cdc table,有用么
@akin520 感谢暖贴 :)
支持一下
2023-07-17 09:32:43 +08:00
回复了 fiypig 创建的主题 随想 尝试了,也放弃了
不知道这里有没有少妇, 我有个朋友想约
2023-06-01 19:53:50 +08:00
回复了 0x114514 创建的主题 随想 半年时间,折腾的我不想再谈恋爱了甚至有点恐女。
@ReinerShir 牛皮啊 卧槽 学到了
2023-01-13 15:28:34 +08:00
回复了 nmgwap 创建的主题 分享创造 凑个热闹,我也来个 2023 年微信红包封面
坐等
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5528 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 34ms · UTC 02:21 · PVG 10:21 · LAX 19:21 · JFK 22:21
Developed with CodeLauncher
♥ Do have faith in what you're doing.