操作 mysql 表时 replace into 或 insert into on duplicate key update 支持

[liuanxin]

当使用 jdbc_catelog 且目标库是 mysql 时, 如果要将 doris 的表数据同步至 mysql, 当遇到唯一索引时, 是否能支持 replace into 或者 insert into uplicate key update 语句? 不然的话, 每次都还得先去 mysql 中删除对应的数据, 然后又不确定该删哪些

[yagagagaga]

目前还不支持

[liuanxin]

这样需要改造的地方会线性增加, 比如统计表有很多是 bitmap 列, 在同步到 mysql 时会使用 bitmap_count(field) 写进 mysql, 如果全部改造, 数据源要调整, 包要调整, sql 也要调整, 现阶段同步是最快的兼容方式.

回写到 mysql 时, 向量化也已经是内置了吗? 还是需要做什么样的配置? 我见在 doris 中(2.0-beta)执行 insert into jdbc_mysql... select ... from doris_table 后, 去到 mysql 执行 show full processlist 时, 都是单条的 insert into ... values (), 并没有批量的

[yagagagaga]

这样需要改造的地方会线性增加, 比如统计表有很多是 bitmap 列, 在同步到 mysql 时会使用 bitmap_count(field) 写进 mysql, 如果全部改造, 数据源要调整, 包要调整, sql 也要调整, 现阶段同步是最快的兼容方式.

回写到 mysql 时, 向量化也已经是内置了吗? 还是需要做什么样的配置? 我见在 doris 中(2.0-beta)执行 insert into jdbc_mysql... select ... from doris_table 后, 去到 mysql 执行 show full processlist 时, 都是单条的 insert into ... values (), 并没有批量的

计算的时候是有向量化的，写入的时候，还是调用 jdbc 来写入，insert into ... values ()PrepareStatement addBatch批量插入的。

[liuanxin]

insert into jdbc_mysql... select ... from doris_table 这个的写入效率真的很一般, mysql 端大量的 insert into 单记录, 几十万级的数据量写了快 10 分钟, 写完之后的 mysql 内部 replace into 在 1 秒左右就处理完了. 是否有计划优化成 insert into ... values ( ... ) , ( ... ) 这样一条 sql 就可以写多条数据并配合 PrepareStatement addBatch 的方式?

[yagagagaga]

你可以尝试在 jdbc url中尝试添加一个参数rewriteBatchedStatements=true

[Junfei1101]

目前还不支持

有支持的计划嘛？