forked from brokercap/Bifrost
-
Notifications
You must be signed in to change notification settings - Fork 0
/
changelog.txt
631 lines (535 loc) · 29.8 KB
/
changelog.txt
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
v2.3.6-beta 2024-04-21
1. input varchar(255) to output starrocks varchar(765)
v2.3.5-beta 2024-04-05
1. fixed output starrocks varchar(255) tansfer error bug https://github.com/brokercap/Bifrost/issues/266
2. 修复mongo数据源全量功能无效的bug https://github.com/brokercap/Bifrost/issues/272
v2.3.4-beta 2023-12-31
1. 修复MySQL源,指定同步表配置后,但可能没生效的BUG BUG复现过程: a. 配置了一个T1表同步 b. 重启进程,并且T1表数据不再做任何更新 c. 配置T2表同步 d. 更新T1表的数据
2. 修复mysql 带有触发器的时候binlog解析失败的bug https://github.com/brokercap/Bifrost/issues/263
3. 修复plugin clickhouse decimal 精度丢失的bug https://github.com/brokercap/Bifrost/issues/204
v2.2.3-beta 2023-12-31
1. 修复MySQL源,指定同步表配置后,但可能没生效的BUG BUG复现过程: a. 配置了一个T1表同步 b. 重启进程,并且T1表数据不再做任何更新 c. 配置T2表同步 d. 更新T1表的数据
2. 修复mysql 带有触发器的时候binlog解析失败的bug https://github.com/brokercap/Bifrost/issues/263
3. 修复plugin clickhouse decimal 精度丢失的bug https://github.com/brokercap/Bifrost/issues/204
4. 修复2.2.2 mysql,clickhouse之外的其他插件input没有配置tag标签导致数据转换失败的bug
v2.3.3-beta 2023-11-05
1. 修复2.2.2 ,2.3.2 mysql,clickhouse之外的其他插件input没有配置tag标签导致数据转换失败的bug
v2.3.2-beta 2023-10-22
1. 包含2.2.2版本内容
2. 优化 output mysql starrocks/doris 自动建表字段类型映射关系,根据实际情况选择最接近源端类型的数据类型
3. output mysql 对starrocks/doris的支持 自动建表时 类型转换的优化 非追加模式下,无主键的表,目标库中表不存在的情况下,会自动弃丢,不会自动建表及同步 ade2ac4 jc3wish <> 2023年10月21日 16:32
4. 修复其他部分已知bug以及doc更新
v2.2.2-beta 2023-10-22
1. 在数据转换的过程中,比如字段在源端的字段列表中不存在 ,则直接返回nil
案例: data 中有字段及值 x1:"v1",x2:"v2",x3:"v3"
情况1: val = "x4" , 返回 nil
情况2: val = "x4{BifrostNull}" ,返回 x4
情况3: val = "x1" , 返回 x1对应的的值v1
情况4: val = {BifrostNull} , 返回 nil
如果在此版本之前在字段绑定中使用了 源端不存在的字段名,需要进行修改为 情况2 那种情况 ,才会返回 x4那样的值,否则为 nil,请视使用情况是否需要修改
2. 在kafka等自行控制位点的数据源,在一个数据表开始同步后,就再也没有数据同步后,导致位点计算错误的BUG
https://github.com/brokercap/Bifrost/issues/257
3. 修复input kafka 在同步过程中去获取最新位点,导致死锁的bug
https://github.com/brokercap/Bifrost/issues/256
4. 修复数据源指定带点数据源名称 搜索失败的bug
5. 当添加AllTabls 的时候 ,支持只指定同步某些表
https://github.com/brokercap/Bifrost/issues/253
6. 修复input mock 在随机生成no_pks无主键表,生成的数据,还存在主键的bug
7. mock input更新,支持设置开启长字符串生成, 支持设置是否生成的数据,均为同一个事件内容,用于提升生成数据性能
8. web体验优化 全量任务,表同步列表可支持跳转到表同步配置详情页,并自动选中库表
v2.3.1-beta 2023-10-15
1. 包含2.2.1版本内容
2. 修复 output starrocks 在普通模式,指定了库名的情况下,提示未找到原库表名的错误
v2.2.1-beta 2023-10-15
1. Linux 作为服务器的情况下，通过读取 /proc/[pid]/status 内核文件下的 VmRSS 作为内存使用量
其他系统 ，将继续使用Go提供的runtime.MemStats里的统计数据
2. 修复input mock 全量完后，内存并没释放的BUG
3. 修复 input mock 在batch模式下，提前退出batch的逻辑bugoutput mysql starrocks 在写入成功的情况下,设置当前连接错误为nil,防止上一次成功,这一次成功,需要清空错误信息 836676b jc3wish <> 2023年10月21日 22:19
4. 修复input mock batch 结束后只是显示stopped,但没closed的bug
5. 界面操作优化更新
数据源界面新增简易搜索功能
数据源及目标库ConnUri输入框入框改为texterea,范围更大
6. 修复input mongo 在值为nil的情况下,ColumnMapping的时候panic的bug
v2.3.0-beta 2023-10-06
1. 支持MySQL连接协议连接Starrocks,进行数据同步到,支持自动建表,日志追加模式,按月自动建分区
https://github.com/brokercap/Bifrost/issues/254
2. 当添加AllTabls 的时候 ,支持只指定同步某些表
https://github.com/brokercap/Bifrost/issues/253
v2.2.0-beta 2023-10-06
1. input kafka 在多parrtition的情况下支持设置处理数据转换的协程数量 来提升性能,一个partition的数据,只能被一个协程处理,在单partition的情况下,设置多个无效,默认为 单协程
2. input mongo 支持设置 全量,增量,以及先全量再增量的方式数据同步
3. 修复批量添加表数据同步失败的BUG
https://github.com/brokercap/Bifrost/issues/249
4. 修复修改数据源,但是数据源连接案例及描述等信息没有变更的bug
https://github.com/brokercap/Bifrost/issues/248
5. 添加全量任务后,跳转到全量任务列表,采用新窗口跳转
https://github.com/brokercap/Bifrost/issues/250
6. 支持 input mock ,在开发output的时候 可以更方便的进行测试
7. input 插件开发 支持获取需要同步的库表列表
8. Bristol mysql驱动 支持 conn.Exec conn.Query 带参数请求访问接口
v2.1.1-beta 2023-09-17
1. 修复同步配置字段映射显示undefined的bug
https://github.com/brokercap/Bifrost/issues/237
2. output ClickHouse支持选择配置自动创建MergeTree引擎表
https://github.com/brokercap/Bifrost/issues/244
3. 修复mysql源连接断开没被发现的bug
https://github.com/brokercap/Bifrost/issues/188
v2.1.0-beta 2023-09-03
1. 支持input kafka 自定义配置数据格式转换成Bifrost格式
2. output clickhouse 支持json.Number数据类型转换成String
3. 修复mongo input 在update事件中,但更新的数据字典实际为nil导致异常的bug
v2.0.6-beta 2023-06-18
1. 修复目标库clickhouse显示同步成功，但实际失败的bug
https://github.com/brokercap/Bifrost/issues/233
2. 修复mysql数据源close操作的时候，持续closing状态
https://github.com/brokercap/Bifrost/issues/234
v2.0.5-beta 2023-06-10
1. 新增mongo input源，当前只支持oplog增量解析同步
v2.0.4-beta 2023-06-09
1. 目标端kafka连接支持tls,用户名密码连接配置
2. 增加飞书报警类型
v2.0.3-beta 2022-10-30
1. 支持整个表json字符串(kafka input) 进行同步
v2.0.2-beta 2022-10-27
1. 修复mysql input 未设置GTID导致数据源启动不了的BUG
2. 修复mysql input 数据源开启了gtid功能，但实际没采用gtid方式同步，重启后又自动gtid模式同步的bug
3. kafka input 支持sasl sha256 sha512 帐号密码连接
v2.0.1-beta 2022-10-22
1. kafka源支持debezium mysql 数据结构
2. kafka源支持查看最新位点
3. 修复其他Kafka源的BUG
4. 修复库名带 . 不可用的BUG
5. 修复其他部分BUG
v2.0.0-beta 2022-10-16
1. 支持多源架构
2. 新增kafka增量源，支持 kafka中 string,canal json,bifrost json 格式进行同步
3. kafka目标端支持以canal格式写入
v1.8.8-release 2022-10-16
1. 修复通过X-Real-IP等伪造IP进行无限爆破密码漏洞
2. 修复mariaDB环境下位点可能不会被保证的BUG
v1.8.7-release 2022-09-18
1. 修复basicAuth权限验证对 monitor 用户组不进行权限校验的安全BUG(issue https://github.com/brokercap/Bifrost/issues/200)
2. 修复monitor用户组无权限但不提示的BUG
v1.8.6-release 2022-09-10
1. 修复docker环境重启失败的BUG(issue https://github.com/brokercap/Bifrost/issues/198)
2. 修复DateTime64(N) 时区问题BUG(issue https://github.com/brokercap/Bifrost/issues/191)
3. ck plugin 单测整理
v1.8.5-release 2022-09-04
1. 新增CK插件库表前缀配置功能
2. 修复CK插件1.7.4升级到1.8版本不兼容的BUG(issue https://github.com/brokercap/Bifrost/issues/196)
3，修复HTTP插件在BasicAuth认证推送失败的BUG(issue https://github.com/brokercap/Bifrost/issues/195)
4. 修复ElasticSearch插件在ElasitcSearch 8.x 版本不支持type参数的BUG(issue https://github.com/brokercap/Bifrost/issues/177)
5. 修复其他已知部分BUG
v1.8.4-release 2022-08-28
1. 修复分区表解析出错的bug
2. 修复ClickHouse插件同步 新增索引等DDL语句同步导致的bug
3，修复可能造成超时并不同步数据的bug(issue https://github.com/brokercap/Bifrost/issues/179)
4. 修复其他已知bug
v1.8.3-release 2022-04-16
1. FIX CK插件同步配置选择了指定目标表的时候指定字段映射关系不显示的BUG(issue https://github.com/brokercap/Bifrost/issues/180)
v1.8.2-release 2022-03-26
1. 修复ck插件集群模式同步不了数据的bug
2. Binlog解析测试新增所有字段类型的null值测试
3. 生成测试数据新增所有字段类型的null值字段
v1.8.1-release 2022-02-27
===========================
1. ClickHouse DDL 支持完善，包含：增加字段，删除字段，修改字段类型，修改字段名称，修改表名称等
2. 支持 ClickHouse ReplicatedReplacingMergeTree 分布式集群模式写入（由于涉及到final 效率问题，推荐ck版本为 v20.5.2.7-stable以上（包含））
3. 新增 ElasticSearch 插件支持
4. 修复数据包超过16MB时无法完全解析的BUG
5. 优化某个表没有数据写入，其他表有数据写入的情况下，造成没有数据更变的表，并不会5秒进行超时同步的BUG
6. 优化Binlog连接断开重连的功能
v1.8.0-beta.01 2021-03-14
===========================
1. mysql caching_sha2_password supported
v1.7.4-release 2021-03-14
===========================
1. fix plugin redis list sync empty bug
2. fix pprof.go,update DBController to PprofController
3. mysql field data check update
4. redis-client lib version update
5. fix eventID calc error, lose data bug
v1.7.3-release 2021-02-28
===========================
1. fix gtid update panic bug
2. connection use utf8mb4
3. plugin mysql cancel bool type
4. fix plugin field nullable contrast YES
5. fix plugin clickhouse conn error
v1.7.2-release 2021-02-21
===========================
1. mariadb gtid supported
2. fix plugin mysql nullable ,bug has default sync error bug
3. testing binlog parser and select data is all right for mysql,mariadb,percona
4. golang 1.16 ,Darwin arm64 supported
v1.7.1-release 2021-02-09
===========================
1. fix binlog parser ddl(rename,drop) error
2. fix binlog parser error by "/*notes*/" filter
3. plugin ck ddl update
4. plugin mysql ddl update ,supported tidb rename multi-table
5. mysql multi-gtid support
6. fix percona 8.0 char parser error
7. recovery binlog position calc update
8. beore and after ddl, callback a dummy begin and commit event
9. fix windows path error
10. db list show eventID
11. doc update
12. fix other bugs
v1.7.0-rc.01 2021-01-24
===========================
1. gtid supported
2. plugin ck ddl supported(add,change column)
3. plugin ck decimal64 tansfer decimal64, decimal128 and decimal256 tansfer to String
4. plugin mysql filter data auto_increment be first
5. fix other bugs
v1.6.6-release 2021-01-17
===========================
1. fix rename table binlog parser error bug
2. fix http basic auth bug
v1.6.5-release 2021-01-10
===========================
1. fixed mysql desc SchemaName error bug
2. fixed mysql ddl tansfer error bug
3. fixed history task may recovry bug
4. fixed history flow href error
5. mysql plugin error update
6. fixed may time out contine bug
7. other bug fixed
v1.6.4-release 2021-01-03
===========================
1. 修复一个全量任务设置多线程同步造成的致命bug
2. fixed TRANSACTION_CONTEXT_EVENT,VIEW_CHANGE_EVENT,XA_PREPARE_LOG_EVENT filter error
3. add mysql version show
4. add http api doc
5. web view update and other bugs fixed
v1.6.3-release 2020-12-27
===========================
1. 修复plugin mysql 主键非自增的时候丢数据的bug
2. 修复plugin ddl 同步造成的阻塞的bug
3. 修复plugin 同步出错不报错而造成丢数据的bug
4. 修复dateime(6)类型默认值为0000-00-00 00:00:00.000000解析出错的bug
5. 流量统计优化减少对map的操作，界面流量显示优化
6. 用户登入验证Host支持多个Host配置，用逗号隔开
7. plugin clickhouse 优化对源是float类型的数据转换
8. 其他已知的部分bug修复及界面优化
v1.6.2-release 2020-12-20
===========================
1. 登入用户新增 Host 验证功能
2. 新增登入日志及自动禁IP功能
v1.6.1-release 2020-12-16
===========================
1. 新增对mysql time(1-6),datetime(1-6),timestamp(1-6) 的支持( binlog 解析由 @zhwei820 提交合并 )
2. 修复一个可以可能 造成丢数据的bug
3. mysql 插件支持不同步数据的功能，只支持 SQL DDL
4. 修复 binlog commit事件被过滤的bug
v1.6.0-release 2020-11-29
===========================
1. http 框架代码结构变更,及可提供更为方便第三方自行开发管理界面系统
2. 插件开发 接口变更, 让开发者更方便介入插件开发
3. 采用 commit 事件作为位点管理
4. mysql plugin 支持自动表识别及 DDL 同步功能
5. clickhouse plugin 支持自动大小写转换等功能
6. plugin mongodb 支持自动识别源表主键
7. plugin redis,memcache 支持批量配置
8. 在线修改目标库地址,在线生效,不用再重启进程
9. 同步采用错过位点的方式错过数据，mysql,clickhouse,kafka等批量同步的插件也支持
10. 目标库支持配置保持最小连接数,可用于连接lvs,ha等负载造成的集群长连接，分担压力
11. 其他已知 bug 修复及界面等优化
v1.6.0-beta.04 2020-11-22
===========================
plugin mysql:
1. 新增自动匹配表结构配置支持DDL 同步功能
2. 在没有指定字段映射的字段,则不会同步数据,目标表需要自行设置默认值
plugin clickhouse:
1. 自动建表的时候，新增将表名,字段转成大写或者小写的配置
plugin kafka:
1. 修复同步到kafka在未达到batchsize不同步的bug
plugin mongodb:
1. plugin mongodb 支持自动识别源表主键
Other:
1. 对sql语句中指定schema.table 进行执行,Binlog 过滤库表以sql 中的库表为准
2. 修复全量配置between查询的时候，及全量多个表中，其中有一个表没有主键，报找不到ID等字段 的bug
3. 修复流量显示选择统计时间无效的bug
4. plugin redis,memcache 支持批量配置
v1.6.0-beta.02 2020-11-12
===========================
1. 修复在提交mysql作为目标库的时候,部分mysql版本报错的bug
2. mysql 插件错过位点逻辑变更 为更小位点则直接错过
3. 表同步列表新增Skip 错误位点功能
4. 自动去除输入框前后空格
5. ck 提交错误和数据转换错误分开逻辑判断，减 少重连的概率
6. 修复修改监听端口无效的bug
7. 修复点击报警删除按钮提示json解析错误bug
8. 表同步界面新增显示插件配置参数
9. 修复非row事件的时候，标签替换失败的bug
v1.6.0-beta.01 2020-10-31
===========================
1. http 框架封装修改,方便开发人员更容易介入开发
2. 同步插件接口变更,并且采用commit事件位点进行保存,解决在同步大事务数据的时候，不用再自动寻找可解析的位点
3. clickhouse插件，bifrost_data_version为0的bug修复
4. 在线修改目标库地址,在线生效,不用再重启进程
5. 目标库支持配置保持最小连接数,可用于连接lvs,ha等负载造成的集群长连接，分担压力
6. 其他部分已知bug修复
7. 部分界面显示优化
v1.5.2-release 2020-10-16
===========================
1. 修复enum可能解析错误的bug
2. 修复其他可能造成解析错误的bug
v1.5.1-release 2020-10-15
===========================
1. 修复1.5.0版本在解析过滤了的表的时候，binlog解析报错的bug
v1.5.0-release 2020-10-14
===========================
1. clickhouse plugin 支持自动创建CK表结构同步
2. 模糊匹配表支持指定过滤部分表 不进行模糊匹配
3. 支持指定 arm 架构编译方式
4. 修复修改数据源连接地址后无效的bug
5. 验证邮箱是否合法正则变更
6. enum 类型 值 为 null 的时候解析 越界的bug修复
7. row event 采用最近一次map event 的tableId进行计算，放弃通过 row event 计算出来的tableId 进行反查map event
8. 修复全量多线程同步并发造成的同步中断的bug
v1.5.0-beta.01 2020-09-26
===========================
1. clickhouse plugin 支持自动创建CK表结构同步
2. 模糊匹配表支持指定过滤部分表 不进行模糊匹配
3. 支持指定 arm 架构编译方式
v1.4.5-release 2020-09-26
===========================
1. 修复 decimal 类型部分数据解析错误的bug
2. 修复报警配置删除不了的bug
3. 修复 windows 下创建 data 路径出错的bug
4. 修复 全量任务 部分情况表有数据并不查询不出数据的bug
5. 修复 全量任务 AllTables 的时候，空指针错误bug
6. 通道操作加上锁管理,解决存在因cpu缓存不致造成的bug
v1.4.4-release 2020-09-23
===========================
1. binlog同一个事务 map 事件和row事件被分割在不同binlog文件中出现造成空指针解析错误的bug
2. 代码优化，统一使用一个锁，减少逻辑复杂度
3. 代码优化，解析状态码变更
4. bash 语法 ubuntu下兼容
5. TableCount 插件界面使用不了的bug修复
v1.4.3-release 2020-09-12
===========================
1.修复因为因为没加锁,数据源位点获取位点可能不一致的bug
2.plugin clickhouse {$BifrostDataVersion} 标签采用计数器保证同一批次不同数据值不一样
3.当只有非模糊匹配的表同步配置的时候，同步配置丢失的bug修复
4.同步配置没有同步任何数据，位点为0的时候，数据源位点恢复失败bug修复
5.新增对binlog_row_image参数的提示判断
v1.4.2-release 2020-09-05
===========================
1. 新复mysql binlog_checksum=none解析错误bug
2. 修复全量任务查询数据显示数据错误bug
3. plugin clickhouse 主键支持 标签使用
4. 修复部分stmt,rows close 先后逻辑问题
5. plugin kafka 新增 Timeout,RequiredAcks 配置参数
6. 修复全量任务非between优化查询,总数对不上的bug
v1.4.1-release 2020-08-31
===========================
1. 修复获取连接id，stmt未关闭的bug
2. 修复 binlog_field_test_* 会匹配 出 binlog_field_test,all_binlog_field_test 的bug，自动转成 ^binlog_field_test_（.*） 不会匹配 binlog_field_test 出来
3. 全量任务执行部分表之后不再执行的bug修复
4. 全量任务列表显示正在执行的表的条数及已拉取的条数
5. 位点恢复的过程中，第一个同步就是同步异常，恢复位点错误的bug
6. 新增表同步的暂停和启动功能
7. http 插件 推送方式变更为json raw 格式
8. 配置界面新增表搜索功能
9. linux 环境编译在没有go环境的情况下自动yum安装golang
10. 首页版本判断逻辑更新
11. 部门 api 接口变更
v1.4.0-release 2020-08-24
===========================
1.支持模糊匹配横拆表的同步配置，比如 binlog_field_test_* 的方式匹配 binlog_field_test_1,binlog_field_test_2
2.新增版本更新提示及最新动态显示
3.新增plugin_commit_timeout,plugin_sync_retry_time 参数配置(对同步报警配置可能存在影响)
4.编译目录新增bin文件侠
5.配置文件路径新增以etc目录和Bifrost文件夹根目录 为相对路径功能
6.没有配置同步的表，将不再做数据恢复
v1.3.2-release 2020-08-07
===========================
1.http插件 同步失败也不重试的bug修复
2.ck插件设置的主键匹配错误的bug
3.修复mysql,ck插件由于指针可能存在数据错乱的bug
v1.3.1-release 2020-07-26
===========================
1.导入恢复配置，新增用户和报警配置恢复
2.ck 追加模式同步，遍历修改为从最先数据开始写入
3.随机生写数据写到mysql更新(测试模块)
v1.3.0-release 2020-07-17
===========================
1.mysql json 类型的支持
2.新增支持 {$json["key1"][0]} 的标签
v1.2.4-release 2020-07-17
===========================
1.全量获取sql语句函数锁变更
2.修复NUMERIC_PRECISION值 获取错误的bug
2.修复binlog 解析在mysql8版中因获取的值返回类似从uint64变成uint32造成解析不了的bug
v1.2.3-release 2020-07-07
===========================
1.修复mysql8.x 在information_schema表返回的类似变更 造成的bug
v1.2.2-release 2020-06-10
===========================
1.修复mysql,ck 满批次丢失一条数据的bug
v1.2.1-release 2020-05-24
===========================
1.在非Bifrost 当前目录启动 tls 配置无效bug修复
2.全量任务获取表结构信息出错的bug修复
v1.2.1-rc.02 2020-05-18
===========================
1.全量任务多个同步线程对插件实例化数据进行区分优化
2.json类型字段在map event事件不再报错，但还不支持同步有json字段的表
3.全量任务判断是否同步完毕等优化
4.新增界面操作引导功能
5.修复文件队列读取出来set类型数据转换失败的问题
6.修复位点文件可能 修复出错的问题
7.clickhouse 客户端驱动包版本更新
8.提供强制gc的接口
9. 修复全量拉取数据mysql连接未关闭bug
10. 修复同一个表全量任务被覆盖的bug
11. 全量任务部分内存变量在结束的时候自动清空
12. plugin mysql 多个同步线程共用stmt造成的致命bug修复
13. plugin mysql 当目标表是自增主键并且没有填源表字段名的时候，过滤当前字段，不进行处理
14. mysql,clickhouse插件同步 修复源为bool值 目标表为非bool值 数据转换失败的bug
15. 调用bifrost server 接口，显示创建表sql
v1.2.1-rc.01 2020-05-13
===========================
1. 全量支持配置拉数据连接数及同步线程数,及 查询优化
2. 新增配置启用文件队列的功能
3. 修复文件队列ack出错bug
4. 修复clickhouse插件提交不了的bug
v1.2.0-rc.01 2020-05-10
===========================
1. mysql插件新增 普通模式，日志模式-修改, 日志模式-追加 ，三种模式
2. clickhouse 插件新增 将delete转成update的同步模式
3. clickhouse 新增{$BifrostDataVersion}标签，删除的时候会用到这个标签的字段，保证数据安全
4. 新增文件队列功能,在某个同步出现阻塞的时候，文件队列启动，防止出现阻塞其他同步的可能性
5. 全量任务 分页查询优化，自增主键 查询优化成 BETWEEN x AND y
6. 添加数据源的时候，权限验证，判断是否有足够权限解析binlog
7. MySQL 插件 没有绑定 源表字段及标签的字段，默认为 Null 值
8. ClickHouse 插件，没有绑定源表字段及标签的字段，转成相对应类型默认值
9. binlog解析新增报错内容,及不需要同步表将不再进行多余的表结构查询
v1.1.1-release 2020-04-18
===========================
1. clickhouse插件delete合并一条sql执行
2. 全量任务查询sql查询分页语句通过子查询性能优化
3. 启动的时候获取正确位点新增部分日志
4. 修复mysql插件在数据库有存在特殊符号的时候报语句错误的bug
5. 修复mysql写入字段名是保留字段报错的bug
6. char存储字节大于255解析错误的bug
7. Mysql插件新增NullTransferDefault配置,可强制将NULL转成对应的默认值
8. 新复因mysql连接异常造成的崩溃问题
9. 修复多个null值的情况下，报Incorrect arguments to mysqld_stmt_execute 错误
v1.1.0-release 2019-12-08
===========================
1. redis 配置存储去掉了一个重复的 bifrost 字符串
2. toserver_queue_size 默认修改为 5000
v1.1.0-rc.01 2019-12-02
===========================
1. clickhouse 插件包更新
2. 配置保存失败,造成配置丢失的bug修复
3. 新增每5分钟定时保存一次配置
4. 插件新增指定默认参数的方法 setPluginParamDefault
5. 流量显示错误的bug 修复
6. pprof 需要登入后才能访问
v1.1.0-beta.21 2019-11-03
===========================
1. ClickHouse插件 int 类型之间类型转换, 内存溢出后强制转成0
2. 新增TableCount插件，用于统计每个表的insert,update,delete,及ddl 等情况，可以折线图展示出来
3. 新增 *.* 方式进行匹配数据表过滤，界面 AllDatabases 代表所有库，AllTables 代表所有表.
4. redis插件，假如配置了多少个ip则采用cluster方式连接，多个ip端口用 逗号 隔开
5. 假如不允许批量添加的插件，点击了 批量添加按钮或者选择的是 AllTables 则会进行提示不支持批量配置
v1.1.0-beta.20 2019-10-27
===========================
1. Bristol mysql 包更新,返回值直接转成换指定类型,而不是[]byte类型返回
2. binlog 解析完之后,新增Pri(主键)字段名
3. clickhouse 插件,新增decimal类型(但会有精度丢失),不建议使用
4. clickhouse 插件 对 Nullable 类型数据转换失败bug修复
5. 表同步列表新增按状态搜索
6. 编译脚本更新
7. 文档更新
8. mysql 连接转成utf8编码
9. 新增 redis 存储方式的支持
v1.1.0-beta.19 2019-10-19
===========================
1. 位点延时计算位点显示错误bug修复
2. 新增配置导出和导入功能(数据源,目标库,数据同步配置,报警配置,用户等)
3. 新增用户管理模块,ini 配置文件中用户名和密码用于在第一次启动的时候的用户初始化操作
4. 全量数据配置新增 自定义 where 查询条件功能
5. 刷全量数据没有流量显示bug修复
6. 其他已经bug修复
v1.1.0-beta.18 2019-10-16
===========================
1. 新增查看最新位点对比,显示延时时间
2. mysql插件新增标签支持及界面优化
3. 其他已知bug修复
v1.1.0-beta.17 2019-10-10
===========================
1. 流量统计按实际行数统计,query_event 事件不在统计范围之内
2. clickhouse插件,在string转Int32,Float等类型的情况 ,先去除前后的空格再进行转换
3. 全量任务新增按状态搜索功能
4. 支持make install prefix=./targe方式编译
5. 编译脚本及docker.sh 打包脚本更新
6. 其他已知bug修复
v1.1.0-beta.16 2019-09-30
===========================
1. 解析库模块修改，支持细到表过滤
2. 解析库timestamp转换 要求mysql和当前机器同时区
3. 解析库测试模块及性能模块修改
4. binlog解析异常,将不重试,而是直接退出当前解析
5. 启动的时候输出http或者https访问的地址
6. 数据从表同步到目标库的时候,如果连续5秒没有数据,将自动退出守护模块,释放内存,待下一次有数据的时候再次唤醒
7. 表同步列表新增QueueMsgCount 堆积待同步的消息数
8. 数据源监控告警优化
9. 修改位点的时候,新增是否强制修改所有表ToServer的位点
10. 修复重启之后,报警配置不自动恢复的bug
11. 重启的时候,数据源启动修改成 异步的
12. 获取正常位点,以QUERY_EVENT事件为准
13. 新增{$Timestamp},{$BinlogTimestamp},{$EventType},{$BinlogFileNum},{$BinlogPosition}标签
15. 编译脚本更新
16. 修复 Miss按钮 错过出错数据无效的bug
17. 启动脚本不兼容Ubuntu bug修复 (@北京-兴隆)
18. 流量展示替换成 echartJs
19. 界面等功能优化
20. 已知其他bug修复
21. clickhouse插件,新增 全部转成 Insert 方式同步
22. 自动生成mysql转ck sql ,decimal类型转换成String
23. ck插件自动填充字段功能优化
24. 其他插件close等功能bug修复
v1.1.0-beta.15 2019-09-24
===========================
1. table列表如果是视图，将提示用户，让用户感知
2. 数据表配置同步详情页，默认选择第一个非MySQL自带库
3. channel防止重复启动
4. 新增修改数据源位点功能，只有close状态能修改
6. 数据源binlog_format!=row格式的情况下，进行提示用户
7. 添加数据源成功后，提示用户是否需要跳转到设置表同步界面
8. Detail按钮变更为 Setting
9. 没有配置数据表同步，不允许用户开启数据同步
10.start,close,stop 加入锁机制，防止重复提交
11.默认 default 通道，添加数据源的时候，自动启动
v1.1.0-beta.14 2019-09-19
===========================
1. redis 插件 ，redis 客户端包变更为 go-redis，支持redis 3.x版本
2. 重启位点错误bug修复 (@飞鸟 @le lucermaire 发现问题及帮测试开发版本)
3. 其他已知bug修复
4. 解析binlog 先过滤库再解析相关row事件
5. 每次新增一个库同步,同时更新到Britol解析库里
6. 同步到clickhouse,其他类型同步到int,float类型的时候,数据转换失败，不再报错，强转换成为0 , 0.00进行同步
7. 修复库名里包含特殊符号 - 的情况下，表同步列表 显示错误的bug，现将 _- 作为分割符，库名和表名不允许 出现 _- 2个连续的字符
8. 修复clickhouse 界面生成sql 时，可能会出现UFloat 的bug
9. 修复其他已知bug
v1.1.0-beta.13 2019-08-02
===========================
1. ck插件类型转换优化,支持不同int之间转换
2. 新增插件开开发，界面调试sdk
v1.1.0-beta.12 2019-07-26
===========================
1. 随机生成数据完成，方便插件开发及测试，包括提供插件性能测试方法及数据校验
2. ck,mysql,mongodb,http,rpc,redis,rabbitmq 等插件的单元测试完善 及 bug的修复。数据校验通过测试
3. mysql插件,源表为 null 值的情况下,目标表存在默认值的情况下，以默认值进行填充
4. http 插件，传值的key:data 变更 为 Data
5. 修复rabbitmq Expir 参数设置之后报错的bug
6. http rabbitmq mongodb等文档的更新
7. 经测试部分组件或者语言不支持 大于 int64 的值(mongodb,php 已测试不支持)，请使用的时候注意
8. 修复 ck 插件 delete再insert 之后可能存在的bug, 进行更新更简单的过滤做法 已解决，并经过数据校验测试
9. mysql 插件修复 stmt 没有关闭的隐性bug