当前位置: 商业快讯 > 正文

最强数据校验工具,人大金仓KFS助力数据精准迁移

2022-12-19 14:28:09       来源:财讯界

我是某营销系统开发商人员小M,前段时间和福尔摩斯·K一起完成了营销系统的国产化迁移。

因为原有的MySQL已经难以满足业务系统对数据库能、以及可用等方面的要求,我们决定将业务系统整体迁移到KingbaseES 数据库当中。并且使用KFS同步工具将KingbaseES的增量数据实时同步到MySQL中,使MySQL成为一个灾备库。

数据迁移后还需要做全量数据校验和差异数据补齐。但由于系统数据量庞大,数据校验工作困难重重,需要消耗大量时间和人力,迁移计划难以施展。

福尔摩斯·K介绍我去市立医院找他的好搭档专家华生·K帮忙,经过一番”望闻问切”,华生·K给我开出了“KFS数据校验” 这剂特效药,完美解决了迁移后数据校验的所有问题。

下面是我的问诊记录。

数据校验”特效药”,专治大数据

病情一:原定业务上线,需要在2天内完成数据迁移和数据校验,而完整数据迁移至少需要1天多,留给校验的时间仅仅只有半天的时间,传统的数据校验方式根本无法在剩余的时间内完成数据一致确认。而该系统属于业务的核心系统,数据的一致对上线成功至关重要。如何快速校验完成,保证迁移数据完整,是关键的难点。

我:系统运行多年,原库MySQL中积累了海量的历史数据。并且由于业务的复杂,库中的表关系错综复杂,怎么保证历史数据迁移的正确

华生·K医生:听你说的问题还挺严重,但是具体怎么样光说还不行,你先去做个全面检查吧。

检查结果:

华生·K医生:(皱了皱眉头)你这问题确实不小,不过今天你可算是来对了,我们最正好来了一批“特效药”,就是来治你这症状的。

KFS校验功能采用三种不同的校验方式,直观界面上显示校验结果

精简校验:通过COUNT(*)快速完成表的条数校验;

MD5校验:采用MD5算法计算行值,快速定位哪一行数据不一致;

详细校验:最完整的数据校验方式,能够校验每一行每一列的数据,进而修复数据。

我:行,听着靠谱,那我先按照你这个疗法试一试。但是还有个问题啊,我那边的硬件环境都用了好多年了,特别不好使,动不动就出问题,那要是这次迁移过程中出问题了怎么办啊?

分片过滤校验,缓解硬件病灶

病情二:由于前期设备质量和能不足,如果出现磁盘故障,业务中断,导致有一段时间的数据未能同步到灾备库下,数据出现丢失,需要快速补齐差异数据。

我:现场网络和硬件环境陈旧,故障时常发生,硬件故障导致的备库数据丢失怎么解决?线上系统恢复,时间就是一切,怎么快速检查,快速补齐?

华生·K医生:这个确实麻烦,你这个想要根治估计够呛,你先把具体的症状说一下,我看怎么能最大程度的减轻你的病痛。

我:最大单表超过1TB,4T的总数据量,需要在3小时内校验出结果,2小时内修复差异数据。

华生·K医生:嗯,行,那我先给你开个方子吧。

KFS数据校验功能针对能要求,提供条件过滤校验和分片校验功能。使用KFS数据校验功能的MD5和详细校验能力,并对大表设置条件过滤和分片来快速完成校验。这好比10根筷子放在一起折不断,分开一根一根的就能轻易折断。还可以根据筷子的制作材料,只筛选出竹木筷进行加工。

智能修复差异数据甩掉运维高成本

病情三:由于业务运行环境复杂,并且云环境与本地机房的网络不稳定,时常出现网络丢包以及抖动问题,但核心系统的数据准确非常重要,出现问题直接会影响到整个业务的正常运行,每行每列的数据都不能有差错,因此每天的例行检查必不可少,但这么多的数据量怎么检查?

我:之前为了防止系统数据同步出问题,专门找了个运维团队,天天帮我们检查数据一致,但是这费用确实有点高,你看咱们这有啥其他方案不。

华生·K医生:哈哈,好说好说。

KFS提供定时校验功能,支持[每小时],[每日],[每周],[每月]策略方式,支持校验时设置过滤条件,只校验部分数据,减少校验数据量,从而快速校验出差异结果。

在有差异数据后,完成自动修复差异数据,不需要人工的介入,完成差异数据的补齐。

我:太好了,这样可以节约一大笔运维开销。我回去就按照你的方案治疗。

华生·K医生:好的。不要忘了,替我向福尔摩斯·K问好。

后记

一个月后,华生·K医生回访。

华生·K:夏洛克,别来无恙。小M他们这个系统现在运行情况如何?

福尔摩斯·K:老伙计,好久不见。多亏你给的特效药,KFS数据校验功能让我们这次国产化迁移工作轻松不少,现在已经上线一个月,整个系统运行情况非常稳定。你既然来了,要不再给仔细检查检查。

华生·K仔细检查了系统运行情况,并对比了治疗前后的差异:

从用户现场业务高峰期,稳期的KFS校验功能实测数据来进行佐证说明

福尔摩斯·K:KFS数据校验功能的真是治愈海量数据校验的一味良药啊。多种核心校验功能精准解决不同场景下数据校验的痛点,是数据迁移的必备工具。

华生·K:没什么问题,那我先回医院了,下次再见。

结语

当今的信息化大环境下,数据的准确愈发重要,小到一个OA系统的表单信息,大到疫情防控中的病患轨迹。数据准确不仅影响着个人,更关系着疫情民生。一条数据的谬误可能会导致疫情防控中巨大的人力、物力的浪费。大数据时代,数据就是金钱。

作为一款面向同城/异地灾备等场景的异构数据同步产品,KFS在保证自身数据同步高可用、高可靠、高能的同时,考虑到各种故障场景中用户恢复数据的困难,为用户提供了数据校验功能,通过快速校验、修复差异数据,最大程度保证各种极端场景下的数据稳定,立志成为数据准确最可靠的伙伴。

华生·K——金仓技术支持的代称。

他们精通运维十八般武艺,擅长为客户解决疑难杂症,排忧解难,于云雾笼罩中搜寻线索,在重重线索下抽丝剥茧,令各类数据库故障闻风丧胆。

他们on call 24,以客户为中心,随时等待客户的召唤,运筹方寸间,维护八方外,以血肉之躯为客户铸就最后一道防火墙。

线索千丝万缕,故障一顺到底!

金仓数据库,给您最好的服务体验!

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

关键词:

责任编辑:kj005

文章投诉热线:156 0057 2229 投诉邮箱:29132 36@qq.com
商业快讯

最强数据校验工具,人大金仓KFS助力数据精准迁移

2022-12-19 14:28:09   财讯界

我是某营销系统开发商人员小M,前段时间和福尔摩斯·K一起完成了营销系统的国产化迁移。

因为原有的MySQL已经难以满足业务系统对数据库能、以及可用等方面的要求,我们决定将业务系统整体迁移到KingbaseES 数据库当中。并且使用KFS同步工具将KingbaseES的增量数据实时同步到MySQL中,使MySQL成为一个灾备库。

数据迁移后还需要做全量数据校验和差异数据补齐。但由于系统数据量庞大,数据校验工作困难重重,需要消耗大量时间和人力,迁移计划难以施展。

福尔摩斯·K介绍我去市立医院找他的好搭档专家华生·K帮忙,经过一番”望闻问切”,华生·K给我开出了“KFS数据校验” 这剂特效药,完美解决了迁移后数据校验的所有问题。

下面是我的问诊记录。

数据校验”特效药”,专治大数据

病情一:原定业务上线,需要在2天内完成数据迁移和数据校验,而完整数据迁移至少需要1天多,留给校验的时间仅仅只有半天的时间,传统的数据校验方式根本无法在剩余的时间内完成数据一致确认。而该系统属于业务的核心系统,数据的一致对上线成功至关重要。如何快速校验完成,保证迁移数据完整,是关键的难点。

我:系统运行多年,原库MySQL中积累了海量的历史数据。并且由于业务的复杂,库中的表关系错综复杂,怎么保证历史数据迁移的正确

华生·K医生:听你说的问题还挺严重,但是具体怎么样光说还不行,你先去做个全面检查吧。

检查结果:

华生·K医生:(皱了皱眉头)你这问题确实不小,不过今天你可算是来对了,我们最正好来了一批“特效药”,就是来治你这症状的。

KFS校验功能采用三种不同的校验方式,直观界面上显示校验结果

精简校验:通过COUNT(*)快速完成表的条数校验;

MD5校验:采用MD5算法计算行值,快速定位哪一行数据不一致;

详细校验:最完整的数据校验方式,能够校验每一行每一列的数据,进而修复数据。

我:行,听着靠谱,那我先按照你这个疗法试一试。但是还有个问题啊,我那边的硬件环境都用了好多年了,特别不好使,动不动就出问题,那要是这次迁移过程中出问题了怎么办啊?

分片过滤校验,缓解硬件病灶

病情二:由于前期设备质量和能不足,如果出现磁盘故障,业务中断,导致有一段时间的数据未能同步到灾备库下,数据出现丢失,需要快速补齐差异数据。

我:现场网络和硬件环境陈旧,故障时常发生,硬件故障导致的备库数据丢失怎么解决?线上系统恢复,时间就是一切,怎么快速检查,快速补齐?

华生·K医生:这个确实麻烦,你这个想要根治估计够呛,你先把具体的症状说一下,我看怎么能最大程度的减轻你的病痛。

我:最大单表超过1TB,4T的总数据量,需要在3小时内校验出结果,2小时内修复差异数据。

华生·K医生:嗯,行,那我先给你开个方子吧。

KFS数据校验功能针对能要求,提供条件过滤校验和分片校验功能。使用KFS数据校验功能的MD5和详细校验能力,并对大表设置条件过滤和分片来快速完成校验。这好比10根筷子放在一起折不断,分开一根一根的就能轻易折断。还可以根据筷子的制作材料,只筛选出竹木筷进行加工。

智能修复差异数据甩掉运维高成本

病情三:由于业务运行环境复杂,并且云环境与本地机房的网络不稳定,时常出现网络丢包以及抖动问题,但核心系统的数据准确非常重要,出现问题直接会影响到整个业务的正常运行,每行每列的数据都不能有差错,因此每天的例行检查必不可少,但这么多的数据量怎么检查?

我:之前为了防止系统数据同步出问题,专门找了个运维团队,天天帮我们检查数据一致,但是这费用确实有点高,你看咱们这有啥其他方案不。

华生·K医生:哈哈,好说好说。

KFS提供定时校验功能,支持[每小时],[每日],[每周],[每月]策略方式,支持校验时设置过滤条件,只校验部分数据,减少校验数据量,从而快速校验出差异结果。

在有差异数据后,完成自动修复差异数据,不需要人工的介入,完成差异数据的补齐。

我:太好了,这样可以节约一大笔运维开销。我回去就按照你的方案治疗。

华生·K医生:好的。不要忘了,替我向福尔摩斯·K问好。

后记

一个月后,华生·K医生回访。

华生·K:夏洛克,别来无恙。小M他们这个系统现在运行情况如何?

福尔摩斯·K:老伙计,好久不见。多亏你给的特效药,KFS数据校验功能让我们这次国产化迁移工作轻松不少,现在已经上线一个月,整个系统运行情况非常稳定。你既然来了,要不再给仔细检查检查。

华生·K仔细检查了系统运行情况,并对比了治疗前后的差异:

从用户现场业务高峰期,稳期的KFS校验功能实测数据来进行佐证说明

福尔摩斯·K:KFS数据校验功能的真是治愈海量数据校验的一味良药啊。多种核心校验功能精准解决不同场景下数据校验的痛点,是数据迁移的必备工具。

华生·K:没什么问题,那我先回医院了,下次再见。

结语

当今的信息化大环境下,数据的准确愈发重要,小到一个OA系统的表单信息,大到疫情防控中的病患轨迹。数据准确不仅影响着个人,更关系着疫情民生。一条数据的谬误可能会导致疫情防控中巨大的人力、物力的浪费。大数据时代,数据就是金钱。

作为一款面向同城/异地灾备等场景的异构数据同步产品,KFS在保证自身数据同步高可用、高可靠、高能的同时,考虑到各种故障场景中用户恢复数据的困难,为用户提供了数据校验功能,通过快速校验、修复差异数据,最大程度保证各种极端场景下的数据稳定,立志成为数据准确最可靠的伙伴。

华生·K——金仓技术支持的代称。

他们精通运维十八般武艺,擅长为客户解决疑难杂症,排忧解难,于云雾笼罩中搜寻线索,在重重线索下抽丝剥茧,令各类数据库故障闻风丧胆。

他们on call 24,以客户为中心,随时等待客户的召唤,运筹方寸间,维护八方外,以血肉之躯为客户铸就最后一道防火墙。

线索千丝万缕,故障一顺到底!

金仓数据库,给您最好的服务体验!

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

责任编辑:kj005

相关阅读

美图推荐

金融科技下,金融企业如何保障信息安全
主播雨化田们再接新活,这次让网友们下载的是交管12123APP
深圳看到科技发布Kandao Meeting S 180°超广角智能视频会议机
QQ音乐做了“一件有意义的小事”,让这些孩子听见“听不见”的音乐

精彩推荐