HASH GAME - Online Skill Game GET 300为了解决以上痛点，国元证券携手网易，搭建了基于网易有数大数据基础平台和国元原有CDH平台的异构大数据平台主备架构。项目创新性地打造异构主备集群地冗余架构，满足证券业务的高可用和容灾要求。证券公司目前仍有很多使用CDH大数据平台，本案例的建设方案可以实现大数据平台信创改造的平稳过渡，具有较大的推广价值。同时，项目落地智能运维能力，可进行集群计算资源、存储资源实时监控以及治理，帮助运维人员快速定位和解决运维中的瓶颈和难题，提高运维效率，增强平台保障能力。

　　项目团队开发NDHManager自动化工具，大大降低人力投入成本，提升迁移效率。证券公司大数据平台集中存储了公司内外部的海量数据，旧集群上的数据需要高效、安全地迁移到信创新集群上，同时保证迁移过程人力投入少、数据不丢失、任务产出结果一致，降低迁移过程对线上服务的影响。项目团队梳理现有数据分布情况，按照数据量和业务时间窗口等维度，制定精细化的迁移方案。对于较大的库如gdw_ods、gdw_dwd、gdw_dws，短期内可能distcp不完。对应的解决方案有2个（在不影响业务的前提下优先建议使用方案一）：

　　使用NDHManager的Hive元数据迁移模块，对Hive元数据按照库粒度进行迁移。平台支持使用sum(hash(*)) 方式全量/抽样对比CDH和NDH的hive表hash值。使用校验工具自动生成校验SQL语句，分别在CDH和NDH集群执行后，即可获取所有输入表的hash值。按照预期，增量同步完成后CDH和NDH的表hash值会完全一致。如果有不一致的表，可能是HDFS数据或者Hive元数据迁移有遗漏。对不一致的表单独分析排查即可。

　　（3）实现脚本改造、数据校验自动化，助力计算引擎升级。项目将离线跑批任务计算引擎由hive升级为spark。针对迁移过程中遇到的语法、函数、精度3大类问题，项目团队及时总结，形成知识库，并根据规则开发脚本识别工具，高效完成需改造脚本筛选和问题定位。为保证数据一致性，项目团队制定了多方位的数据校验方案，开发自动化校验工具，CLI方式传入任务，自动分发到Spark/Kyuubi和HiveServer2平台，输出结果对比，并与调度工具集成，可以每日自动运行数据校验，输出校验异常清单，实现高效、准确地数据监控。

　　国元证券是经中国证监会批准设立的综合类上市证券公司，在全国25个省、直辖市、自治区及特别行政区，布局了42家分公司与100余家证券营业网点。业务范围涵盖证券、基金、期货、资产管理、股权投资、另类投资、境外业务、区域股权市场等多个专业领域，综合实力和核心业务指标位居行业前列。公司聚焦“产业研究+产业投资+产业投行+综合财富管理”的战略方向，为客户提供综合金融服务，致力于打造具有核心竞争力的一流产业投资银行。