鲲鹏展翅 力算未来 | 浙江联通完成全国首例基于鲲鹏和x86计算平台混合部署的Hadoop集群

12月，浙江联通基于大数据Hadoop平台的分布式存储组件启用基于华为鲲鹏处理器的TaiShan服务器后，已稳定运行超过半年。至此，浙江联通的大数据平台实现了主机芯片级的信息技术应用创新，总体上实现了运营商信息化系统端到端的安全可靠和技术开放。作为大数据平台的建设运营单位，浙江联通信息安全部计划未来在计算密集型的计费系统、交易密集型的营业系统、大数据Hadoop平台和云资源池四个核心业务场景全面实现信息技术应用创新。

早在今年5月份，浙江联通就和华为合作，尝试进行鲲鹏迁移和替代。当前，已在全国范围内第一个完成基于鲲鹏计算平台和x86计算平台混合部署的大数据Hadoop平台。在混合部署业务的测试和迁移过程中，克服了多重的挑战和困难。由于版本原因，许多大数据组件不兼容ARM架构，必须从底层程序包修改函数，重新编译和打包来完成迁移。目前，已在华为TaiShan服务器上创建Mysql实例并安装部署了 Ambari集群，并在可用性方面运行通过了MapReduce、Tez、Spark、HBase、Kafka等功能组件，正式进入应用试运行阶段。

浙江联通大数据Hadoop平台是汇聚省公司内海量业务数据的数据中心，也是目前精准化运营、智能建模、交互式探索和客户维系的核心基础平台。省公司率先将大数据Hadoop平台的分布式存储组件从纯x86集群逐步测试、编译并迁移到鲲鹏和x86混合部署的业务场景。在完成TaiShan服务器并网运行后，SEQ合成的上网记录数据量从原先的420亿条/天提升到560亿条/天，同时数据节点稳定运行，经受住了对性能和稳定性的考验。

鲲鹏处理器具有高性能、高带宽、高集成度、高效能四大特点，是华为在2019年1月向业界发布的高性能数据中心处理器。本次系统上线的华为TaiShan系列服务器，基于鲲鹏处理器，通过优化分支预测算法、提升运算单元数量、改进内存子系统架构等一系列微架构设计，大幅提高处理器性能，同时通过内置加密算法，实现计算平台的安全可靠，为运营商IT系统提供了高效可靠的计算底座。

浙江联通和华为一直以来都在推进IT和CT架构的安全可靠、技术开放、构建产业生态链，力求突破产业瓶颈。浙江联通计划在未来几年内，将服务于全业务的信息化基础架构逐步迁移和升级到基于鲲鹏生态的PaaS平台。后续双方将继续推进在鲲鹏计算产业生态方面的合作与联合创新，在5G应用探索中使用更高效、更安全的平台，加速通信行业集约化发展，为政府、企业和个人的信息安全保驾护航，打造万物互联的智能世界。