大咖共话：分布式存储能否成“东数西算”时代全能利器?

随着 “东数西算” 全国性大工程的全面启动，数据成为数字经济的核心要素。而随着5G、AI、云、IoT等技术发展，非结构化数据呈现指数级增长，逐渐在企业的生产业务中占据更加重要的地位。

传统集中式存储烟囱式的部署模式，在扩展性和管理上的难题日益凸显。分布式存储，以横向扩展的模式，让不同类型的数据实现了以“融合统一”打破不同类型存储间数据孤岛的愿望，高效支持各类创新业务和应用以统一的方式创新进步，成为新存储时代的发展方向。

近日，笔者参与主持了主题为“破解海量异构数据存储难题，成就数字化转型”的曙光技术圆桌派。在此次圆桌派上，与来自赛迪、中石化、中科天玑、中科曙光等专家大咖，深度畅聊了分布式存储的未来发展与典型应用。

从左至右依次为笔者本人-《海峰看科技》创始人-黄海峰、赛迪顾问业务总监-高丹、中科天玑区域拓展部总经理-刘维秦、中科曙光存储事业部副总经理-张新凤，以及远程连线的中国石油化工股份有限公司石油物探技术研究院信息中心技术主管-葛鑫

01   热议：异构数据暴增，

存储行业面临新挑战

数据存储家族包括传统存储以及分布式存储等多个细分产品。虽然这些存储兄弟们都有不错发展，但增长速度不同。

谈及市场，赛迪顾问业务总监高丹说，“2021年，分布式存储和云存储在量和销售额方面的增速分别达到30%和20%，相较于传统存储的20%和8%，分布式存储远远胜于传统存储。”。

为何分布式存储更受欢迎？中科天玑区域拓展部总经理刘维秦的分享让我们管中窥豹。他表示：中科天玑平均每天需要采集1亿条数据，而且这些数据大多是图片、视频类的非结构化数据，但传统存储在扩展性和数据的统一管理等方面都不太适用。

但面临各行业海量异构数据的暴增，分布式存储同样面临着不少挑战。对此，嘉宾结合实际部署情况，总结出四大挑战：

挑战一，海量数据增长聚集。据全球知名咨询机构IDC预测，2025年，全球数据量将达到175ZB，5年年均复合增长率31.8%。中科曙光存储事业部副总经理张新凤表示，企业需求从五年前的几PB，增长到如今的几十PB，甚至上百PB，未来将扩展到EB级。而其中非结构化数据为主要增长类型，IDC同样预测到，截止2023年，全球文件和对象数据容量增长3倍。容量不简简单单是设备的增加，为存储带来的技术难度是呈指数级增长的。

挑战二，异构数据的融合。能对5G、AI、区块链等新技术有更好的支持，就需要统一协议的支持，打通从数据的采集、应用、分析到归档的链路，做到异构数据的融合；比如，满足大文件存储、流式数据访问的HDFS协议；满足跨..文件共享服务、远程容灾备份的NAS协议；适合存储海量图片、视频、日志文件的S3协议。

挑战三，存储需深度支撑应用。存储系统想要发挥价值，必须适应场景。比如，目前云原生将成为市场主流，存储系统就必须满足云原生应用需求。对此，张新凤强调到，“存储系统想要更好地支撑应用，就必须进行深度定制。”

挑战四，安全绿色成硬性要求。东数西算、“十四五”规划等国家战略，对数据存储设备提出更高的要求。张新凤指出，东数西算要求数据流通更高效、数据应用更智能、数据存储更安全、存储设备绿色节能。

02   征战：存储新战场，

曙光ParaStor大放异彩

存储行业面临不少挑战，该如何应对挑战？靠企业自身去努力，并非明智之举。正所谓假舆马者，非利足也，而致千里；假舟楫者，非能水也，而绝江河。在海量数据时代，谁能为企业提供这样的“马与舟”，实现自身业务和应用的顺利开展？

对此，张新凤分享了曙光为满足各方用户需求打造的分布式统一存储利器——曙光ParaStor。该产品可轻松应对“5G+AI+云”时代下海量数据，满足企业对多样化应用的数据存储需求。

据悉，曙光ParaStor融合了文件、对象、块、HDFS多种协议，真正实现了海量异构数据资源的融合，高效助力企业的数字化转型，可广泛应用于高端计算、通信、自动驾驶、EDA、能源勘探等多个领域，全面挖掘数据的潜在价值。

你可能要问，曙光ParaStor有何优势？在笔者看来，具体看有四大优势。

第一，曙光ParaStor单一存储节点同时支持文件、块、对象、HDFS四种存储服务，3节点存储集群即可承载非结构化与结构化数据业务，消除存储设备多样性及管理复杂性，降低存储系统的构建成本。

第二，曙光ParaStor对象接口，对IO协议栈进行极简优化，实现了单桶千亿KB级小对象的存储能力，存储集群百万级TPS吞吐性能可达到业内领先水平。

第三，曙光ParaStor提供原生HDFS接口，无任何协议损耗，无缝接入大数据..，实现存储与计算资源按需配置的同时，满足新老存储同时读写，应用“0”改造，数据“0”迁移，构建更具高性价比的大数据存算分离解决方案。

第四，据张新凤透露，曙光将于2022年再次升级曙光ParaStor，加持液冷设计，再加上前端曙光液冷的计算节点，完全形成一体化的液冷存储方案，PUE值可达到1.04。

03   探秘：

曙光凭什么站上数据存储之巅？

优秀的产品背后是过硬的技术支撑。“存储市场是需要很深技术积累和很大资金投入的市场，所以很早预估到行业的发展趋势，进行自主研发产品的企业，一定会跟未来的趋势高度结合。”在对话中，赛迪顾问业务总监高丹如此表示。

首先，曙光存储拥有深厚自研经验，十年来更快把握市场趋势。我们从曙光的分布式存储角度看，早在2009年，曙光推出第一代全自主研发的分布式存储系统ParaStor，基于POSIX协议，在做数据处理的时候有很好的性能体验；2013年，数据中心已经开始比较规模化的部署，这个时候曙光完成了对NAS协议的支持；2019年，基本各个行业都在普及云化，曙光为解决业务上云的问题，又推出分布式块协议。现在，曙光分布式存储系统ParaStor完成了对文件、块、对象和大数据协议的支持，基本覆盖所有应用场景。

其次，曙光存储拥有超大规模部署经验。熟知存储设备的朋友都知道，分布式存储系统的超大规模部署经验与应用支持，是存储玩家重点比拼的关键点。

最后，曙光拥有按需定制服务能力。面对当前分布式存储多样化的应用需求，定制能力是存储设备支持多样应用的关键。曙光拥有完善的本地化技术支持团队，具备定制化设计、开发与落地能力。

张新凤在论坛探讨中介绍：“要快速响应市场需求，推出合适的产品，首先要有强有力的团队支撑，其次是对行业的深耕和理解，基于以上两者的优势，曙光对用户推出定制化的产品及运维服务。”

据悉，定制能力让曙光在多个案例中大放异彩。在某研究所气候模拟科学装置系统项目中，为了解决用户业务流程耗时过长的问题，曙光集结专业研发团队为客户定制加速技术，在计算和存储节点之间，配备了大内存和高速NVMe的性能加速节点，把大量4K非对齐IO在这个节点上先做聚合，再到存储上面。最后用户实测使用性能提升8到10倍。