数据传输成本过高 有工程师背着硬盘运输
2024-09-07 10:09      作者:索寒雪     来源:中国经营网

数据传输01.jpg

本报记者 索寒雪 北京报道

最高端的科技往往用最朴素的传输方式——由于数据传输成本过高,一些重要的企业数据正在通过卡车和人力进行运输。

在贵州举办的第十届中国国际大数据产业博览会(以下简称“数博会”)上,中国工程院院士刘韵洁指出: “我们面临的问题是数据传输的成本太高,传输网络用不好、用不起、用不了。”

邮寄无人驾驶数据

处于风口上的无人驾驶技术,正在面临数据传输成本的考验。

一位知情人告诉《中国经营报》记者,以某国有品牌汽车为例,其每天在全国4个训练场有20辆路测车,在采集路面数据用于自动驾驶,产生的数据量非常大。

“每天共产生160TB数据,需要上传到东部的总部。如果采用专线承载,需要每年专线费用1000万元,而采用邮寄硬盘方式仅需要190万元/年。”该人士透露,“尽管邮寄要长达两周,并且存在硬盘损坏和数据丢失等风险,但价格上有4倍的差距,还是让客户选择线下方式实现数据传输,即邮寄硬盘。”

邮寄硬盘通常使用卡车运输,这种用传统方式运数据,并不是行业内的秘密。

在某些情况下,特别是当需要传输的数据量非常大时,通过光纤传输可能需要很长时间。相比之下,卡车可以在较短时间内将数据从一个地方移动到另一个地方,从而大幅缩短了传输时间。

此外,在数据传输过程中,数据可能会遇到网络攻击或数据泄露的危险。而通过卡车运输硬盘,可以将数据存放在安全的环境中,并可以对硬盘进行加密处理,从而提高运输的安全性。

但是,卡车运输数据也存在一些缺点,比如运输过程中的交通拥堵、天气恶劣等情况,这会导致数据传输时间延长或数据损坏。

“要么就是派个工程师背着硬盘飞过去,和我们现在的通信渠道传过去相比,人背过去又快又便宜,什么时候数据传输的成本能够与背着背包飞过来相比更有竞争力了,那我觉得我们带宽的发展就到位了。”中国工程院院士高文近日在贵州数博会上说。

他还算了一笔经济账,如果训练一个模型预计花费一个亿,那么数据传输就要花 1000万到1500万元。这样算来,成本是可以接受的。但如果训练模型的预算是100万元,那么数据传输带宽方面的支出不应该超过10万元至15万元,那就要节约传输成本。

在实体经济中,“以前物流成本很高,差不多35%,现在降下来,物流成本差不多15%。”高文说,“数据传输也是类似的情况,在物流上付出太多的代价是有问题的。”

已有成本突破案例

记者了解到,江苏省数据局向国家数据局推荐了有效提升东数西算网络传输效能的典型案例。

其中,中移(江苏)软件技术有限公司,基于400G全光网络底座和全球最大的SRv6/G-SRv6商用IP网络底座为用户提供“最低时延路径”之类的差异化QOS分级服务,在业界首次实现“入算+算间”端到端分钟级2M—10G网络弹性能力,并在苏州—贵阳线路东视西渲、杭州—乌兰察布东数西存等场景中应用,验证降低客户用网成本近50%。

记者从国家数据局了解到,目前降低成本的另一个方案,是构建统一管控的混合云网络。目前小鹏汽车和阿里云正在进行这一方向的合作。即在自动驾驶训练、路径规划等算法需求方面,小鹏汽车结合阿里云自研RDMA网络,实现与数据处理的无缝连接和低成本数据流转,数据读取效率提升10倍,有效提升了小鹏汽车研发人员效率,并推出国内领先的辅助驾驶功能,快速落地200多个城市。

在经济效益方面,这一操作模式,有望将成本下降30%至50%,新车研发周期缩短20%,零部件通用化率最高可达80%,智能工厂实现100%自动化。在运营效益方面,该模式可以实现多人敏捷开发,效率提升10倍,自动驾驶核心模型训练时长提速近170倍。

(编辑:郝成 审核:吴可仲 校对:翟军)