“地平线”驰骋深度学习之路,冲破海量数据层层屏障!

百家 作者:企业网D1net 2018-12-10 03:33:43

点击上方“蓝色字体”,选择 “设为星标

关键讯息,D1时间送达!



有没有想过有一天,当你要出门时,自动驾驶汽车已恭候在楼下,只需要输入目的地和需求,车子便开始自动驾驶护送你至目的地。


车前挡风玻璃处安装有一个摄像头,可检测出范围内的行人、车辆、车道线等等,还可以对目标的相对位置和相对速度进行分析,并提供高性能的前撞预警、车道线偏离预警等功能。


车内屏幕可以时刻关注驾驶员状态,进行预警提示,判断准确率高达99%,即使你戴着墨镜!



现在,这一切已不再遥远,地平线智能驾驶方案正在帮我们实现。


基于自主研发的人工智能芯片和算法软件,地平线以智能驾驶、智慧城市和智慧零售为主要应用场景,致力于为用户提供开放的软硬件平台和应用解决方案。为多种终端设备装上人工智能“大脑”,让它们具有从感知、交互、理解到决策的智能。这背后,离不开地平线雄厚的技术实力,尤其是基于深度学习的 AI 研发能力。


双管齐下:高算力+高IOPS,构建高效深度学习平台


深度学习的训练过程离不开海量数据的支持。而对于地平线深度学习平台而言,其需要利用的数据量则更为惊人。以面向智能驾驶的算法为例,地平线预测未来自动驾驶汽车每天在路上要产生高达4TB的数据,如此海量的数据,需要为其配备具备高性能计算力,并可实现弹性扩展的数据处理与训练平台。


同时,这些数据通常以几十KB大小的小文件形式存在。当地平线需要利用这些数据进行深度学习所需的数据处理与训练时,对存储系统的IOPS(Input/ Output Per Second,每秒输入输出操作)能力也有着非常严苛的要求。


为帮助地平线构建高效的深度学习平台,金山云为之提供了基于高性能云物理主机(Elastic Physical Compute,以下简称 EPC)集群的模型训练计算平台。同时,金山云也联手英特尔,借助英特尔领先产品和技术提供的强大计算、存储和网络性能,为这一深度学习平台构建了基于Ceph的高性能分布式存储系统。


云“优化师”:金山云EPC创新型云服务带来卓越性能


传统的云服务无法帮助地平线应对深度学习系统日益增长的计算力和存储能力需求,金山云提供的EPC显然更适于地平线的要求。EPC是金山云基于裸金属服务器理念构建的创新型云服务产品,其可为地平线提供性能卓越的独享物理服务器,通过安全、稳定、便捷的计算、存储服务帮助地平线深度学习应用提供强有力的计算力支撑。


除此之外,为应对不断扩展的海量训练数据集,地平线利用金山云EPC提供的弹性、易扩展能力,构建了基于Ceph的高性能分布式存储系统,为自己建立了高效、可扩展的存储系统。


存储“魔法师”:英特尔助力实现IOPS的突破性提升


在金山云 EPC存储集群采用的分级存储方案中,非活动数据(冷数据)被存放在由12块8TB容量HDD硬盘组成的存储池中,而活动数据(热数据)则被置放在由375GB版本的英特尔® 傲腾™ 固态盘DC P4800X构成的缓存区中。


英特尔® 傲腾™ 固态盘 +HDD 构建的分级存储模式


来自英特尔® 固态盘数据中心产品家族的英特尔® 傲腾™ 固态盘DC P4800X 是基于创新的英特尔® 3D XPoint™ 技术,以及一系列先进系统内存控制器、接口软硬件构建的全新存储产品,其在 IOPS、低延迟以及稳定性方面都有着突破性的提升。


英特尔® 傲腾™ 固态盘在耐用性上也有出色表现,英特尔® 傲腾™ 固态盘 DC P4800X 的每天写入次数(Drive Writes Per Day,DWPD)高达30,有力地保障了地平线深度学习系统的有效生命周期。


通过金山云EPC及英特尔® 傲腾™ 固态盘等先进产品与技术的引入,地平线深度学习应用的总体效率获得了大幅提升,有力地推动了地平线基于深度学习的芯片与算法的研发进程。


在未来,地平线、金山云和英特尔三方还将继续开展更深层次的技术合作,将更多先进产品与技术纳入到深度学习研发中去。


并发、时延、成本等各方面,都对云平台的基础设施提出了更高的要求。点击阅读原文,登上至强特快专列,了解成功的云服务提供商如何高效打造差异化的云服务。


关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接