酷应用

UCloud获可信云大会唯一人工智能云奖项 UAI-Service助AI技术迅速产品化

百家作者：Ucloud 2017-07-27 10:05:32

在刚刚结束的“2017可信云大会”上，UCloud荣膺两项大奖，其中一项“人工智能云”奖项备受各界关注，本文将为大家揭开获奖的UAI-Service平台的技术面纱。

▌应需而为 UAI-Service平台问世

随着人工智能产业的兴起和人工智能落地实践的丰富，云计算如何为人工智能产业服务成为公有云服务的一个新方向。

近期，国务院布的《新一代人工智能发展规划》也预示着人工智能产业已经国家发展战略的重要组成部分。

人工智能和云服务之间的关系，可以说成是上和下的关系。云服务本身是一种基础架构、是载体，它可以很好的支持人工智能，满足人工智能对计算能力和数据资源的要求。同时，当人工智能技术应用到各行各业的时候，它又反过来催生对基础架构计算能力的大量需求，并形成几何级数的增长，帮助云计算更好地发展，人工智能无疑将云计算行业带向了下一个风口。UCloud推出面向人工智能场景的云平台—UAI-Service平台，也再一次体现了其“应需而为”的发展理念。

▌UAI-Service平台技术揭秘

UAI-Service平台基于UCloud海量的计算资源与强大的IaaS平台开发，致力于提供低成本、高可靠、高弹性、高易用性的AI在线服务平台, 解决将人工智能算法转化为在线服务（如ToC服务、ToB服务）过程中业务部署、资源管理、资源调度等问题。将客户从繁杂的平台系统开发和运维工作中解放出来。帮助客户更快更简单的部署和迭代AI在线业务，同时降低在线业务的运营成本。

（图：UAI-Service平台产品业务形态）

在AI算法平台通用性方面，UAI-Service平台通过使用应用逻辑封装技术来兼容不同的AI框架（例如TensorFlow、Caffe、MXNet），为客户提供了开源的SDK方便客户进行代码封装。在运行环境兼容性方面，AI在线服务PaaS平台通过使用容器封装技术来保证AI算法的运行环境多样性，从而支持多种AI应用场景（包括图像识别、自然语言处理等等）。

UAI-Service平台使用大规模容器管理技术，通过划区域管理、统一调度等方法管理数以万计的容器集群进行计算服务，通过按需调度的方式为不同人工智能在线服务任务提供充足的计算资源。UAI-Service平台通过使用资源负载监控与调度技术，根据容器负载监控数据监控容器集群负载变化，实现容器集群的自动扩容与缩容，从而避免不必要的资源浪费。同时通过使用UCloud Load Balance（ULB）负载均衡模块保证在服务集群计算负载和容量发生变化时，业务服务质量不会产生变化，而且提供跨可用区容灾的能力。

▌数据隔离让客户全程无忧

在客户关心的数据隔离方面，作为国内最早使用SDN（软件定义网络）的云计算厂商，UAI-Service平台在开发伊始就把“应用隔离”作为云网络设计的第一原则，通过使用SDN技术对不同的AI在线服务应用进行了网络隔离。同时，通过Docker镜像隔离的方式，保证客户的业务镜像不会泄漏。

▌评估检验性能优势突显

我们借助使用TensorFlow实现的inception-v3物体分类案例进行了性能评估。我们对比了UCloud G1 GPU云主机（含K80一个GPU核2496cuda核心）、8核8G普通CPU云主机和UAI-Service平台的性能。GPU在低并发（并发请求数为1-2）的情况下具有一定的性能优势，但是当请求并发数达到8时，UAI-Service平台的整体性能已经与GPU云主机旗鼓相当了。此外，UAI-Service平台的请求延时的分布并没有随着请求并发数的变化而产生较大的差异，反观GPU云主机和CPU云主机，请求的延时随着并发数的增加而呈线性甚至超线性的增长。由此可见UAI-Service平台在并发请求的场景下具有很好的性能和横向扩展能力。