年度智能音箱“智商大比拼”,回答800个问题哪家最笨?

百家 作者:DeepTech深科技 2018-12-28 12:10:50

点击上图小程序,参与全球新兴科技峰会


为了更好地了解 AI 和语音助手的性能革新进程,风险投资公司 Loup Ventures 会定期对市场上一些主流产品做测试。


不久前,测试团队向四个智能音箱——亚马逊的 Echo、苹果的 HomePod、谷歌的 Google Home 和微软的 Invoke ——问了相同的800个问题,结果搭载 Google Assistant 的 Google Home 以88%的回答正确率力压HomePod(75%)、Echo(73%)和 Invoke(63%)夺魁。


这800个问题被划为五个大类:


周边(Local),如“最近的咖啡店在哪?”

商业(Commerce),如“能给我订些卫生纸吗?”

导航(Navigation),如“我坐巴士怎么去上城?”

信息(Information),如“ Charlie Puth 今天几点表演?”

指令(Command),如“提醒我在 2 点打电话给黄珊。”


每个智能助手的得分有两个评判指标——它是否听懂了问题,和它的回答是否正确。其中正确与否其实不仅取决于信息的真实性,很大程度也要看它给出的答案是否真正有用。测试的结果如下表:


图 | 四个智能音箱的应答表现,以搭载的语音助手展示(来源:Loup Ventures)


可以看出,各个语音助手都基本能完全听懂用户提出的问题。在个别问题上产生“误解”的原因则是涉及了一些专有名词,如某个地区特有的地名。

研究报告也将各智能音箱的表现按照问题种类做了分解:


图 | 按问题种类划分的各选手表现(来源:Loup Ventures)


可见,Google Home 在除“指令”外的其他四个类别中,回答正确率都高于 HomePod。对于 HomePod 在处理指令时的优势,研究团队分析是因为HomePod 在收到指令后,将指令转给了与其配对的 iOS 设备,而 Siri 在这些iOS 设备上有很强的处理邮件、日历、短信和音乐类指令的能力。Siri 在这方面的整合深度要优于其他竞争者


此外,四名选手在商业(Commerce)类问题上的表现差异最大。大家可能会认为,亚马逊的 Alexa 在这方面肯定有专长,但测试结果表明,Google Assistant 在答对了更多的有关产品信息的问题之外,还在实际购买和自动补仓商品功能上达到了和 Alexa 同等的水平


这其实显示,智能音箱在商业交易上的实用性与单个平台的用户数关联不大其表现主要依托于对商品的调查详尽度以及对周边商户信息的掌握程度


一个小例子能反映 Google Assistant 和 Alexa 在回答商业类问题上的不同:

问:“做一次美甲要多少钱?”


Alexa答:“Amazon 上的这套电动美甲套装卖 59 刀,要我帮你下单吗?”


Google Assistant 答:“一次普通的美甲一般要 20 刀,但特殊种类,比如亚克力、凝胶、虫漆或 no-chip,要 20 到 50 刀不等,也要看去哪家 salon。”


Google Home 不仅在处理商业类问题上比Echo更显实用性,还和HomePod在处理导航类问题的能力上并驾齐驱。这是因为谷歌和苹果都有专有的地图数据库,而这些完备的系统也让它们不仅能给用户直接提供精确的导航指引,也能在处理其他任务时,适时地附加导航信息,从而使服务更到位。


值得一提的是,Siri 在 HomePod 展现出的能力与在 iPhone 上还是有很大差别的。比如有时候 Siri 会直接说:“我无法在 HomePod 上回答你这个问题。”这也与苹果对 HomePod 的定位有关——苹果现在是很公然地不把 HomePod 作为一个“智能音箱”,而是作为“家用音箱”来宣传。不过我们也不能排除随着未来 HomePod 的开发越来越完善,苹果将其重新定位的可能。


研究报告也显示,智能音箱和语音助手的能力正在飞速提升。与去年的测评结果相比,Google Home、Echo、HomePod 和 Invoke 在应答正确率上分别提升了7%、9%、22%及7%。


各智能音箱今年和去年的测评结果对比(来源:Loup Ventures)


除此之外,各家产品有几个值得特别提及的亮点。首先,Alexa 新配了 Alexa Answers 功能,以通过众包的形式为一些Alexa暂时不能回答的问题收集解答。同时,Google Assistant 和 Alexa 也逐渐能处理为用户大幅提升效率的任务,比如联系一家航空公司的客服来确认航班动态。此外,四个智能音箱现在都能做到读睡前故事。


如今,智能音箱的作用已远不止放音乐或查天气。Loup Ventures 也在评测报告中表示,当市场上这些产品在应答准确和实用率上达到了一定水准,接下来就要往智能互联发展,比如通过音箱来控制电视或其他智能家居。总的来说,未来你能用声音实现的事情定会越来越多。


-End-


编辑:阿敏 

参考:https://loupventures.com/annual-smart-speaker-iq-test/


在科技发展越来越超乎普通人想象的年代,我们迫切地需要一场巅峰对话来总结过去,指引未来。2019 年 1 月 19 - 21 日,EmTech China 全球新兴科技峰会,超过 30 位全球科技“掌舵人”将亲临北京,为你展开前沿技术的壮丽蓝图,为你解读技术背后的未来价值!

点击上图小程序,参与全球新兴科技峰会



关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接