CSAIL:可以自学习的AI2,可预测85%的网络攻击!

业界 作者:尖刀制造 2016-04-21 06:35:13
现今的安全系统通常分为两个类别:基于人的一类和基于设备的一类。而所谓“分析师驱动的解决方案”(“analyst-driven solutions” ),是依靠真人专家的实际经验所建立的规则,且不符合规则的任何攻击不被纳入改解决方案内。同时,现今机器学习的方式基本依赖于“异常检测”,而这往往会引发误报,造成对系统的不信任并最终不得不由人进行调查。 但是,有没有可能这两个类型的解决方案合并?那么合并之后将会是什么样呢? 根据来自麻省理工学院计算机科学与人工智能实验室(CSAIL)和启动机器学习项目的PatternEx公司研究人员的最新报告,名为AI2的人工智能平台相对于现有系统,可从人类专家处不断整合信息,对网络攻击进行更好的预测。 (这个名字取自人工智能之意,同时也代表着被研究人员所称之为的“分析师直觉”) 根据来自麻省理工学院计算机科学与人工智能实验室(CSAIL)和启动机器学习项目的PatternEx公司研究人员的最新报告,名为AI2的人工智能平台通过从人类专家处不断整合信息,可预测85%的网络攻击。 [embed]http://info.ijiandao.com/mit.mp4[/embed] 研究小组指出,AI2是基于对百万用户超过三个月近36亿 的“日志行”数据进行测试获得的方案。该系统可以检测85%的攻击。这相当于是之前基准的三倍,同时降低了近5倍的主动性误报率。 为了预测数据攻击,AI2通过数据梳理并使用非人工监控的实义数据集群来发现可疑活动。然后将此类活动表达为类人分析,以确认哪些事件是实际上的攻击,并集成反馈到其模型,为下一组数据服务。 作为PatternEx的首席数据师及前CSAIL博士后,与Ignacio Arnaldo 共同开发AI2的CSAIL 科研学者Kalyan Veeramachaneni 如是说:“你可以想象该系统作为一个虚拟分析师,它不断产生新的模式,可以在短短的几个小时内不断细化。这意味着它可以显著并迅速提高其检测率。” 上星期在纽约IEEE大数据安全国际会议上,Veeramachaneni发表了一篇有关该系统的论文。 他认为基于类人及计算机共同建立的网络安全系统很棘手。部分原因是因为基于手动标注的网络安全数据算法,非常具有挑战性。 例如,假设你要开发一个基于计算机视角,可高精度进行对象识别的算法。对于标签数据就很简单:只要争取几个志愿者的的标注物作为 “对象”或“非对象”,并将数据输入算法即可。 Veeramachaneni说:“但在一个攸关网络安全的系统上,多数人並不具备对众包网站进行标注的能力,诸如DDOS或渗出攻击(exfiltration attacks)的能力,你必须依赖安全专家,即便是Amazon Mechanical Turk。” 这就引出了另一个问题:专家都很忙,他们不可能整天审查已标记为可疑数据的事件。公司已经知道需要放弃这些工作量巨大的的平台工作,所以,一个有效率的设备自我学习系统必须有能力在不消耗人力资源的情况下不断自我完善。 AI2的秘密武器就是它融合三个不同的非监督学习方法在一起,然后将最优先级的事件给出,让分析师为他们做标记。接着,系统构建一个监督模型。通过称之为“不断主动学习”的系统,它可以不断地细化。 具体而言,AI2最初采集200个异常事件,并交由专家分析。随着时间的推移,越来越多的事件被它标识作为实际攻击。这意味着,在几天之内,分析员也许每天仅看30或40个事件就够了。 圣母大学计算机科学Frank M. Freimann教授Nitesh Chawla表示说:“这篇论文汇集了分析师的直觉和机器学习的优势,并最终压低误报和漏报率,这项研究有可能成为抵御诸如欺诈,服务滥用和帐户侵权等攻击的手段。这也是面向用户系统的主要挑战。” 该小组说,AI2每天所扫描的日志可拓展至数十亿行,转换数据基于其特性以分钟计算,或以离散形式判断为“正常”或“异常”。 Veeramachaneni还表示:“系统检测越多攻击,越多的分析师反馈就会被其接收,这反过来又提高了未来预测的准确度,人机交互创造了一个完美的闭环效应”。

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接