AI与大数据在云安全防御的探索实践

百家 作者:Ucloud 2017-11-03 08:32:12

随着云服务的普及,云安全面临的挑战相较于传统IT时代更加复杂。由于越来越多的企业将数据放到云服务器上,其巨大的资产价值吸引大批黑客攻击与窥窃,针对云安全的“攻与防”可以说一刻也未停止过。今年5月,一场名为WannaCry的敲诈病毒在全球范围内蔓延,让云安全防御的紧迫性和重要性提到了台前。


云厂商们试图通过人为监测、规则式验证等方法来防止恶意Bot、抵御CC攻击,但似乎收效甚微。2017年,人工智能与大数据的落地应用,为云端的安全困境重新找到了突破口,深度学习、数据分析成为新的防御“核”武器。


那么,开发者该如何利用这些智能技术进行安全监控与防御部署?在刚刚过去的UCloud技术沙龙上,来自UCloud、摩拜、新思科技的技术专家提出了多种不同解决方案,分享基于AI与大数据的云安全探索实践。


苗东华:大数据入侵检测规则引擎的研发建设


UCloud安全中心高级研发工程师苗东华从“大数据在实时入侵检测的应用实践;如何实现大数据安全规则引擎以节省安全运营的学习和使用成本;高可用的大数据处理架构的构建”三个维度,分享了大数据在安全检测方面的应用。


 

一般而言,入侵与风险需要检测的项目有很多种,包括木马检测、异常登录/暴力破解、软件安全基线、Web安全基线、反连shell等。因此,企业每天产生的安全数据种类也异常繁多,据不完全统计,一家企业每天产生的安全数据需以千亿计。入侵检测的历史追溯时间越长越好,与之相对应的却是入侵和风险监测告警响应时间越短越好,这些都是入侵检测面临的巨大挑战。


UCloud安全中心采用大数据技术构建了一套成熟稳定的入侵与风险检测系统。如下图所示,通过入侵及风险分析规则引擎、离线查询分析与历史操作回溯等,智能化地完成监测系统的调度、监控与告警系列工作,省去大量人工监测与审核时间



同时,在入侵检测的手段上,UCloud引入了规则引擎,运营以SQL及黑白名单的形式编写规则发送给MongoDB,Engines从DB拉规则或者写入告警,研发人员再以HTTP格式提交变更给到client。


这样一套完整的规则引擎架构,能够避免检测数据繁杂、入侵和风险检测规则变更频繁、动态增删黑白名单等带来的检测效率低下问题,更高效地完成海量数据检测与监控。


韩葆:基于云的安全测试


云安全测试作为一种相对较新的服务模型,允许IT安全测试服务提供商在云中执行按需应用程序安全测试。因此,基于云的应用程序安全测试的目标是使这些服务提供者能够以安全的方式利用云技术和解决方案。


新思科技软件质量与安全产品线业务负责人韩葆现场分享了一些基于云的解决方案的趋势、挑战,以及云服务供应商的可靠性与安全性保障技术。



韩葆表示,目前云安全面临的最大威胁还是来自于云端数据泄露或丢失,整个行业缺少有效的云安全标准机制。因此,各厂商需结合自身情况构建一套自有的安全评估与安全测试模型。针对常见的安全问题,韩葆给出了以下三大解决方案:


解决方案一:威胁建模。在云平台研发过程中引入的问题,罗列出前Top-N问题列表,比如攻击漏洞或者相关场景等,并且分析有可能带来问题的云组件,构建云端威胁模型,然后评估安全风险;


解决方案二:你自己的应用。绝大多数问题仍旧来自用户自己的应用,包括ASP、JSP、JavaScript、云服务、游戏等。因此,如何基于自身业务逻辑,做一套完整的应用防护至关重要。针对这一点,数据分析是非常有效的防护手段。


解决方案三:云上安全测试。云上安全测试的种类非常多,有静态分析、黑盒测试、模糊测试、成分分析以及快速、大规模化的测试等。这类测试适用于大规模、高并发,需要控制成本且要求时间的非特高可靠性与安全性需求的应用场景。


刘少东:AI和大数据在云安全中的应用


WAF是Web应用防火墙(Web Application Firewall)的简称,对来自Web应用程序客户端的各类请求进行内容检测和验证,确保其安全性与合法性,对非法的请求予以实时阻断,为Web应用提供防护,也称作应用防火墙,是网络安全纵深防御体系里重要的一环。UCloud安全中心高级研发工程师刘少东就如何应用机器学习技术改进WAF质量,以及Web Bot检测与识别进行了详细阐述。

 

刘少东表示,基于规则体系构建的WAF,一定会存在误报和漏报问题,因此如何评判规则WAF的质量,发现其误报和漏报数据是开发者需要解决的一项重大工程。UCloud重新构建一套学习模型的检测引擎,通过HMM算法来检测异常载荷改进WAF质量。



正常的Bot包含搜索引擎的爬虫、自动化完成的业务逻辑、监控机器人等,主要用来维持网站的正常运转与指标监控。由僵尸网络发起的DDoS以及CC攻击、接口烂刷、垃圾邮件机器人、恶意爬虫等恶意行为都属于异常Bot。针对异常Bot,通常的防御策略采取IP限速、钓鱼的方法发现恶意bot、验证码、设备指纹识别等技术,但采用这些技术仍然存在高误报率、操作复杂、影响体验等问题。



UCloud采用会话追踪与行为分析技术、人机识别——创新的信息熵检测技术,能准确的在请求时间维度上检测出Bot,即使Bot使用随机时间来请求,同样能被检测出。对于识别出的异常访问,同时结合安全防御知识,对恶意Bot进行分类识别,例如是否是CC攻击、Web扫描、恶意爬虫等,这样即可有效提升恶意Bot的检测与识别率。


李学庆:浅谈共享领域安全思考


共享模式的兴起,给予了用户在多种环境下的便利但也带来了新领域的安全挑战。摩拜单车安全负责人李学庆着重介绍了在共享模式下的安全风险、安全方案以及安全价值模型的构建过程。


李学庆曾就职于京东商城,为原京东安全方向第一人 ,“618”、“双11”安全保障总舵手,组织和主导京东所有重大漏洞响应事件,间接避免经济损失高达4.3亿元,在安全领域防御上有丰富的经验。



首先,李学庆讲解了安全领域的一整套架构体系,并且针对每项安全风险给出了较为全面的防御建议。一套完整的安全体系包括系统安全、数据安全、办公网安全、网络安全、基础安全、移动安全、业务安全、风险管理、IOT、安全运营等。在系统安全防御上,用户需要对信通进行初始配置、主体监控、补丁管理以及版本风险管理等。而在数据安全领域,用户数据保护、轨迹数据保护、数据链轨迹、密钥保护、数据溯源等防御措施至关重要。每项安全风险需要考虑的防御事项都不尽相同,但却相辅相成。

 

随后,李学庆从人力资产与固定资产两方面详细讲解了安全风险的构建模型。以下为一个完整的人力资产安全风险模型,以及人员变动的每个阶段所需考虑的风险问题。



一个新人的安全教育生命周期可分为入职、实习、转正、异动、离职几个阶段,在这个过程中,企业需要充分考虑因权限控制、上传网盘类、代码编写习惯等因素导致的资产流失。



下期精彩预告


本次活动为UCloud和InfoQ联合举办的“UCan下午茶”技术沙龙系列第三期,后续UCloud还将在深圳、上海等城市进行全国范围内的线下交流活动,为行业提供一个技术干货的交流与分享平台。11月18日,UCan下午茶定位首都北京,通过“深度学习与计算机视觉”、“AI在流媒体领域的应用”等主题内容分享,揭秘深度学习在流媒体领域的应用之道。




—  END —


点击下方“阅读原文”,立马报名“UCan下午茶”北京站活动!

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接