走出av引擎密集作业

走出AV引擎密集作业-小分队如何研发云端移动

信誉系统人：职务：

VisualThreat

创始人日期：China

Internet

Security

Conference

20142014中国互联网安全大会系统设计一旦定型，将一个人应该这样设计安全系统：系统不因团队刚刚组建而缺失关键模块；也不因团队兵强马壮让系统头重脚轻——这样，泛滥时，他才可以说：系统是可以抵抗完整的

增长周期。10年AV设计经验，过去一年创业历程关于我麦咖啡，趋势科技，赛门铁克的同事们！PC

杀毒引擎，脱壳，数据恢复，云模式杀毒，

自动化，下一代

流模式杀毒引擎，移动安全，和汽车安全处理自动化的粉丝创立VisualThreat,过去一年创业掌握的技能美工，

设计，UI，写白皮书，市场，联系 ,

撰写PPT…内容开发移动应用信誉系统需要多少人？团队大多数人没有安全背景，毕业才1-2年，怎么办？模块复杂：杀毒+

关联+

自动化+

定制

+

通用性 。。。跨平台.通用.轻量级.特征库设计争取最优特征值分布比例前台引擎和

分析系统不能脱节关联引擎设计多层

关联可视化系统使用场景多引擎，移动应用安全分析，应用”测谎仪”,BYOD策略分发部署，移动应用过滤，甚至跨行业，如车联网移动应用信誉系统信誉系统是什么？不仅仅是杀毒： +

白应用安全性细粒度拆解分析：

，隐私，安全隐患，安全分数，应用测谎，应用商店类别的公共行为，和安全策略挂钩地应用过滤，

动态部署在哪里使用？使用方式？，云端，网络设备，甚至集成到其他厂家引擎产品中单个上传，批量上传，RESTFUL

API,多样的查询界面高度自动化 处理流程安卓，iOS：静态，动态分析，特征提取前台跨平台通用轻量级

特征库静态，动态，静态关联，动态关联信誉系统用途需要多少人研发？安全背景1人，大数据背景1人，开发者若干人，无安全背景为什么要做这个系统？2014安全产品热点新的安全需求模式：非

应用在特定环境中是否满足定制化的安全要求？Gartner：75%移动应用不满足企业安全要求最大的3家安全公司都没有一个通用的引擎有些号称动态实时扫描的厂

1天还没有扫描完2000个恶意PC样本，检测率25-40%打造全新杀毒引擎组件：高速轻量级轻量级引擎目标跨平台通用架构：

，云端，和网络设备支持全文扫描和流模式扫描低特征更新率（使用场景限制）去掉所有非硬件化环节举例：特征库极小，覆盖大多数抵抗变异，重打包等扫描速度优于其他厂商引擎检测出它们检测不到的新变种不依靠

total等数据源轻量级特征库举例–

精确PE壳检测器，900+特征，覆盖150种壳，优于其他壳检测工具PEiD，FileInfo,ClamAV,或者基于熵查壳的方法PE

轻量级反

引擎：替换15%

传统引擎

特征（节约30M内存），误报率

1/10万，检测出很多其他杀毒厂商检测不到的病毒变种下一代

流模式反

引擎：模拟

30万条特征，吞吐率15+Gbps，高出既定目标以上系统缺点：算法慢，人工参与多；采用新方法设计移动引擎多种特征库组合拳最优静态特征分布静态特征：Hash特征：

临时特征

+

顽固型特征，高速

检测，硬件加速，可转为流模式特征静态反编译特征：

杀毒引擎，时间开销，处理复杂无法硬件化静态特征提取APK分析积累白

噪音库（工作量较大）去噪音，有效payload提取，40-60%提取特征值集（MapReduce）特征格式取决于匹配引擎，例如:n-gram,二进制，16进制，字符串，API序列，分类feature等筛选特征，去掉误报，更新噪音库误报特征查询入库（特征+和样本有关的信誉meta

data）多种方法查询应用信誉开发团队：高度自动化+人工参与环节80070060050040030020010004,28,416,8two

nodes40000150000300000节省开发费用：MapReduce跑smart

data服务器数目动态分配提取

公共特征可灵活调节特征提取参数1-5

nodes:

slo特征库性能特征

其他厂商小几十倍不计算APK解压时间，单机1秒钟平均扫描800个样本特征更新测试：对

检测率影响不大例如：2个月没有更新特征库，扫描最近收到近4万个未知新样本，检测率近50%，与其他厂商相差不大•10.7%为基础，能够发现其他厂商不能发现的新

变种其他厂商没有检测到目前和其他厂商的检测率差别体现静态反编译特征和Hash特征缺少足够

进行逆向转换流模式特征流模式特点不支持杀毒引擎依赖的复杂的静态和动态分析环境简单和高速特征匹配，硬件加速，自

匹配自

匹配后，有逻辑模块，判断匹配到的特征和编号，决定扫描输出结果特征偏移，根据扫描时间或者吞吐率的要求定制特征库特征值长度和跨协议包的问题沙盒技术沙盒技术当做救命稻草技术门槛不高，也并不先进PC沙盒虚拟机：成功运行10-20%；安卓沙盒：UI遍历问题功能越强大，被检测到的概率越高必须要有，但也不能物尽其用的技术支持的沙盒部署方式系统，不时更新（安卓）虚拟机，无需更新（安卓）真机测试（效率问题）

（安卓/iOS）实时性要求不高的情况下：沙盒动态检测,

动态

特征关联引擎：动态关联+静态关联动态

检测：未知

变种

40%（沙盒模拟限制）其他厂商检测不到样本：20%对付壳的问题严格说是死胡同，并且浪费大量人力壳判断

+

沙盒脱壳

+ 特征

= 检测加壳

(大量逆向工作)动态特征-有效的补充iOS处理流程系统状态实时安卓应用风险报告iOS应用风险报告iOS应用风险行为和Appthority公司结果对比iOS应用风险分布Appthority:

95%

top200

free

iOSappshad

atleast

1

risky

behavior.最流行2万个安卓应用1亿-10万

量应用商店37个大类应用商店分类统计应用“测谎”应用所在的100个细分类和特征应用页面的meta

data,开发者信誉，描述，分类，permission等信息RESTful

API

/api.action关联可视化引擎设计–为主线的

关联库节省开发

度，

公共信息（高速扫描点，静态点，行为点，网络特征点）Malware

FamilyFace可视化移动互联网

程序

图谱可视化关联源点，，关联样本，关联特征点击任意或样本节点进行实时重构新一轮关联或者复原深度关联:静态，动态，同种，跨发现

新变种和分析处理关联特征数据层次关联高速扫描静态行为网络特征样本hash事件

流量多样数据进行

关联分析关联特征去误报特征按照区间统计去掉误报后，各个仍然有足够多的特征进行关联举例：API关联特征关联特征黑白

比较匹配率：9061/10000匹配率：2xx/40000大数据的局限性前台:

No实时性要求高:

样本检测，应用安全报告生成，

关联MapReduce不适合:YesMapReduce,

EC2

servers大量样本，百万级的特征集合运算2个选择:线性增加EC2服务器,昂贵笨数据→智慧数据，少量服务器发现

新变种相似代码移动应用信誉查询平台移动应用meta

data查询应用信誉→开发者信誉加快关联的速度

--

避免数据库记录太多导致运算性能的下降提升关联的相似度–关联图里实时显示最相似的样本更好的统计功能

--

快速获得使用最频繁的关联特征移动应用过滤进行详细的安全级别分类和表述，制定应用程序

行为阻断策略，对公司安全情况一目了然总