视频内容理解的技术与应用

1、视频大脑，视频内容理解的技术与应用视频大脑概述视频内容的理解与应用移动端视频特效互联网视频分析智能生活心口PART 1视频大脑概述视频时代的来临视频时代 的来临信息传播高效化智能设备的普及，使得人们以 更为高效的I式传递信息，视 频成为记录生T的主流模式。社会智能化人工智能和IoT促进了社会的发 展和变革，人们的生T正朝着 智能化和自动化的I向发展。人工智能发展大数据的兴起为人工智能的发展奠 定了基础。人工智能与视频紧密结 合，贯穿了视频生命周期的各个阶 段。1亿90%1.5亿5.2亿互联网流量70%3上来自视 频，P来这个数据将超过%0%2017年移动网络的视频用 I规模高达5.2521，占

2、 总用I量的72.%亿2017年.国智能可穿戴设备的 市场规模达926021民币， 预计92022年，智能设备的市 场总0值将突破60026360视频7A数据达912安防监控每日1脸比对API调用数量1.52360智能摄5机8货量突破800 万800万360视 频 规 模行 业 市 场 规 模视频行业的市场规模视频 大脑文 本声 音视 觉视频大脑的主要场景边 缘 计 算端计算云 平 台移动特效人脸识别人体属性分析 绿幕特效 智能感知家庭安防 智能出行 视频内容理解智能选品视频内容指纹 智能审核 视频大脑的技术图谱智能选品视频指纹智能标签图像打分主体检测视觉内容语音语义行为分析短视频 家庭安防智

3、能出行深度模型NIN、DPN、MFN入侵检测环境感知智能预警 物体检测前景识别云端边部署平台Std-CNN、模型加速云训练平台HBox、Online Learning根据场景需求 整合技 术能力 推出各行各业 的产品解决方案 带动 行业的智能变革。HTTP服务（任务接收、查询结果）解码接 口视频云子模块（Qbus-下载-处理-Qbus ）短视频分析调度器（串行流式)推送结果用户任务接收HTTP服务配置中心日志收集监控报警短视频审核基础服务智 能 封 面鉴暴广黄恐告标 签人 物 识别特去质征重量任务跟踪缓存指标报表用户平台视频大脑的平台设计S3存储计算资bQ需弹性调度、-务异步流H理、全量增量优

4、先级可S、用户级3资b隔离PART 2视频内容的理解与 应用视频信息流的主要场景人脸分析视频防抖实时特效视频特效的技术展示人脸检测定位精度：ResNet to DenseNet精度：ResNet + DenseNetExplore New FeaturesFeature Refinement (Reuse Features)Dual-Path NetworkModel SizeResNeXt-101 (64x4d)DPN-98236 MB320 MB20.4 / 5.320.2 / 5.2- 26%15.5GFLOPs11.7- 25%12.1 GBGPU Memory11.1 GB- 8%R

5、esNeXt-101 (64x4d)DPN-98Single model, Single center-crop, Top-5 val error rate on x2994.25%4.16%DPN-98 is Fast!Training = 86 img/sec (per node, 4 x K80 cards)Top 1 / Top 5 Error on x224 PN速度评估Very Deep PolyNet PN性-评估error rate经典应用：分类/回归经典应用：分类/回归TCDCN：Tasks-Constrained Deep Convolutional Network视频分析

6、的主要内容智能封面人脸检测、主体识 别、精选清晰画面、 智能裁切分R标签基于对视频语音及图 像的综合分析，对视 频内容理解后形成分 类标签。视频OCR针对视频场C识别语 音内容。识别视频画 面中字幕、标题、弹 幕等关键内容。视频指纹特征视频去重、以影搜 影、相似视频、原创 保护智能封面关键帧抽取智能截图，抽取关键帧 获取视频关键信息精选封面人脸及物体检测、图片质 量分析，精选清晰画面智能裁切主体识别、裁切为指 定尺寸123文本检测与识别速度：Multi-path v s Multi-fiberBlo1k-lBlo1k-2(a Conv2ntional Multi-,ath D2sign( Al

7、exNet,googleNet. ResNeXt, DPN, etc ,athl,ath2,ath3,athl,ath2,ath3Chann2lsBlo1k-lBlo1k-2(b Multi-3ib2r Design ,ath2,ath3,ath2,ath3C-m.lexi1y /educed 1- 1/3,athl,athlMulti-fiberNetworks (lmageNet-1K) Multi-fiberNetworks(on video) Multi-fiberNetworks (Kinetics video cls) 智能生活智能移动机器人智能摄像头高级埔助驾驶系统ADAS360后视镜+ADASADAS - 检测模型基础模型特征编码候选区域-位优化候选框修正物体分类输入图片定位优化Con6olut+on+ Pool+ngC x W x H feature map x k boxes w+th conf+denceFully ConnectedC x w x h feature map迭代优化NMSv.s. ox VotingNMS ox Voting检测模型 在线学习在线负样本挖掘Focal oss检测模型 设计与细节数据分析物体尺寸类别分布图片尺寸设定检测时间物体尺寸分布描点设定描点