全新智能摄像机解决方案_v1 2_W

1、 全新智能摄像机解决方案上海微锐智能科技有限公司 上海微锐智能科技有限公司Shanghai Microsharp Intelligent Technology Co.,LTD公司简介上海微锐智能科技有限公司是一家专注于图像视频处理的高新企业，作为核 心产品的专业摄像机解决方案，在平安城市、智能交通、机器视觉等多个重要领域已有广泛应用。 上海微锐智能科技有限公司技术实力雄厚，其前身为中国科学院上海高等研 究院图像视频处理组，在图像视频处理（ISP）以及智能视频（IVT）领域不但拥有多项全国领先的核心技术，并且已将这些技术与实际应用完美结合，为客户提供超

2、高性价比的解决方案。 营业执照 软件产品登记 软件著作权登记证书 新一代智能交通解决方案 智能交通当前背景智能交通摄像机经过多年快速发展，在城市交通已有大量应用，为城市治安与交通管理提供了有力保障。 但对用户而言，现在的智能交通系统仍有许多的不足，主要问题有六点： 1.车牌识别率不能进一步突破，始终保持在90%95%之间，没有一家公司的产品达到99%这样的具有标志性 意义的识别率（识别率 = 正确识别出的车牌/实际有效车牌）； 2.功能有限，一台设备只能实现一到两个单一的智能视频功能； 3.施工复杂，摄像机、安装杆、灯、地感线圈等都需要精确布局，相机的软件也需要很多设置； 4.系统成本高，摄像

3、机、灯、安装杆、雷达等，每一样都价格不菲； 5.维护成本非常高，对智能交通系统公司而言，维护成本占了总支出的50%以上； 6.稳定性差，因系统太复杂，只要有一个设备出了问题，或者某两个设备配合出了问题，整个系统就不能 正常工作。 7.有光污染。大功率的灯影响驾驶员的驾驶。 当前智能交通主流解决方案 这些问题制约了行业发展，都需要迫切解决。微锐智能经过长期研发突破了诸多技术难点，提出了全新 的智能交通解决方案，完美解决了以上问题。 全新的智能交通摄像机解决方案针对现有智能交通系统的不足，微锐智能开发出了全新的智能交通摄像机解决方案，使用该方案的系统 不但大大简化了传统方案的复杂度，而且较之功能更

4、多，性能更好。 采用微锐智能摄像机的智能交通系统解决方案 之所以能有如此有优越的表现，在于该摄像机采用了全新的架构与技术，该摄像机的功能流程如下图所 示： 交通卡口智能摄像机解决方案电子摄像机解决方案 基于以上流程，可实现如下所述 21 项功能： 逐帧实时车牌检测。即摄像机拍摄的每一帧图像，都做车牌检测； 基于车牌检测结果自动曝光，即当车牌过亮时，会让车牌暗下来，车牌偏暗时，会让车牌亮些，这样彻底解决顺光逆光的问题； 针对车牌区域优化清晰度、降噪等图像处理算法，使得车牌足够清晰、干净，便于识别； 逐帧实时车辆检测。每帧都做车辆检测； 基于车牌和车辆检测结果做跟踪，做跟踪算法的同时修订初始的车牌

5、、车辆检测结果； 在跟踪修订后的车牌检测结果以及优化了车牌图像的基础上，实现车牌识别，识别率轻松达到99%； 基于跟踪结果以及相机的架设参数（高度与角度）测定车速，误差小于 1%，与雷达相当； ..变道检测。首先通过在线学习找车道线，当相机架设好后，打开学习功能，该算自动记录几十辆或几百辆车的平均路线，作为车道轨迹，车道轨迹两边若干距离就是车道线，学校好后，就可基于车道检测结果与跟踪结果实现变道检测； 车流量统计。有了实时的车检测与车牌检测，很容易实现车流量统计； 逆行检测。检测出逆向行驶车辆； 无牌车检测。因该方案车牌检测与车辆检测都非常准确，因此当检测到一辆车但

6、没有检测到车牌， 可判断为无牌车； 逐帧实时车型识别，识别出是大车还是小汽车或者摩托车等； 逐帧实时车窗检测，根据车辆检测、车牌检测与车型识别的结果及专门算法，检测出车窗位置； 透膜算法。针对车窗区域专门的图像处理算法，确保不用爆闪灯的情况下，白天晚上都看清驾驶员； 逐帧红绿灯检测。实时检测出红绿灯的位置； 红绿灯信号还原。一般而言，没经过特殊图像处理，红绿灯的颜色不正，为取证带来麻烦，还原后的红绿灯，真实自然。 车颜色识别。基于车辆检测结果，以及图像处理模块提供的各种格式的颜色信息，还有自动白平衡前后的颜色信息做准确的车颜色识别； 车标检测。有了车辆、车牌等检测信息，很容易实现车标检测； 车

7、标识别。 基于敏感区域编码。如将检测到的车牌、车窗位置设为敏感区域，确保编码质量，其他非敏感区域可大幅压缩，优化通信带宽； 自诊断自修复。摄像机会自动检测温度、图像是否正常、通信是否正常等信息，然后根据检测结果， 自动启动某些保护措施或者报警。 1. 方案优势 相较于目前的卡口主流方案，该解决方案具有全方面压倒性的优势，具体体现如下： 1. 功能多 如前所述，该方案实现了更多的功能，不但囊括了现在卡口摄像机的所有需求，还增加了很多新的应用。 2. 性能好 如车牌识别，因车牌检测很准（做了跟踪后，万分之几的漏检率，千分之几的

8、误检率），车牌质量很好 （亮度适中，干净，清晰），识别率可轻松达到 99%，其他如车颜色识别等类似。 3. 成本低 首先该方案不需要大功率的灯，不需要地感线圈和雷达，甚至安装的横杆也不需要，只需安装在路侧的 立杆上，这样对系统而言，节省了大量设备成本。另外，摄像机的图像传感器也可以换成普通的 cmos sensor， 相机包括镜头的成本也会低不少。 4. 使用方便 系统简洁，设备少，并且相机内有丰富的自适应算法，相机的软件只需做简单标定即可使用。 5. 维护方便 一是系统简单，如没有大功率的灯，没有地感线圈，不用频繁检查、维修，二是有自诊断自修复功能，可减少维护次数与时间。 6. 可靠性高 同

9、样，因系统小，可靠性自然就高。 7. 无光污染 因用小功率的补光灯，比路灯的功率还低，不会引起驾驶员的不适。 一般而言，比较产品的好坏，也就从以上七个方面考虑，而该解决方案在这个七个方面都具有优势，可 以预见，该方案将很快替代现有方案，成为新一代智能交通摄像机解决方案。 智能监控摄像机解决方案监控摄像机已由第一代的模拟摄像机全面升级为高清数字摄像机，下一代必然是高清智能摄像机。所谓 高清智能摄像机，就是在高清数字摄像机的基础上，增加智能视频分析（IVT），并且将 IVT、ISP 与 Encoder 完美结合起来，达到完美画质，完美编码效果以及超高的检测率。 2014 年是高清智能摄像机元年，但

10、目前主流厂商推出的高清智能摄像机方案与用户预期差别太大，基 本上无法在实际的项目中应用，究其原因，一是摄像机的运算能力不够强，无法实现复杂智能算法，从而检 测率不高，经常造成的误报漏报；二是架构松散，没有把 IVT、ISP 及Encoder 完美结合起来，没有体 现出智能摄像机应有的“智能”。针对现有方案缺点，上海微锐智能科技有限公司提出了全新的智能监控摄像机解决方案，其架构如下图 所示： 智能监控摄像机解决方案该架构的核心是逐帧人脸检测算法与逐帧人体检测算法，同时根据检测结果优化人脸、人体画质，确保 这些敏感区域清晰、自然。在此基础上，实现人流量统计、跟踪与检测，另外根据跟踪结果以及每幅人

11、脸人体图像特质，抓取到效果最好的一张人脸、人体图像，并对其进行语义提取，将提取出的语义与人脸、人体图像一起发送给云计算中心，便于快速做人脸、人体识别与检索，真正实现公安实战平台。 目前全球还未有一个能实时识别户外人脸的系统，究其原因，主要有三点：一是人脸识别算法本身非常 复杂；二是数据量庞大，每个监控摄像机都有大量的视频数据需要处理，何况一个城市有上百万的摄像头；三是人脸图像画质差，模糊、角度不好等原因也将对识别造成显著影响。采用微锐智能监控摄像机的系统，将使对户外人脸实时识别变为可能，首先该相机拍摄的人脸图像质量将非常好，除了有优越的 ISP 算法的保 证外，更重要的原因是该相机会针对人脸区

12、域做专门的画质优化，使得人脸区域亮度适中且清晰自然，另外 该相机会实时跟踪人脸，因此可抓拍到角度最佳，遮挡最少的人脸图像供识别，同样也基于此，软 件不再需要对每帧图像做检测算法，只需根据摄像头提供的人脸图像做识别算法，这样大大减小了运算量，使实时识别成为可能。 微锐智能核心前沿技术相较于目前的智能摄像机方案，微锐智能的解决方案具有明显的优势，代表了智能摄像机的发展方向。但该方案的技术难度很大，要实现该方案，需要拥有三方面的核心技术：ISP、IVT 以及全新的软件架构。 具体而言，该方案的核心技术如下所述： ? ISPISP（图像信号处理）是摄像机的核心器件之一，摄像机的画质基本上由图像传感器和

13、 ISP 决定，而图 像传感器就几款可以选择，因此对摄像机厂商而言，提升摄像机画质的重点难点全在 ISP 上。ISP 包括许多 图像处理算法，如 CFA、格式转换、自动曝光、自动白平衡、自动聚焦、2d 降噪、3d 降噪，宽动态，ADA， 锐化等等。然而中低端监控摄像机的 ISP 基本上全由 TI、海思等单芯片实现，不但性能差、灵活性差，而 且无法针对具体应用做出特色，同质化严重。 微锐智能拥有全套的具有完全自主知识产权的 ISP，当配置同一款 sensor 时，微锐智能的 ISP 在画质 上相较于安霸、海思等通用解决方案，具有全面的领先优势。具体的核心算法有： ?基于多次曝光的宽动态融合技术

14、?自适应动态范围增强技术 应 用 前 应 用 后 ?基于边缘方向的二维降噪技术 ?基于运动方向估计的三维降噪技术 应 用 前 应 用 后 ?自适应透雾技术 应 用 前 应 用 后 ?自适应低照度增强技术 应用前 应用后 微锐智能的 ISP 已销售多年，在交通、治安、银行的监控，以及机器视觉，智能家居等重要行业都有了 广泛应用。 ? IVTIVT（智能视频）技术在交通领域已有广泛应用，在监控领域也方兴未艾。但现有 IVT 技术基本上是基 于触发模式，即通过外部设备（地感线圈、红外信号、雷达信号等）或视频触发，然后对单幅图像做智能分 析，严格意义上讲，当前的 ITV 技术不是智能视频，只是智能图像

15、。微锐智能的 IVT 技术是真正意义上的智 能视频，所有的算法都能实现逐帧实时的计算，从而给具体应用带来前所未有的变革。具体而言，有如下核 心技术： ?逐帧实时的车牌检测技术 ?逐帧实时的车辆检测技术 车牌与车辆检测示意图 ?逐帧实时的人脸检测技术 ?逐帧实时的人体检测技术 人脸与人体检测示意图 ?基于检测结果的实时跟踪技术 实时跟踪示意图 ? 语义提取技术 ? 整体解决方案除了 ISP 和 IVT 的核心技术之外，基于这些核心技术的整体解决方案也有许多核心技术，具体如下： ?基于检测结果的智能曝光技术 应用前：车牌区域无法识别 应用后：车牌区域清晰可见 ?基于检测结果的自适应画质优化技术 ?

16、基于检测结果的敏感区域自适应编码技术 产品架构微锐智能的摄像机硬件架构与当前主流方案类似，同样由前端模组、FPGA 处理板、DSP 板及其他电源与 触发部件构成，与当前主流方案的主要区别在于软件架构，当前主流架构的 FPGA 仅实现 ISP 和一些触发控 制功能，而微锐智能的 FPGA 还实现了逐帧实时的检测算法，如下图所示： 摄像机由三部分组成：前端模组，FPGA 处理板与 DSP（ARM）处理板。FPGA 控制前端模组，实现上电时 序，sensor 初始化以及曝光控制等，前端模组输出原始图像到 FPGA，FPGA 首先实现各种图像处理算法（自 动曝光，自动白平衡，格式转换，坏点消除，宽动态

17、，2d 降噪，3d 降噪，锐化等等），同时图像处理模块 提供各种格式的图像信息给智能检测模块，智能检测模块利用这些信息逐帧实时检测出目标，如车牌，车，人脸，人体等，并将检测结果反馈给图像处理模块，图像处理模块再针对这些目标做特殊的图像处理，如基 于车牌区域的自动曝光、自适应宽动态等，确保目标始终清晰，最后 FPGA 将整幅图像与目标图像，通过双 码流输出给 DSP，同时提供大量统计信息给 DSP 的智能算法模块。DSP 在 FPGA 的检测结果及提供的统计信息 的基础上，进一步实现各种应用算法，如车牌识别、闯红灯检测、车流量统计，车速测定等等。最后 DSP 将编码后的视频与智能分析结果输出到，编码时可实现基于敏感区域编码。 该架构是智能摄像机的最优架构，完全发挥了 FPGA 与 DSP 各自优势，FPGA 的强大运算能力，以及 DSP 芯片的灵活与配置的丰富都得到了最大限度的挖掘使用。 模组实物图 该模组 Sensor 是松下的宽动态 Sensor MN34220，FPGA 是 xilinx 的Spartan6