江苏台荔枝云项目深化设计

荔枝云-第九包媒体内容分析——深化设计文档(V1.0)江苏省广播电视总台北京天马网视科技有限公司2015年7月

目录第1章系统概述 3第1节项目背景 3第2节设计目标及原则 41.2.1设计目标 41.2.2设计原则 5第2章系统总体设计 6第1节系统业务范围 6第2节总体业务框架 11第3节系统应用架构 12第4节系统拓扑架构 13第3章系统业务模型详细设计 13第1节内容准备 133.1.1通联数据 143.1.2互联数据 15第2节智能搜索引擎 153.2.1基本搜索 153.2.2高级搜索 163.2.3参数搜索 17第3节智能分类 183.3.1业务场景描述 183.3.2业务模型设计 18第4节信息聚类 203.4.1生成光谱分析数据 213.4.2每日热点汇聚 223.4.3聚类结果 23第5节情感分析 243.5.1业务场景描述 253.5.2业务模型设计 25第6节视频分析 253.6.1业务场景描述 253.6.2业务模型设计 29第7节个性化订阅 383.7.1订阅 383.7.2个性化推荐 39第4章与PaaS平台对接 40第1节用户统一管理 404.1.1用户同步 404.1.2单点登录 40第2节服务注册 404.2.1搜索接口 404.2.2高级检索 404.2.3内容快照访问 404.2.4用户行为分析推荐内容（基于检索） 404.2.5智能分类结果 414.2.6视频分析（特定栏目需定制） 454.2.7视频分析结果回调(接口在的添加分析任务里) 48

系统概述项目背景荔枝云新闻平台将打破时空限制，电视、广播、新媒体、记者站、赴台驻点等不同部门的记者无需集中办公，不管何时、身处何地，只要登录云平台，选题策划、采访部署、资源调度、素材采集、编辑制作、传输发布等都能在云平台统筹完成，新闻资源真正共享，实现异地、远程、多平台同步协作，快速发布。为方便记者从海量的互联网新闻中挖掘出有价值的热点新闻，充分利用多年的电视节目资料形成了大量的数据，引入对全媒体内容库进行内容大数据分析与深度挖掘的媒体内容分析系统是必要的。通过该系统可以更方便的、更快速的挖掘出当前最新最热的新闻资源产品，以及与新闻相关的台内媒体资源库中已有的资源供总台全媒体节目生产使用。设计目标及原则设计目标拟建的江苏广播电视台全媒体内容分析平台项目目标是构建以云计算为基础支撑架构，包容广域网、局域网应用场景、以资源汇聚为主线，以内容生产服务为核心的一体化全媒体平台，因此它应具备以下特性：智能化：利用智能化处理技术对音视频内容进行音视频特征提取（语音识别、字幕识别、人像识别等），通过大数据引擎对标引数据自动聚类、分类等一系列运算，从海量数据中挖掘出有价值的资源内容，并结合当前社会热点事件进行历史内容的映射，为节目再生产及新闻融合提供有力支撑。热点汇聚：结合大数据计算，实时监控网络上最快、最新的资讯信息。并将实时热点数据与媒资库内历史数据进行关联，使节目编辑人员做特色且深度的热点报道。统一发布：媒体内容分析将为全媒体内容库联合检索发布提供技术支撑，通过全台统一发布平台实现台内有价资源、网络内容的融合性发布。统一检索平台中具备多种的检索交互手段，包括检索用户之间的交互手段和后台业务管理人员与检索用户之间的交互手段，通过各种交互手段的提高用户的参与度，丰富资料的描述角度，提高用户的检索体验和检索效率。设计原则整个系统采用模块化的方式，前期以实现功能为主，但系统模块要有规范的接口标准，良好的扩容性，便于以后业务的扩展。系统设计遵循的原则：经济性：充分利用现有的技术设备，将每一个已有的技术平台梳理、整合，融入新建的全媒体技术架构。贴近节目生产部门使用习惯和流程，对合理并已成熟应用的业务流程不做或少做变更，人性化设计，达到提升节目人员使用体验，提高工作效率的目的。高管控：建立全流程、多系统的一体化智能监控系统和集中监控处理平台，实现对硬件资源、软件资源、系统信号、任务流程、内容资源的监控管理。安全性：在网络化建设中把安全性放在首要位置，在系统安全和隔离设计上需要充分考虑，建立完善的安全防范体系，运用多种技术手段来保证网络化制播的安全性。高质量：通过选择合适的视音频文件格式、减少转码环节、降低转码带来的质量损失，建立完善的质量控制体系，对采集、制作、存储、播出各个节点的技术质量进行控制，保证技术质量。可靠性：满足长时间安全运行要求，软件操作简便、安全可靠；系统的核心设备有完善的冗余备份和应急机制，保证系统长期、安全、稳定运行。开放性：系统设计应采用开放技术、开放结构、开放系统组件和开放用户接口，不同厂家、不同时期、不同技术平台的各个子系统之间能够互联互通，协调工作。扩展性：采用松散耦合、弹性的系统技术架构，便于将来更多站点、更大容量、更高负载、更多子系统的接入，满足未来事业发展、产业运营及技术发展的需求。成熟性：虽然内容分析平台的建设对我们来说是一个全新的课题，整个业界都处在探索阶段。必须在进行技术系统架构设计上，对于网络技术、存储技术、系统架构、软件体系结构、异构系统互连互通、压缩编码、文件格式、数据库平台的选择等，都要进行充分的调研，采用主流的、先进的、实用的技术平台，提高系统的生命周期。智能化：作为一个全台媒体内容分析管理系统，各类数据信息将十分繁多，如果不整理分类为各系统自动适配，集中在一起的数据是不方便使用的，需要一些智能化系统来完成这些任务，如新闻的自动拆条，相关新闻智能搜索，文字图片视音频的智能抓取，直播流自动去广告等，在不增加人员的同时大大提高全媒体生产和发布的效率。系统总体设计系统业务范围根据本项目的标书要求，以及结合本系统的需求分析，本系统所需完成的业务内容构成如下。全媒体内容进入媒体分析平台在信息化建设过程中，台内必然会积累各类海量节目素材数据，其中即包括结构化数据，也包括非结构化数据等很多独有的资源（珍贵历史资料、自办栏目等），然而，这些信息以各种不同的存在形式分布于各个独立的应用系统中，导致大量的有价内容无法盘活，这样并没有真正体现出这些独有资源本身的价值所在。为了盘活这些独有资源，使这些独有资源能为台内创造更大的价值，本系统接收由全媒体内容汇聚平台推送来的需要分析的内容，完成独有资源的分析工作。构建智能的搜索引擎从目前各类检索界面的使用情况看，传统的、单纯的基于关键词匹配的检索方式已经不能满足当今用户的使用需求。所以需要在传统通过关键词匹配加以字段权重进行检索的基础上，对检索的关键词和结果进行智能的分析，实现基本的语义分析和匹配度查询，使得检索的方式和逻辑进一步贴近自然人的思维习惯，提高用户的使用体验和检索的准确性。关键字搜索关键字搜索具备关键词功能，布尔逻辑表达式以及精确搜索的轻量级搜索功能，例如：关键词逻辑表达式组合，包括AND、OR、NOT、NEAR、DNEAR、SOUNDEX、FUZZY、RANGE等等。关键字搜索具备定义多个元数据字段，通过参数挑选搜索结果，按按照日期，相关度以及其他字段组合的排序功能。并且具备搜索关键词的权重，多个元数据字段的权重组合搜索等。关键字搜索还具备搜索训练的机制，能够完全满足对用户搜索偏好和结果拟合度的选择进行学习，以此深化对用户搜索内容的理解，找到更准确的结果。标准搜索标准搜索包含关键词搜索，并在其基础之上，提供概念检索。用户可以输入一个词、一句话或一段文字甚至是一整篇文章，系统就能分析用户检索条件的内容概念，然后从概念的相关度上来找出用户关心的结果。高级搜索高级搜索除了包含关键词搜索和标准搜索两项基本功能外，还应该具备深入的搜索应用，包括模糊搜索、同音搜索与字段标签搜索。模糊搜索：当编辑人员不清楚需要查询的内容如何拼写时，可以通过模糊搜索功能进行查询，系统除了返回相应的搜索结果外，还应返回与输入字符串相近的其他词汇，从而让编辑人员发现相关的其他结果。同音搜索：当编辑人员只知道搜索词汇的类似读音，那么可以通过同音搜索功能，利用语音探测运算法则，将类似同音的其他词汇搜索结果也返回过来，方便编辑人员查看。字段标签搜索：字段标签搜索是通过建立索引文本的标签字段，编辑人员可以针对性的选择标签组合，从而返回相应的限定结果。参数搜索系统具备参数搜索功能，可以实现各元数据的统计和分析，并可以输出数据成为多种图形形式，如柱状图，饼图，线图等，从而使用户实时了解搜索对象的数量特征，更深入的得到内容信息。智能分类现今纯手工对文档和海量数据进行分类和标记已经无法适应当今这个信息爆炸时代的要求。为了跟随这个时代的潮流，系统应能够自动对信息进行分类，并且不需要任何手工输入，可以精确地根据非结构化文本中的概念进行分类。分类管理能够发现文档或海量数据内容里的概念，使用户得到更加准确的分类类别，确保所有的数据最大限度的精确归类和正确的理解。自动归类支持根据不同的分类主题，建立了分类节点，前台的用户以及管理员就可以点击相关的分类树节点，查看相关分类的结果。分类推荐建立了分类体系之后，系统中的用户可以进行分类查看。但是，如果分类树过于庞大，或者用户没有时间逐级点击分类节点，系统应该支持分类推荐功能，根据每个用户的隐含个性需求，来推送给用户需要查看的分类节点。信息聚类基本聚类系统支持自动聚类功能，它能够自动地分析采集过来的所有信息内容，根据内容概念来把相似的文档聚类到一起，同时完全自动化的生成类别的标题，并提供自动的热点生成和自动的热点趋势分析。聚类信息展示根据某个时刻的信息聚类结果，自动聚类出新闻热点，新闻热点的热度以及聚类主体之间的关联性能够通过图形化直观展示。情感分析系统允许依照词汇的褒贬义和文字基调进行高级的分类操作，并且能够分析语言的结构和含义，判定每段信息的正面或负面特征，进而创建相应的分类系统。除此之外，管理员还可以利用多种标记功能和阈值设定来配置信息正负面分析的敏感程度。正负面分析使用多种强大的技术提取这些文章和谈话中的含义，并且自动执行详细的统计分析以找出信息中所表现出的趋势，以及它对人、企业和产品的正负面产生的影响。正负面分析技术涵盖了各种传统和新型的媒体，其中包括报纸、电话、博客、论坛、讨论版和在线社区，为宣传项目提供助力。能够理解俚语、行业术语、讽刺用语以及替代拼写方式，也能够适应语言的多变性。其自动而深入的分析可实现主动式的回应，确保不会忽略越来越重要的大众观点。视频分析可以自动给视频建立索引，并同时控制多重格式和位数率的视频编码。通过这种方法制作的视频索引可以搜索，与编码格式在时间上同步对应，可用于各种程序中。它的主要功能包括：自动编目系统支持接入模拟信号或数据信号并将其存储为视频文件，并在视频信号进入系统的同时建立信息丰富的视频数据库或索引，可以方便的对索引信息及各种元数据进行存储和搜索，从而实现自动编目功能。自动拆条系统可以根据视频分析中的语音转文字内容以及视频画面转换的结果自动对大段或连续的视频材料进行分割。关键桢分析系统可以根据视频画面转换的场景自动生成并保存关键帧并记录每一帧对应的时间点，从而实现点击具体帧图片时定位到该时间点进行视频播放。此外，系统支持设置视频播放时间间隔的方式自动生成并保存关键桢。人脸识别系统支持通过一张或多张图片进行人脸库训练。在视频处理时可以和其他视频分析任务（如语音识别）一起进行实时分析。人脸识别可以设置相关度匹配阀值在控制识别结果。个性化订阅自主订阅系统支持用户自主订阅，用户可以设置一个或多个自定感兴趣的主题和条件，当系统发现有符合条件的数据时自动为用户进行内容推送。自动提示系统根据用户主动订阅或者系统自动分析用户使用行为的特征，发现有新的内容与其相关的时候，自动的通过电子邮件或者短消息来提示的功能。显性个性推送在显性个性推送中，用户可以描述他的兴趣或者职责角色，大数据引擎可以不断的训练理解用户的显性个性特征，用户能够获得更需要的相应内容。推送服务的手段可借助网页、短信、邮件、PDA、传真等方式来实现。隐性个性推送具备个性化跟踪服务，除了用户自己显性维护的内容主题之外，系统还应具备隐性个性推送，即在后台自动监控用户的行为与浏览的文档，从文本内容上分析用户的兴趣与目的，用户的需求变化（例如工作内容的转变），同时自动产生个性化的隐性内容档案，实现动态的智能内容信息推送服务。社区和协作系统可以自动保存对组织员工个性化信息的准确、多面理解，自动建立一个组织协作网络系统，将那些具有共同关注点的员工、有相似个性化特征的员工，或工作流程中按特定项目划分的用户匹配在一起，形成组织的内容社区。总体业务框架基于以上需求，智能分析系统必须具备能够将企业结构化和非结构化信息的管理、应用和处理过程自动化，能通过概念和上下文的语义关联来实现对信息的理解。具备多渠道内容汇聚、多媒体内容智能处理、多渠道调用等功能。整个智能分析系统在生产环节中通过对视频和音频的自动编码和编引及数据存储，向内容库提供数据分析功能、内容编辑及访问控制。该平台能够在企业范围内有效地采集、管理及发布视、音频和其他的丰富媒体。及逻辑结构如下图所示：通过对于内容的智能分析可以使企业全面了解隐藏的信息价值并对其及时做出反应和对策。系统应用架构应用系统架构如上图，各部分的作用如下所示：系统模块作用描述大数据内容融合引擎模块针对来自于全媒体内容汇聚库的内容进行智能分析服务，完成信息的自动分类、聚类等，供融合生产平台提取有价值的信息。视频分析服务模块包括自动编目、自动拆条、关键桢分析、人脸识别等，通过此四项业务对全媒体内容汇聚库提供的视频文件进行智能处理，供融合生产平台提取有价值的信息。系统拓扑架构根据与其他系统的对接方式及工作原理，系统拓扑架构如下：系统业务模型详细设计内容准备本业务用于将第四包内容汇聚与内容库中的媒体资源入库到IDOL系统进行数据分析。按照第四包汇聚内容存储方式的不同分两部分处理，一部分是存储在数据库中的通联数据、全台网数据，另一部分是从互联网抓取的互联数据。通联数据业务场景图Repository：数据视图Connector：数据库采集器ConnectorFrameworkServer：采集器框架服务器IDOL：智能数据操作层业务场景描述由第四包提供数据视图，第九包通过ODBCConnector增量爬取视图中的数据。需要在视图中提供最后修改时间和删除状态。最后修改时间作为增量抓取内容增量的依据，删除状态作为删除数据的依据。互联数据业务场景图暂无业务场景描述需要索贝公司根据网络抓取数据结构及我方数据入库方式评估最终的入库方式。智能搜索引擎结构化、半结构化、非结构化数据经过系统预处理入库后，平台能够在集合数据中实现跨数据库、跨语言、跨文件类型的信息检索，并提供一致性的返回结果。基本搜索系统完全支持关键词、布尔逻辑表达式以及精确搜索的轻量级搜索功能，例如：关键词逻辑表达式组合，包括AND,OR,NOT,NEAR,DNEAR,SOUNDEX,FUZZY,RANGE等等；通过多个标签字段组合的逻辑“与或非”限定搜索；定义多个元数据字段，通过参数挑选搜索结果；支持按照数据源、日期、相关度以及其他字段组合的排序功能；提供搜索关键词的权重，多个元数据字段的权重组合搜索等；提供搜索训练的机制，能够完全满足对用户搜索偏好和结果拟合度的选择进行学习，以此深化对用户搜索内容的理解，找到更准确的结果。高级搜索高级搜索除了包含关键词搜索和标准搜索功能外，同时进一步提供了深入的搜索应用：搜索导航用户通过关键字获取搜索结果后，系统根据结果自动返回与关键字匹配的相关词组，以便引导用户做更加精确检索。高亮显示搜索字词在搜索结果列表或结果页面中，对标题、摘要正文中出现的搜索词进行高亮显示，方便用户根据高亮显示的搜索词跳跃浏览。近义词搜索系统不仅仅支持关键字匹配功能，还支持同义词搜索功能，更精准的返回想要的搜索结果。比方说，搜索“电脑”或“计算机”返回相同的结果。支持用户自定义近义词。搜索结果过滤如关键字搜索一样，系统支持在搜索结果集中进行二次搜索，做更进一步的数据筛选。参数搜索通过在系统中设置指定字段为参数字段后，即可通过GetTagValues和GetQueryTagValues操作，执行参数搜索。参数搜索支持按特征（特定字段中的值）、按条件搜索项目。在参数字段中提供固定值时，参数搜索将返回指定固定参数字段的不同值。例如，可以在数据库中搜索某一特定字段的不同值有哪些。智能分类业务场景描述为了使用户可以通过精心设计和逻辑组织的树形分类来快速访问大量的信息。分类在很多产业领域都很有广泛的使用。分类作为搜索的一种补充，提供了“直接导航”提供了知识的直观度。而智能分类解决方案减少了组织必须依靠手工来处理信息。智能分类的灵活性又确保了用户使用非结构化文本中查找到概念来获取精确的分类。确保所有的数据被最大限度的分配到正确的分类中。除了搜索导航，智能分类还有以下应用：过滤结果列表，譬如，你搜索一个硬件可能会返回“电脑硬件”和硬件存储和五金店。你可以使用分类（电脑或家用）来过滤你想要的结果。使用分类导航查询更多指定的文档。例如，你可以创建分类来把学术文档分类成更易理解的分类便于以后查询。提高索引文档的质量。你可以指定一个垃圾邮件分类来标示你不想要的文档。使idol避免索引这些文档。标识指定分类文档的变化趋势。例如，一个特定分类的文档数量的突然增加则预示着一个特殊的事件。业务模型设计IDOL分类流程：创建一个树形的分类对各个分类进行训练使用关键词训练分类，可以指定多个关键词，每个关键词可以设置权重。可以对根据关键词分类出的结果进行二次训练。使用文档ID训练分类,可以对搜索结果或者聚类结果直接进行训练建新的分类。分类标题为聚类标题或自定义。对数据分类分类、索引工作将有IDOL自动完成。使用分类导航查询分类完成后，就可以调用分类的结果执行导航查询了。信息聚类IDOLserver可以自动将信息聚类，帮助您查看信息中的趋势和发展变化。聚类是提取海量非结构化数据并自动将数据分区、从而使类似信息聚类的过程。每个聚类都均表示知识库内的一个概念区域，包含具有一组相同属性的项目。聚类的基础是对IDOL存储的数据生成快照，之后才可以对快照内的数据进行各种各样的聚类。快照表示数据索引在某个特定时间的内容，支持生成聚类信息和光谱分析，即使数据索引已更改亦是如此。使用单一快照同时生成聚类信息和光谱分析数据，从而缩短进程时间。理想情况下，拍摄快照的IDOLserver数据索引必须至少包含几千份优质文档。生成光谱分析数据系统会根据上面描述中提到的拍摄的快照生成光谱分析图：每个光谱分析数据集均会从不同的时间段内提取连续聚类，计算这些天的聚类类似性衡量标准，然后应用图论匹配算法。IDOLserver将计算聚类的概念分布及其一般质量。光谱分析使用线条表示聚类的大小（即：聚类中的文档数）和质量。光谱分析的线条越亮，聚类包含的文档就越多；线条越密，聚类的质量就越高。技术架构如下图所示。通过快照数据生成光谱图数据，光谱图数据由两部分组成，一是光谱图，一是图对应的数据。每日热点汇聚为提高记者每天获取新闻线索的效率，系统会自动将当天最热的内容聚类到一起以二维地图的方式进行展现。热度图信息是系统在快照中识别的、可用于聚类的最相关信息。它可以随着时间的推移跟踪特定新闻项目的发展情况。二维热力图以可视化的形式说明不同聚类的类似性和差异。IDOL使用降低维度算法维护聚类之间的相似性衡量标准，确保相似的聚类彼此靠近，不相似的聚类则彼此不靠近。由此可以使用文档在空间内的分布以及非线性重新映射创建形貌图。聚类结果在执行查询操作时，则可以对查询生成的结果进行聚类。IDOL将为每个结果返回<autn:cluster>字段，其中包含结果已分组到的聚类的ID。ID1将指定给最相关的结果文档构成的聚类。此聚类构成后，剩余结果中最相关的结果文档将构成ID为2的聚类，以此类推。可以配置参数设置结果彼此之间必须具有的百分比相关性，以便将其分组到同一聚类中。情感分析系统在情感关键词抽取结果的基础上，可利用独特的技术依照词汇的褒贬义和文字基调进行情感分析，判定每段信息的正面、负面或中性特征。系统支持基于搜索人物、产品、新闻事件等主题后返回结果的情感统计分析，计算情感分布和影响力。业务场景描述依据该功能，可实现对某一事件进行持续跟踪报道，了解舆论变化，以便针对重要趋势做出回应。业务模型设计系统支持情感分析优化，允许用户自定义正面、负面、中性的名词、形容词、动词，并可以定义程度副词以及所有词汇的权重。正负面分析技术涵盖了各种传统和新型的媒体，其中包括报纸、电话、博客、论坛、讨论版和在线社区，为宣传项目提供助力。能够理解俚语、行业术语、讽刺用语以及替代拼写方式，也能够适应语言的多变性。其自动而深入的分析可实现主动式的回应，确保不会忽略越来越重要的大众观点。视频分析业务场景描述自动编目系统将模拟信号或数字信号存储为视频文件，通过字幕识别、语音识别、人像识别等多种处理引擎对视频建立索引信息，实现自动编目。智能分段：按系统指定的方式将视频进行智能分段，获取每段的入点和出点，并标示出段的主题。数据存储在数据库中，后期编审系统可编辑校准分段数据。通过智能分段保存的信息可以定位视频播放位置。OCR识别：自动识别出视频画面中出现的文本字幕，并得到字幕的入点和出点，存储在xml中，后期编审系统可对这个xml的数据进行编辑校准。通过OCR识别出的字幕相关信息可以定位视频播放位置。语音识别：自动识别出视频中的语音信息，转换为文本格式，与语音的入点和出点时间一起存储在xml文件中，后期编审系统可对这个xml数据进行编辑校准。通过语音识别保存的信息可以定位视频播放位置。关键帧抽取：按系统指定的方式抽取关键帧，获取关键帧的入点时间，将时间和关键帧图像路径存储在xml文件中，后期编审系统可对xml文件进行编辑校准。通过关键帧抽取获取的信息可以定位视频播放位置。广告识别：每个节目片段都有自己唯一的视频和音频特征，将这些特征编码保存在数据库中形成节目片段的指纹。当这个节目再次出现时，分析引擎提取节目指纹，在库中能检索到相对应的节目片段，从而识别输入节目的广告内容。为保证视频资料的可查性和可使用性，需要对视频进行分类编辑和碎片化处理，并在编辑和处理过程中通过智能化识别和远程人工辅助制作出节目编目信息。在无需人工干预的情况下，能够进行节目内容的一次发布工作（非精确编目信息）。可通过后期快编完成系统节目内容的二次发布工作（精确编目信息）。人工编审人工编审可以添加需要进行自动编目的视频文件，并指定需要进行哪些种类的视频分析及设置需不需要对视频文件进行分割，还可以查询自动编目的结果，对其进行校正。整体界面设计整体界面包括四个区域：播放器区： 播放视频任务管理区： 软件注册、添加任务、查询任务、设置编辑区： 编辑基本信息、校正自动编目的结果时间尺区： 更精准地控制播放，精确到帧添加任务查询任务校正自动编目的结果业务场景描述（图）业务模型设计Web接口服务http的服务主要是用于接受http的参数来添加任务和返回结果集，这个服务不操作业务逻辑和体文件。调用逻辑模块 主要是完成任务和引擎之间的关系，完成了引擎的注册，管理引擎，分配引擎任务。引擎接口服务 引擎的http的服务主要用于接受调度的任务和调度的操作命令（注册，执行任务，返回信息，返回结果）引擎实体 在引擎接口下，实际处理文件的实体。每个引擎都各自独立，根据需要选择调用那些引擎，后续也可以很方便的扩展引擎种类。包括智能分段引擎、关键帧抽取引擎、视频文字检测引擎、OCR引擎、语音识别引擎、人像识别引擎等。智能分段引擎智能化段引擎是把实时的视频切片文件逻辑上划分为若干个以事件为单位的段落，并把段落的详细信息记录到数据库中的操作过程。目前智能分段的划分方式有以下三种：根据图像特征分析、台本数据元分析、声音空场分析技术手段进行智能化的拆条。建立图像特征学习库，特征库包括学习识别模型素材库和模型库：识别模型素材库学习模型库依据图像特征库中的特征先从视频中抽取出一张关键画面，然后由一系列算法判定该帧画面是否为事件出入点时的画面来确定分段的时间点。视频画面分析图像处理识别：找到模型匹配的视频图像画面依据文稿分段就是按台本给出的事件出入点时间来确定分段时间。文稿原始内容：依据声音空场的分段则是按视频中语音的停顿时间长短来确定分段的时间点。通过上面三种方式进行智能分段，都会生成统一格式的分段索引表：其中包括：时间名称、入点时间、出点时间、关键词等信息。关键帧抽取引擎关键帧抽取引擎是系统从实时的视频切片文件中取出若干张能展示事件内容的关键性画面,同时把关键帧的图片路径、名称、在视频中出现的位置等信息写入到一个XML文件中的过程。它可以按照指定时间周期、智能分段的入点时间、还要可以按特定的场景等多种方式来抽取关键帧画面。按时间周期提取关键帧：接事件入点时间关键帧：按视频画面变化阀值抽取关键帧：视频文字检测在字幕检测方面，结合汉字和字幕图像的特点，利用字幕时序信息和空间信息进行字幕检测。在字幕图像处理方面，提出针对字幕图像的一系列有效的处理方法，从很大程度上降低了背景变化和噪声的干扰，为提取有效的识别特征打下良好的基础。在特征抽取方面，借鉴了对于汉字识别非常行之有效的Gabor滤波器组进行特征提取。在字幕识别方面，本系统使用隐马尔可夫模型对字符进行建模，有效规避了传统方法中字符切割的部分无法识别的问题，同时针对解码得到的字网，加入统计语言模型的得分，极大提高了识别率。整个系统框架可以由检测和识别两个过程组成，系统的基本处理流程如下所示：文字检测定位提取文字图片OCR识别引擎识别结果“国妯钽济专豉与逝重谈”。识别结果“国务院经济专冢与迦币企哩亘座谈”。识别结果“国务院经济专家与湖南企业家座谈”，正确率可达到90%以上。文字图片经过引擎自动颜色处理可以达到更好的识别效果语音识别通过识别说话者音调、音色等特征，并与用户给定样本特征进行学习、比较，确定人物身份，给出姓名，并可通过姓名定位到相应视频帧。在经过学习语音模型和语言库的学习识别率可以达到90%以上的识别结果。节目节目（视频）结构化标注脚本字、词、短语，命名实体起始时间、结束时间置信度语音识别（解码器）声学模型语言模型发音词典音频提取特征提取从视频文档中提取音频信息（16KHz，16bit）。从音频文档中采用美标度倒谱系数（MFCC）特征提取语音内容的特征。利用语音识别解码器，融合声学模型、语言模型和发音词典将声学特征序列识别为文本序列。其中，声学模型描述了发音单元的统计模型；语言模型描述语言现象，利用已知词来估计后续衔接词的概率；发音词典描述词的发音组成。利用自然语言处理技术对识别结果进行标注，可以标注命名实体（如人名、地名、机构名等）。并将识别结果中的时间标注信息（词的起始时间、结束时间）和词的置信度信息（声学模型得分、语言模型得分）整理成结构化标注脚本（XML格式）。人像识别引擎人像识别又叫做人脸识别，指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。智能化媒资系统采用人像识别技术从视频文件中查找指定的人物，如主持人或电视台、省市、国家领导人。人像识别技术分为人像定位和人像身份识别，首先需要截取具体人物的多个不同视角的头像，进行模型训练；采用训练好的模型，对从视频中截取到的头像进行分析，判断是否是模型中的人物。对于样本库较全的人物模型，正确识别率可达到90%以上。人工校正由人工校正智能分析的结果。用来处理媒体采集系统采集到的视频信息，为后续系统中的视频检索、视频分段下载提供依据。其功能：可以选择任意视频文件或网络视频进行编审可以对编审完成的数据提交拆合为物理视频入库可以多人合作编审业务模型设计图个性化订阅订阅系统支持用户自主订阅，用户可以设置一个或多个自定义感兴趣的主题和条件，一旦发现有新的符合用户要求的信息时，系统会自动为用户进行内容推送。个性订阅能够自动根据数据源变化实时更新文档，省去用户大量时间，每次使用内容主题都能够看到最新的跟自己工作密切相关或者对自己有用的信息。系统可通过代理方式完成订阅功能。例如，对足球和园艺感兴趣的用户可创建RealMadrid代理和PestControl代理。创建代理时，要为其提供训练文本。此训练可为代理必须查找的文本类型提供示例，因此代理仅返回与其训练在概念上匹配的文档、档案、分类或其他代理。例如，创建了一个Mortgage代理，然后使用类似于希望此代理返回的结果类型的文本对其进行训练。也可以使用自己键入的文本或使用文档训练代理。完成代理培训并指定此代理的详细信息（如代理可返回的最大结果数，结果的最小概念类似性等）后，就可以运行此代理。并且可以随时编辑或再训练代理以对其进行调整。个性化推荐系统可实现用户个人行为轨迹分析，可以通过对用户以搜索、收藏、上传等动作产生的文档浏览后，进行行为收集、记录，自身完成学习和分析后，将与之行为相关的知识推送给用户。与PaaS平台对接用户统一管理用户同步通过PaaS平台《用户管理规范》中获取指定应用的用户信息接口获取所有允许访问智能分析平台的用户。单点登录采用PaaS平台《用户管理规范》单点登录中的规范实现客户端。服务注册搜索接口整理中高级检索整理中内容快照访问整理中用户行为分析推荐内容（基于检索）整理中智能分类结果任务查询接口描述：方便用户进行查看任务状态。接口：/Query/Task/Info参数：参数分为两种模式1.是使用指定日期进行查询2.使用指定id进行查询使用日期进行查询的参数属性含义类型说明必填StartTime任务开始日期String任务的开始日期e.g.2105/06/30是EndTime任务结束日期String任务结束日期e.g.2105/06/30是ResultType返回格式string默认是json可以指定xml否使用id进行查询的参数属性含义类型说明必填ID任务IDString在添加任务返回的id是ResultType返回格式string默认是json可以指定xml否请求实例：POST/Query/Task/InfoUser-Agent:curl/7.12.1(x86_64-redhat-linux-gnu)libcurl/7.12.1OpenSSL/0.9.7azlib/libidn/0.5.6Pragma:no-cacheAccept:*/*Host:域名Content-Type:application/x-www-form-urlencodedContent-Length:XXXXID=201507091146返回结果：{"State":0,"Desc":"OK","Date":[{"TaskID":"20150714","TaskCreate":"2015/07/14","TaskURL":"/a.mp4","TaskProCode":15,"TaskFalg":"cctv","TaskCallback":"http://localhost:8080/c/e","EngineState":[{"OCR":0,"FACE":0,"AUDIO":0}]},{"TaskID":"201507141","TaskCreate":"2015/07/14","TaskURL":"/a.mp4","TaskProCode":15,"TaskFalg":"cctv","TaskCallback":"http://localhost:8080/c/e","EngineState":[{"OCR":0,"FACE":0,"AUDIO":0}]}]}查询结果接口描述：方便用户进行任务结果查询。接口：/Query/Task/Results参数：分为三种查询模式1.按照时间2.按照id3.按照类型+(id/时间)按照时间为参数属性含义类型说明必填StartTime开始日期String任务的开始日期e.g.2105/06/30是EndTime结束日期String任务结束日期e.g.2105/06/30是ResultType返回格式string默认是json可以指定xml否按照id为参数属性含义类型说明必填ID任务IDString在添加任务返回的id是ResultType返回格式string默认是json可以指定xml否按照类型+(id/时间)属性含义类型说明必填StartTime开始日期String任务的开始日期e.g.2105/06/30是EndTime结束日期String任务结束日期e.g.2105/06/30是ID任务idString任务id和（开始日期，结束日期）二选一是EngType引擎类型stringe.gOCR（文字识别）AUDIO(语音识别)FACE(人像识别)EDIT(人工编审)是ResultType返回格式string默认是json可以指定xml否请求实例：POST/Query/Task/ResultsUser-Agent:curl/7.12.1(x86_64-redhat-linux-gnu)libcurl/7.12.1OpenSSL/0.9.7azlib/libidn/0.5.6Pragma:no-cacheAccept:*/*Host:域名Content-Type:application/x-www-form-urlencodedContent-Length:XXXXStartTime=2015/06/30&EndTime=2015/07/5&EngType=OCR,Audio返回结果：{"State":0,"Desc":"OK","Date":[{"TaskState":0,"TaskDesc":"OK","ResultDate":{"Id":201507091146,"VideoPath":"51:8888/test.mp4","Time":"2015-07-0911:48:00.000","Code":15,"OcrData":[{"Ocr":"俄故机组团北约美媒·战争报拉响","Time":150000},{"Ocr":"俄故机组团北约美媒·战争报拉响","Time":200000}],"AudioData":[{"Word":"北约","BeginTime":150000,"EndTime":200000},{