秒针dmp解决方案forcbsi

数据基于独立ID的

效果监测数据应用/价值挖掘云计算云人工智能通过多种

监测方案进行大数据积累DTVCosmeticsAUTO&Finance综合门户财经类电子商务资讯社交搜索引擎4000+活动400+2000+频道6000+位1000

Billion+为90%

的Top

100

国际品牌及国内知名品牌

提供互联网

监测服务丰富的第

数据来源：

综合门户，垂直

，

及客户APP等3

Billion日志9Million点击日志6Million产品日志100Million受众覆盖5

TB日志

量单天日志最高承压量可达到100Billion5项18项发明专利申请，涵盖收集数据、人工智能、语义分析等领域一种利用计算机对词义进行排歧的方法、系统及检索方法

一种利用多种来源的

标识估算独立

者数量的方法一种网吧IP库生成方法的确定方法及系统、权值向量的学习方法及系统一种监测网络电视系统组播业务的方法及其系统一种监测IPTV用户行为的方法及其系统一种基于

的分布式网络

方法及系统

一种自动识别产品命名实体的方法及装置一种在中文文本中识别汽车昵称的方法和装置互联网用户样本集的扩充、属性参数获取方法及装置使用非随机样本用户进行网络行为信息的估计方法和装置数字电视中宣传信息的发送方法和系统及数字电视系统实现互联网用户

情况统计分析的方法及装置

信息搜索方法和系统一种自动优化IP地域信息库的方法及系统多个IP地域信息库的合并方法及系统一种服务器快速批量上架的方法监测Flas

信息的方法及信息

装置

花大成本把数据收回来，没办法把数据打通。数据如何打通使用不是很清楚到底自己的人群有什么样的特点，想定义他们去投放，无法定义不出来。如何找到他们知道数据很重要，但是没有人管理数据，而且软硬件成本太高了。如何管理数据这么大量的数据，放在哪，安全吗。数据的安全性秒针第一方DMP解决方案第一方DMP概述数据收集、整合打通数据安全性人群管理、算法应用

对接、性能指标完善的界面展示案例+报价+优势第一方DMP概述第一方数据源数据管理、数据挖掘可扩展，应用接口唯一使用权第一方DMP、整合、分类、

、挖掘客户的数据只有客户

使用数据、官

内数据、销售数据、

数据集群扩展，多服务对接数据收集、数据

、整合、计算分析引擎用户细分系统管理EDM数据数据数据PC

监测日志监测日志交易平台DSPServingDMP电视

监测日志数据应用数据管理数据收集Dashboard系统集成子平台TOOLSBI

子平台套件DashBoard分布式文件

数据库Distributed

File

Cluster管理系统分布式同步关系数据库D-RDB

Cluster元数据信息仓库【MetaData

Storage

Cluster】ETL

工具数据转换子系统用户权限控制模块查询服务模块块式计算模块实时计算模块分布式流文件集群D-Stream

Cluster监控子系统HQLSDK文件浏览权限管理数据管理运维管理大数据容器任务管理模块任务管理数据输出模块Balance工具数据模板工具任务语言编译器-HIVE实现原子指标平台DashBoard开发工具BI-SDK数据输入模块DriverAPI分布式应用公共计算平台YARN

资源调度管理任务流管理-OOZIE\TM报表生成DataMining算法实现数据收集、整合打通自主采集数据对接已有数据通过监测代码实时

得到数据监测代码则由TagManager

管理对接已有数据系统接入数据通过跟DMP对接传送数据（导入/DMP直接采取/API等）PC端和移动端官网全流量数据日志队列服务同步日志队列日志备份服务数据收集服务冗余文本日志数据分析服务

实时推送 日志实时写入分析结果统计报表web服务器数据仓库拉取数据生成报告者网页/APPJs调用上传日志数据分析员查看统计报告监测PC端

监测移动端

监测数字电视数字电视

监测PC1号店亚马逊……社交••……PSven爬虫工具API

监测代码1提升代码安全性23456简化加码工作提升

速度提升修改效率提升代码可控性提升APP应用可控性DMP数据仓库数据SEM数据EDM数据数据客户自有第数据其它外部数据……3．

数据过滤、敏感数据加密保护2．按一致性hash进行partition-sort处理7．特有的字典压缩算法压缩6．按关键数据进行多数据源数据关联8．基于R-Tree空间的技术组织索引1．支持所有主流数据格式接入ETL4．数据结构化处理唯一设备标识码ID账号+行为特征基于

ID和行为特征的聚类算法基于时间、地点及行为的打通算法样本IP+行为+UserAgent机顶盒IDPCDTVMobile秒针为某查询引擎，提供搭建DMP系统，将业务数据整合进行为数据库，并基于搭建数据方法的数据调用接口监测服务&其他非结构化数据某业务共享数据库商品数据库订单数据库数据库库存数据库行为数据库监测所得用户行为数据库中隐藏的用户行为定义用户行为用户行为线索组织以用户为线索的计算框架自定义的计算模型用户

筛选、人群定义用户行为ETL商品数据库数据库订单数据库数据查询引擎某3C产品采销数据部快消品采销数据部研究部门

部门6亿网民2亿网民大量网民行为非结构化数据多

数据来源1亿网民覆盖5亿网民单天数据增加5TB历史数据总量2PB数据安全性秒针收集与用户相关的信息，如

收入、浏览行为、浏览器类型和版本、操作系统等客户的数据在收集后只供客户自己使用，不会共享给其他客户。基于这样的数据隐私保护和秒针对第一方数据的ownership，秒针只做第一方DMP不收集用户PII信息（如、号和家庭地址等）（有特定需求和特定内容除外），不经不公开和售卖用户PII信息。不收集、内容等敏感网络内容信息对于比较敏感的

以及PII数据，DMP在保护好数据隐私的前提下，让数据得到很好的应用。解决方案是：数据加

与数据权限控制联合使用。即首先会对敏感数据进行加密，再对数据管理员进行权限控制，划分不同的等级的权限，权限低的管理员无法对加密后的数据进行，拥有一定等级及以上权限的管理员才能对数据进行并加以应用。加密134xxxx2222控制134xxxx2222权限控制高权限低权限网络层应用层数据层磁盘阵列故障?网络瘫痪?机房故障?、水灾等?分布式文件系统、分布式数据库每份数据至少两个以上拷贝异地容灾系统硬件上使用RAID5、RAID10等专业，阻断不合法请求来源实时

感知系统，使用专业的APP扫描引擎对

WEB

接口进行定期扫描网络

日志定期审计严密的权限控制和日志记录一切数据和系统访问皆需记录一切数据访问日志和用户登录日志，包括系统查看及API调用使用专有密钥并配备复杂通过普华永道IT审计金牌客户行业内高度认可的标准保证行业和相关用户受众测量服务真实、可靠和有效联合第

审计公司进行审计目前行业内并没有

的数据隐私保护标准，各家数据公司无法完善的保护用户及客户的数据隐私，第 DMP可能直接或间接秒针坚持只做第一方DMP，不会做第

DMP，对

的安全保护作为DMP服务第一要务研究

解决方案指定专人负责，所有涉及数据的项目及产品均需通过隐私风险评估与数据合作伙伴AudienceScience[1]

共同服务宝洁大数据业务秒针加入广协领导的行业隐私保护标准项目组，推动行业隐私保护的制定收集国外相关资料进行公司培训本土大数据管各项隐私保护标注：AudienceScience为理企业，数据保护通过准的认证隐私保护标准项目组；进行消费者意愿调研；与行业各参与方进研究国内外相关行可实施性论证建立行业隐私保护标准及自律规范，为地区及国家下一步

做准备推动标准在全行业内实施，建立

业对个人隐私数据的保护机制小组成员：秒针市场研究经理兼

助理人群管理、算法人群属性••教育程度个人月收入职业秒针Panel属性Panel

ID教育程度个人月收入职业116MSenior

High

School<2000Student235FPh.D10,000Teacher355MJunior

High

School80,000CManagerWges汽车运动游戏购物UsersAngel20Nancy25Peter?10251520153025机器学习

Apache

MahoutSVM/RBM/KNN...用户样本库人工判别/入户调研细分模型用户行为->分类属性细分结果待细分用户数据用户

家庭构成行为日志User10001??User10002??User10003??NBA总决赛重播@08-03

10:39:07

1h5s;

通@08-0319:27:45

20m5s;…意甲

@08-01

20:30:07

1h20m7s;

@08-0416:27:45

1h20m36s;...联播@08-0119:27:075s;声动亚洲@08-0523:21:13

55m37s;...…………User98006??天气预报@08-03

19:32:07

2m1s;汽车世界@08-0218:17:45

35m40s;...用户家庭构成User10001

三口NBA、财经User10002

五口足球、财经User10003单身女性音乐……User98006单身汽车用户

家庭构成User1夫妻

NBA、汽车User2三口足球行为日志NBA总决赛

@08-01

10:30:07

1h20m7s;汽车世界@08-02

18:27:45

55m30s;...焦点访谈@08-04

19:30:00

20m10s;

联播@08-05

19:07:00

20m7s;…User3五口

时政、财经联播@08-02

19:00:00

28m30s;

中国@08-06

20:36:00

40m8s;…………User10000

单身女性

音乐中国

@08-02

09:30:07

2h7s;...行为用户小米2S三星GT-I8552三星I9082魅族MX3用户A√√用户B√用户C√√√用户小米2S三星GT-I8552三星I9082用户A√用户B√√√用户C√√User

CFItem

CF用户A用户B用户C小米2S三星GT-I8552三星I9082魅族MX3喜欢相似用户A用户B用户C小米2S三星GT-I8552三星I9082相似喜欢应用

对接、性能指标通过秒针Exchange平台的RTB过程，秒针DMP中数据已经与各个DSP进行了截止目前为止：至少70%MZID已与行业DSP的ID打通，数据可用性极高Map已对接对接时间正在对接传漾2013年9月美杉品友2013年7月力美璧合2013年6月晟新数2013年5月Vizury舜飞2013年4月MediaV互动通2012年12月悠易互通2012年11月输出受众数据，用于精准输出源数据，用于二次计算自定义开发API分业务提供基于SSD和内存的两种分布式的数据

系统数据 与计算在本地结合，提高效率秒针调度算法及本地资源管理池，支持1000个任务并发处理，任务调度时间复杂度为O(1),相比原生的hadoop任务管理耗时减少一个数量级同时支持批处理计算及流式计算20000qps单机并发请求300M/s单机计算吞吐量SSD:10ms以内内存:1ms以内响应速度线形可扩展规模线形可扩展集群规模完善的系统界面展示简单案例秒针监测抓取：但未认证的用户数据，导入DMP并设定为DSP投放的目标人群DMP监测主DSPminisiteAdExchange数据支撑的数字：主应用第

DMP

、

、管理数据，并通过数据挖掘发挥数据价值主通过DMP的数据挖掘成果，借助DSP在Ad

Exchange交易平台上采购

资源，投放主应用第 监测系统，获得真实的 投放数据验证投放效果，并将 监测数据接入DMP，指导未来的

投放数据销售数据用户浏览行为behaviorpanel秒针DMP:积累库加入间接转换分析后，可以发现：EDM-

A/

B的贡献被低估了半；

的贡献被高估了将近42%；EDM-媒体A24%59%EDM-媒体B17%直接贡献占比分析EDM-媒体A51%EDM-媒体B32%17%直接+间接贡献占比分析行为搜索行为浏览行为秒针DMP、同样

了商品A的人30%

了B20%

了C20%

了D猜您喜欢商品A商品B产品C秒针DMP收集，进而实施商品的各种用户行为，应用算法进行商品关联，用户聚类，行为，提升用户购物体验、促进消费报价SAAS模式按照日均3.5亿流量报价579万/年，License模式报价820万/年模式服务说明总价(元/年）备注SAAS模式按照日均3.5亿流量计算报价5,790,625元/年系统自带10个人群分类器，每新增定制一个分类器50,000元;0.05元/CPM单独收取数据传输费用；License模式服务集群+

+

备份6,700,000元/年应采用多机房热备的系统架构，共30台免费50小时/年第一年

服务器成本1,500,000元*报价按照最终实际结果来调整秒针优势荣获2012年第四届广告主

奖“最具行业贡献奖”AdMonitor荣获2012年第四届主金远奖“最值得信赖的第网络监测系统”荣获2012年

奖特别贡献奖荣获2012年中国最具投资价值企业50强MixReach助力强生荣获2012年金鼠标网络大赛“最具创新精神广告主奖”荣获2012年中国年度创新成长企业

100强秒针系统是国家高新技

术企业和双软认证企业，拥有超过20项国家专利。金鼠标

最佳网络

工具-MobileMonitor金鼠标

最佳网络

工具-VOptimizer奖最具行业贡献力数据公司2012年度最佳技术驱动行业荣誉和奖项“MMA中国无线·无线

监测标准发布会”“可测量的移动世界”移动互联网

趋势先行”“移动移动互联网秒针发布全球首个基于SDK的第

移动

监测产品秒针_M

创始会员，标准

长单位，为

主和

商传达20息12年12月17日秒针携手多家共同探讨移动互联网发展与各方一起，推动IP库完善中国标准地理IP库建立为

主与

双方利益，于2011年8月开始和各方沟通,推动IP库完善；先后为8家媒体提供IP库校验服务。作为中国IP地理信息标准成员，在广协下建立中国互联网

IP标准地理信息库。标准地理IP库秒针基于：优秀的互联网监测服务丰富的数据管理经验强大的技术力量储备促使多家客户与秒针签订大数据管理的合作意向家庭户→人→电脑→→IP服务团队技术开发总秒针创始人兼CTO。负责公司产品

、技术开发和研究创新；

数学学

士、计算机

与理论

；10余项国内外发明专利的发明人；

奥数竞赛的保送

；多次获国际算法大奖；连续两年担任ACM-ICPC亚洲赛区裁判工作；15年的

开发经验和11年的

开发管理经验业务总副

兼

办总经理

，负责公司的产品推广和客户服务；超过15年的

从业经验，曾任欧莱雅