手机上网用户行为分析系统结题汇报学习教案

1、会计学1手机手机(shu j)上网用户行为分析系统结题上网用户行为分析系统结题汇报汇报第一页，共29页。二、主要二、主要(zhyo)(zhyo)研究成果（整合后研究成果（整合后）第1页/共29页第二页，共29页。约合约合485.5亿亿兆兆2009年约合约合1030.9亿亿兆兆2010年上网流量上网流量(liling)同比上升同比上升112.3%204.4亿亿元元2009年305.3亿亿元元2010年流量收入流量收入同比上升49.4%高速发展的流量并没有带来相关收入的同步增长第2页/共29页第三页，共29页。第3页/共29页第四页，共29页。网络(wnglu)爬虫GPRS网站内容分析用户行为分析

2、数据分析爬虫数据网站树内容树数据清洗WAP黄页库数据分析网关数据数据清洗用户行为模型数据索引用户属性内容属性结果呈现5个应用细分营销活动精确发展用户引导自有业务分析竞争业务个性化内容日志采集第4页/共29页第五页，共29页。第5页/共29页第六页，共29页。手机上网用户行为分析项目手机上网用户行为分析项目研究的总体架构如下：研究的总体架构如下：多数据海量数据预处理多数据海量数据预处理海量数据存储和计算海量数据存储和计算“客户客户-内容内容”特征特征(tzhng)类标签分层可扩类标签分层可扩充体系充体系“客户客户-内容内容-业务业务”三维匹三维匹配矩阵配矩阵前台应用管理模块前台应用管理模块第6页

3、/共29页第七页，共29页。第7页/共29页第八页，共29页。第8页/共29页第九页，共29页。第9页/共29页第十页，共29页。第10页/共29页第十一页，共29页。第11页/共29页第十二页，共29页。计算(j sun)与存储平台爬取正文提取PLSA模型训练降维分类训练分类不同的分类体系收集用户上网的URL集合第12页/共29页第十三页，共29页。访问内容访问内容(nirng)层面的分析层面的分析p网页分类分析(fnx)：加了一个语义层，建立文档、语义、关键词之间的概率关系p解决传统VSM(向量空间模型)的问题-同义词,多义词等,超越词汇层面，更加深刻地把握文本的主旨语义层面的理解p具有概

4、率理论作为理论依据，相比于LSAp新颖性，此技术先前主要应用寻找一些相关词，在这里，成功应用于主题分类。第13页/共29页第十四页，共29页。访问访问(fngwn)内容层面的分析内容层面的分析p网页爬取/正文提取(tq)的流程。爬取流程(lichng)正文提取流程通过优化日志数据（如去重、爬取频率优化），可避免重复爬取，及爬虫对网站造成巨大访问压力。提取网页内容，利用网页分块技术、块和标题之间的语义分析，准确的获取网页正文内容。第14页/共29页第十五页，共29页。访问内容访问内容(nirng)层面的分析层面的分析p关键词分析p根据用户(yngh)访问的信息（词向量），求得这些词向量所属的主题

5、及其概率p1，并根据词表找到该主题下所有的词及其概率分布p2，再参考这些词向量本身的tf*idf，最终求得p1*p2*tf*idf，取前N个得分最高的词，即作为用户(yngh)最为喜好的关键词。第15页/共29页第十六页，共29页。文本有勒布朗在场上，对手就不得不在防守上小心谨慎，因为在他的促进下，没有人不可以成为得分的威胁。不仅如此，勒布朗也能在进攻端统治比赛，此外他在防守端也能做到如此。这些让他成为一个全能战将。分词结果比赛 1 不得 1 不仅如此 1 不可以 1 不在 1 成为 2 促进 1 得分 1对手 1 防守 2 进攻 1 勒布朗 2 没有人 1 能做到 1 全能战将 1 统治 1

6、威胁 1 小心谨慎 1 在场 1主题分布414 0.26259 486 0.0920321 203 0.064595 111 0.0592055 759 0.052535 1028 0.0485639 485 0.0467883 402 0.045465 426 0.0447405 271 0.0435144 595 0.0414496 397 0.0394543 301 0.0366626 9 0.0355855 809 0.0322277 559 0.031286 909 0.0174838 508 0.00420075 1149 0.00160299 811 1.57853e-05 34

7、6 1.27575e-06分类结果体育 0.328462 旅游 0.0637043 游戏 0.0617362（体育的概率是游戏的五倍，因此该正文归为体育标签）访问访问(fngwn)内容层面的分析内容层面的分析p网页分类(fn li)分析举例说明第16页/共29页第十七页，共29页。网页 网页1网页2网页3网页4网页5用户 类别标签 网页6浏览 浏览 汽车 网页分类 网页分类 音乐 游戏 访问内容访问内容(nirng)层面的分析层面的分析p通过用户访问网页概率分布获得用户标签和相关权重p通过网页分类(PLSA分类或者SVM分类)得到每个网页在类别(libi)上的概率分布p累加用户访问过的网页的类

8、别(libi)概率分布并归一化,得到用户在类别(libi)上的概率分布p取概率最大的几个分类作为用户内容标签基于上一页的关系,通过语义分析，得到用户、网页、类别间的关联。为后面(hu mian)的用户行为分析，网站内容分析及对比提供基础。第17页/共29页第十八页，共29页。第18页/共29页第十九页，共29页。偏好分析主菜单(ci dn)全景分析 对访问内容偏好情况的总体分析综合分析 对内容进行的35个类别的统计阅读、新闻、游戏、音乐、视频 对五种内容的类型的进一步分析；目前音乐和视频无法分析。个性化分析 针对某个用户号码的个性化偏好，以及适合推荐的业务。根据用户数、用户点击次数(csh)的

9、饼图显示“其他|其他”是访问(fngwn)内容无法归类的内容“|”为标签的分级分隔符一级标签、二级标签目前的分类体系方法，仍在优化过程中。按日查询按地区查询见下页见下页第19页/共29页第二十页，共29页。内容的一级分类(fn li)，目前有35个一级分类(fn li)；根据目前互联网的内容分类(fn li)方式。偏好某个分类(fn li)下的用户号码列表，目前隐藏了中间四位。该内容标签的点击次数占该用户总点击次数的比重“新闻”类的域名的根据点击量进行排行第20页/共29页第二十一页，共29页。阅读类内容的进一步分类(fn li)；目前共45个阅读二级分类(fn li)；可对用户(yngh)偏

10、好的程度进行选择性筛选该阅读偏好的用户在哪些网站访问内容第21页/共29页第二十二页，共29页。p对客户移动互联网行为进行采集，分析，发现用户关注相关(xinggun)内容，为开展营销提供号码支持。人不分高低贵贱，只是环境使然，让一个总统之才出生在“狼窝”，他的内心也会滋生出拔不断根的淫脏瘾窥癖虐的龌龊来。他们一旦(ydn)被主流文化、主流环境所边缘，就会用户行为爬虫采集页面分析偏好：阅读，励志等行为阅读类励志关键词用户视图按偏好、关注点、业务群用户群实时用户群规模分析；励志内容关注群分析；阅读频道行为群分析;用户群提取开展营销营销方案营销支撑第22页/共29页第二十三页，共29页。第23页/

11、共29页第二十四页，共29页。研究成果应用：开展研究成果应用：开展(kizhn)内容个性化推送内容个性化推送根据用户上网行为(xngwi)分析，挖掘冲浪助手用户访问的内容偏好根据内容偏好组织不同内容的热推，与对照组比较效果显著 运营群体：杭州冲浪助手在订用户(yngh) 选取规则：选取wap偏好标签为“财经”、“娱乐”用户(yngh)为测试组，随机抽取2000用户(yngh)为对照组。 内容标签：财经、娱乐 群发时间：每日上午10点左右群发效果：财经偏好用户财经偏好用户 内容：温州眼镜巨头信泰集团老板失踪 传欠款20多亿偏好用户响应率：12.38%对照组用户响应率：1.86%娱乐偏好用户娱乐偏

12、好用户 内容：疑王力宏同性激情照疯传 回应否认偏好用户响应率：5.23%对照组用户响应率：1.39%第24页/共29页第二十五页，共29页。项目项目(xingm)进度执行情况表可作为附件进度执行情况表可作为附件项目研究产出项目研究产出产出成果产出成果承担单位承担单位研究成果：包括研究报告、形成的软硬件平台用户上网行为分析系统标准成果：形成的企业标准及标准化组织成果专利成果：专利情况无试验成果：开展的相关试验室及外场测试工作中形成的试验报告（模板见（模板见xxxx）第25页/共29页第二十六页，共29页。项目项目(xingm)对企业绩效贡献的量化路径图对企业绩效贡献的量化路径图项目特征指标（项目

13、特征指标（PAV）指标名称项目应用前指标现状值：PAVc项目应用1年后指标预期值：PAVe1此项目带来的指标变动量：PAV分析客户数600万2000万1400万企业特征指标企业特征指标网络及生产类（网络及生产类（EAV-PSEAV-PS）指标名称项目应用前指标现状值（EAVc）项目应用1年后指标预期值（EAVe）此项目应用带来的指标变动量（EAV）处理话单量9亿条企业特征指标企业特征指标市场及财务类（市场及财务类（EAV-MF）指标名称项目应用前指标现状值（EAVc）项目应用1年后指标预期值（EAVe）此项目应用带来的指标变动量（EAV）企业绩效指标（企业绩效指标（EPV）指标名称项目应用前指标现状值：EAVc项目应用1年后指标预期值：EAVe此项目应用带来的指标变动量：EAV营运收入营运支出资本开支第26页/共29页第二十七页，共29页。项目特征指标的年度预期项目特征指标的年度预期(yq)数值表数值表项目特征指标（项目特征指标（PAV）的名称：）的名称：项目应用前指标现状值：PAVc项目应用1年后指标预期值：PAVe1项目应用2