大数据分析技术在房产领域的实践_第1页
大数据分析技术在房产领域的实践_第2页
大数据分析技术在房产领域的实践_第3页
大数据分析技术在房产领域的实践_第4页
大数据分析技术在房产领域的实践_第5页
已阅读5页,还剩18页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

大数据在房产领域的实践提纲•蜀道难难于上青天•行困难而正确之事•往事可鉴未来可追蜀道难难于上青天••••客少、物少———————数据来源少买卖行为少周期长———行为数据稀少线下行为重容易分流—线上线下难打通业务复杂性—-————分析挖掘无坦途提纲

•蜀道难难于上青天行困难而正确之事•往事可鉴未来可追提升服务品质的环节•••••房源真实无虚假合适的房屋给合适的人

房屋买卖不再难

缩短周期见效率

减少资源浪费效果概述1000万/天数百万/天数T级别/天6000万2300万效果概述

经纪人91/150维

业主/房54/319维

客户32/107维23/55维33/81维27/72维升30%应用挖掘数据采集计算DW存储分析计算技术架构手动调度

认证系统

权限

安全

ETLDS

FlumeCollectorSETELinkhdiclog文件

Kafka日志流其他HDFSSparkHiveHadoopMeta

MR

HBaseYarnBIWeb可视化

OLAPData

Service

RDBSNginx

HueAdhoc市场报告解读客源解读A房推荐业主端链家指数数据频道用户画像房源画像小区画像业主画像经纪人画像房屋估价elasticsearch,hbase,spark等成熟的开源数据存储、处理系elasticsearch存储、索引融合层全量数据,线上用户行为数据线上日志流处理并传送至elasticsearch集群。用户画像••••统上全量索引以及热数据hbase存储线上用户行为数据spark完成批量和流式数据处理,包括线下全量/增量数据导入,用户画像用户画像KV查询:如通过手机号查询客源的一切数据数据筛选:如筛选西山商圈,近三个月新增房源的小区名、挂牌价和房屋状态,要求房屋必须是精装修或大于3居室OLAP查询:

如查询海淀区2015年不同月份客源带看次数的分布用户画像用户特征倾向居室特征分布面积特征倾向价格特征分布区域特征倾向应用挖掘数据采集计算DW存储分析计算行困难而正确之事KafkaETLFlume调度

认证系统

权限

安全DSSETELinkhdic

Collectorlog文件

日志流

手动其他HDFSSparkHiveHadoopMeta

MR

HBaseYarnBIWeb可视化

OLAPData

Service

RDBSNginx

HueAdhoc市场报告解读客源解读A房推荐业主端链家指数数据频道用户画像房源画像小区画像业主画像经纪人画像房屋估价房屋估价90%房屋估价经纪人业主/房客户房屋价格房屋估价房屋估价估价准确:diff

<=

5%房屋估价房屋估价房屋估价DataSource1DataSource2DataSourceN….

ExtractFeatureExtractFeature

FeatureTransform

FeatureTransform

LOF-样本异常点处理多模型并举

ANN

Hedonic

GBDT

EvaluateEnsembleBest

Model房屋估价•

LOF(Local

Outlier

Factor)算法是一种机遇密度的异常检测算法,•

通过计算每个实例相对于其邻居的孤立情况来判断这个实例是否为离群点•

为每一个每个实例计算一个异常分数,这个分数称为实例的局部离群因子(LOF)•

较高的LOF值指示这个实例可能是异常的,较低的LOF值指示这个实例可能是正常的提纲

•蜀道难难于上青天•行困难而正确之事•往事可鉴未来可追

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论