版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
大数据在房产领域的实践提纲•蜀道难难于上青天•行困难而正确之事•往事可鉴未来可追蜀道难难于上青天••••客少、物少———————数据来源少买卖行为少周期长———行为数据稀少线下行为重容易分流—线上线下难打通业务复杂性—-————分析挖掘无坦途提纲
•
•蜀道难难于上青天行困难而正确之事•往事可鉴未来可追提升服务品质的环节•••••房源真实无虚假合适的房屋给合适的人
房屋买卖不再难
缩短周期见效率
减少资源浪费效果概述1000万/天数百万/天数T级别/天6000万2300万效果概述
经纪人91/150维
业主/房54/319维
客户32/107维23/55维33/81维27/72维升30%应用挖掘数据采集计算DW存储分析计算技术架构手动调度
认证系统
权限
安全
ETLDS
FlumeCollectorSETELinkhdiclog文件
Kafka日志流其他HDFSSparkHiveHadoopMeta
MR
HBaseYarnBIWeb可视化
OLAPData
Service
RDBSNginx
HueAdhoc市场报告解读客源解读A房推荐业主端链家指数数据频道用户画像房源画像小区画像业主画像经纪人画像房屋估价elasticsearch,hbase,spark等成熟的开源数据存储、处理系elasticsearch存储、索引融合层全量数据,线上用户行为数据线上日志流处理并传送至elasticsearch集群。用户画像••••统上全量索引以及热数据hbase存储线上用户行为数据spark完成批量和流式数据处理,包括线下全量/增量数据导入,用户画像用户画像KV查询:如通过手机号查询客源的一切数据数据筛选:如筛选西山商圈,近三个月新增房源的小区名、挂牌价和房屋状态,要求房屋必须是精装修或大于3居室OLAP查询:
如查询海淀区2015年不同月份客源带看次数的分布用户画像用户特征倾向居室特征分布面积特征倾向价格特征分布区域特征倾向应用挖掘数据采集计算DW存储分析计算行困难而正确之事KafkaETLFlume调度
认证系统
权限
安全DSSETELinkhdic
Collectorlog文件
日志流
手动其他HDFSSparkHiveHadoopMeta
MR
HBaseYarnBIWeb可视化
OLAPData
Service
RDBSNginx
HueAdhoc市场报告解读客源解读A房推荐业主端链家指数数据频道用户画像房源画像小区画像业主画像经纪人画像房屋估价房屋估价90%房屋估价经纪人业主/房客户房屋价格房屋估价房屋估价估价准确:diff
<=
5%房屋估价房屋估价房屋估价DataSource1DataSource2DataSourceN….
ExtractFeatureExtractFeature
FeatureTransform
FeatureTransform
LOF-样本异常点处理多模型并举
ANN
Hedonic
GBDT
EvaluateEnsembleBest
Model房屋估价•
LOF(Local
Outlier
Factor)算法是一种机遇密度的异常检测算法,•
通过计算每个实例相对于其邻居的孤立情况来判断这个实例是否为离群点•
为每一个每个实例计算一个异常分数,这个分数称为实例的局部离群因子(LOF)•
较高的LOF值指示这个实例可能是异常的,较低的LOF值指示这个实例可能是正常的提纲
•蜀道难难于上青天•行困难而正确之事•往事可鉴未来可追
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 幕墙成品保护合同范例
- 土方堆卸合同范例
- 财政资金监管承诺书
- 房产债权转让合同范例
- 杭州企业鲜花租赁合同范例
- 兼职外包公司合同模板
- 服务及授权合同范例
- 水泥砖订购合同范例
- 工厂易货合同范例
- 承接屋顶防水销售合同模板
- 企业刑事法律风险防范课件
- 幽门螺杆菌健康宣教PPT
- 山西省灵丘县山西省刁泉银铜矿业有限公司银、铜矿资源开发利用、地质环境保护与土地复垦方案附件
- CQI-12涂装系统评审
- 初一数学考试重点100题(附答案解析)6
- 教学课件 国际货运代理-肖旭
- 中国图书馆分类法讲座
- 教学评一体化的教学案例 课件
- 《语言学概论》第五章 语义和语用
- 内科学教学课件:Tuberculous Meningitis (TBM)
- 导读工作总结优秀范文5篇
评论
0/150
提交评论