大数据和小米金融2

大数据和小米金融方流，小米金融技术总监概述小米公司简介小米金融DW建设用户金融画像大数据反欺诈小米公司-产品手机空气净化器净水器…电视移动电源插线板…生态链平衡车手环…智能家居摄像头血压计体重秤…小米公司-成绩小米金融信贷保险理财证券小米金融-信贷便捷只需要一部小米手机随时/随地灵活第二天即可还款根据信用不同，先息后本/等额本金等多种还款方式极速1分钟身份验证1分钟到账进化随着小米产品的使用/提交资料/使用贷款等方法可以提升信用信用和新品公测/分期等结合小米金融-保险基于智能设备的企业团体健康险健康险车险意外险数据平台基于智能设备与小米大数据的保险业务风险建模保险公司赢利点2：风控与精算定价数据输出TOCTOB业务平台极致性价比的保险产品支持保险业务快速成交、快速服务快速理赔的IT平台赢利点1：产品分销深度定制产品小米保险DW建设架构工具-scribe

-hadoop/hdfs

-hbase

-hive

-impala

-sqoop

-sparkDW建设-业务架构智能家居小米手环小米血压计小米金融/支付外部数据（爬虫/合作数据）小米生活等等小米push小米电视/盒子/视频应用/主题商店多看阅读小米商城业务层设备层数据仓库模型KUDUhbaseHadoop/hdfs反欺诈模型信用模型机器学习/数据挖掘sparkimpalaHiveRscribe政策/运营sqoopSaikuDW建设-log利器之scribeApplication/ScribeclientApplication/ScribeclientApplication/ScribeclientApplication/ScribeclientlocalScribe

AgentAnother

Scribe

AgentHDFSFILEsOther

storageLocal

Storage来自于facebook高性能较好的容错性DW建设-ETL利器之Hadoop/Hdfs每天上T数据ETL批处理DW建设-DW利器之HBaseColumnfamily数量不能太多线上服务（99%读请求10ms左右，写请求5ms左右）容易用map/reduce进行批处理小米账号11月安装<-t110月安装<-t29月安装<-t3columnfamily:app数据columnfamily:商城数据columnfamily:视频数据timestampRowKeyDW建设-数据分析利器之Hive/Sentry类SQL查询语言/易上手无缝对接hadoop/hdfs/hbase使用Sentry进行权限控制缺点：速度较慢DW建设-OLAP利器之Impala对应于google的dremel近实时(分布式查询引擎/中间结果在内存/LLVM/C++等)类SQL查询非常适合OLAPDW建设-数据迁移利器之sqoop业务数据往往都在mysql从mysql到hbaseDW建设-机器学习利器之spark比hadoop更通用（丰富的API）高性能良好的机器学习支持用户金融画像目标属性分析数据稀疏性问题用户金融画像-目标金融属性

-收入/支出/资产/购物/理财/…行为属性(人被行为所定义)

-app/视频/图书/音乐/电话时间和次数/运动/…社交属性(物以类聚，人以群分)

-居住区域/工作单位

-米聊/小米社区

-网络社交（微博/linkedin）人口属性

性别/年龄/学历/…金融用户画像-属性分析基于Spark引入GBDT+LR，GBDT+FM等方法自动发现、组合特征采样：均衡性问题去噪：部分业务数据可能有作弊数据用户金融画像-数据稀疏性-应用数据应用元信息用户评论评分用户行为数据分类：SVM+人工用户金融焦属性-数据稀阳疏性-职业数据定向定向抓取人工修正，需要一些领域知识搜索引擎通过搜索引擎获得语义机器学习分类知识图谱垂直搜索引擎建立公司、职业的知识图谱大数据凉反欺诈-欺诈类眠型盗号-异常环大境监测/手机验证身份伪造-实名认证虚假资料-交叉验证大数据且反欺诈-架构业务接国口反欺诈中壮心DW/Cach坐e外部数据键接入异常特征善发现资料交篮叉验证反欺诈模仇型决策引擎人工审批大数据裳反欺诈-反欺诈联盟反欺诈任徒重而道今远—需要大家企携手如何衡量全各自的价距值？Tha挡nks谢谢观看/欢迎下载BYF苦AITH竖IM湖EAN贫AVI短SION慈OF袖GOOD煤ONE栏CHE滑RISH主ESA世NDT奔HEE霸NTHU烟SIAS江MTH典ATP点