大数据和商业决策.ppt

1、大数据与商业决策,PALANTIR的故事,硅谷情报分析公司 估值200亿美元 中情局风投部起家 传言协助击毙本拉登 Palantir情报分析师培训期一年,问题与挑战,安然公司破产，指控其CEO（David Delaney）与Mariner公司发生内幕交易， 缺乏证据,数据,安然内部30万封邮件被公开，当时最大规模的公开司法数据,模型,自然语义分析：实体抽取，文本分类，事件抽取。 信息：近千条提及Mariner公司的邮件中，David发出的3封邮件对其公允价值进行计算,认知,关联挖掘： 情报： 1）David对Mariner公司的公允价值计算虚假高估 2）邮件发出的时间 vs. David出售M

2、ariner公司股票时间同轴匹配 3）全部邮件中的人名抽取，关联分析David关联人员,理解,1）David 发出虚估Mariner公司公允价值的邮件时间节点与其出售该公司股票的时间吻合 2）David邮件关联人员中，有多人在Mariner公司重要部门担任要职,安然内部交易案邮件分析,2001年11月2日，安然公司宣告破产，这起美国历史上最大的倒闭事件震惊全球。同时，安然留下的百万封电子邮件，成为了当时最大规模的公开司法信息数据库。 Palantir 通过整合结构化数据（财务交易记录、公司内部图表等）和非结构化数据（邮件、文档等），并加以分析处理，最终挖掘出支持指控安然前CEO David d

3、elainey进行内幕交易的重要证据。,视频地址：,搜索事件,美国证监局对David delainey控诉书中，提及其可能与Mariner公司存在关联，需判断是否存在内幕交易行为。,Mariner公司,结构化处理 跨数据分析研究 挖掘关键结点,邮件库中提及Mariner公司的事件有近万条；通过观察Mariner公司的事件时间轴与“David Delainey出售股票”事件的重合点，定位可疑时间段，缩小范围；该时间段内David 共发出3封邮件，其中一封提及对Mariner的公允价值的计算存在虚假高估的情况。,10,000,3,Mariner公司 +,David Delainey 出售股票,挖掘

4、多维关联,此外，对全部邮件事件进行关联挖掘，发现Daivd的关联人员中，多人在Mariner公司重要部门担任要职。,发现其中隐藏的规律与关联,整合不同来源的海量数据,Palantir 做了什么？,商业情报分析流程 大数据时代的认知,获取数据,分析数据,信息认知,理解解读,决策制定,对决策的影响,机器的参与,？,？,？,应用：Image search,应用：Auto tag,图像识别,获取数据,分析数据,信息认知,理解解读,决策制定,对决策的影响,机器的参与,？,？,？,AlphaGO,规则简单 计算量大,GO,16万对局棋谱 几千万自我对局学习,问题规则？ 学习数据？,信任？！,应用：游戏,应用：商业,商业情报分析流程 大数据时代的认知,海量公开信息：G8开放数据宪章,2013年6月，8国集团首脑签署了开放数据宪章，主要包括14类数据：,海量公开信息：中外部分国家数据公开对比,什么是“非结构化数据”,非结构化数据