从数据到价值的转变

在衣食住行中，天气除了对“住”没太大直接影响之外，我们的穿衣、出行、农作物的生长，都与其息息相关，在历史上的许多战争中，狂风、暴雨、冰雹、迷雾都曾发挥过扭转战局的奇效，而在金融战场上，农产品领域的天气行情也屡屡上演。天气预报的作用自然不必赘述，而人类是如何预报天气的呢？1913年英国的天气预报员都会监测当天的天气情况，然后找到与这天气的天气情况相似的过去某天的天气记录，此时的天气预测是在假设以前的气候状况会重复的基础上进行的，这不就跟我们交易中运用的图表分析非常类似吗？这时天气预报更像是一门艺术而不是科学。当时有个科学家理查森提出利用物理和数学知识，比如流体运动方程等等，就能预测第二天的天气。在当时的情况下，要想预测6个小时后的天气情况，需要一个专业人员6个星期左右的计算与准备时间，而且是一天24小时不眠不休地连续工作6个星期才能得出结果。他几经尝试，得出的计算结果基本上全都错得离谱，计算过程中需要的资源无比让人抓狂，他设想过一个天气预报作坊：在一个铺着世界地图的大厅中，人工“计算器”坐了满满一屋子，一群精通数学的人们埋头苦算各自桌子覆盖区域的天气情况。要想真正跟上变化无常的天气，预报作坊至少需要20万人，所以1913年把天气预测从一门艺术变成一门精确科学的梦想也就不了了之了。一百年后的今天，我们的全球天气预报系统在过去五年里对未来3天的天气预测的准确度已经达到了95%，而这一取得巨大成功的系统正是源于理查森所描述的方法与理念，他之所以错得那么离谱，计算能力不足是一方面，他掌握的数据不足是另一方面。首先我们必须有足够的数据，就拿海浪天气预报来说，最早的时候受限于科技水平，传感器只能监测海浪的能量，过了一阵子可以计算它的方向，再之后能够计算它的传播速度、偏度和峰度。传感器布置的数量和广度也从开始的星星点点、零零散散，到后来覆盖全部海岸线，从浅水到深水„„想让预报更加贴近于实际情况，我们需要在人类生活的物理环境当中广泛部署微小的计算设备与无处不在的互联网相结合，实现无处不在的信息自动采集、传递和计算。现在的气象系统依靠的是精密的气象雷达、卫星遥感器与不计其数的地面传感器等等，地面和高空的温度也会在世界各地的气象站即时更新。2011年10月，美国国家气象局在全国2000辆运输大巴上装备了传感器，随着巴士的移动，这些传感器可以收集沿途所有地点的温度、湿度、露水、光照度等数据，并立刻传回国家气象局的数据中心，数据采集是每10秒钟一次，每天传感器采集10万次以上的数据。这些数据是实时的、高精度的，而不再需要像理查森那样到处收集参差不齐的大气情况数据。另外，高速计算机已经取代了他要求的二十万左右的人工计算者，而且还规避了那些妨碍计算的不稳定因素，这意味着，我们对于短期天气将不再仅仅是“预”报，将逐渐走向“实”报与“精”报。然而当我们想预报的周期越长、范围越是分散时，需要考虑的因素就越多，局面就越超出想象的复杂，它就越可能变得混沌而难以预测。科技发达至今天这般地步，我们对未来3天的天气预测还有5%的不确定，如果我们对当下的现象还有一丝不确定，那么不确定因素随着周期扩大，就会快速扩大，使得长期天气预报变成徒劳，正是因为这个原因，现在人们还是难以预测两周以后的天气情况。科学家们还在不懈努力，驱使着他们的是一个从未动摇过的信念：自然现象能够被人类理解、描绘、量化和预测，并最终受人的控制。大部分人对科学很是痴迷，而抱有这份信念的好处在我们身边随处可见。因为预言是人类最古老的梦想之一，如若我们能知道将来我们会遭遇些什么，我们能据此调整我们的策略并从这种知识中获益。对于做交易的，这种梦想尤甚。难道人类的预知能力真的存在一种难以逾越的障碍，即使理论再强大、资料再充分、电脑再快也无济于事？于是量化交易，又成为了很多人的一大梦想，用公式打败了市场的西蒙斯的大奖章对冲基金又成为了人们的榜样。复兴科技里雇佣了一批大规模海量信息处理的行家里手，他们用超级电脑快速处理大量数据的优势来预判市场极短期的大概率方向，以捕获过激情绪反应的模式作为主要盈利手段。他们究竟是怎么做到的，西蒙斯曾经说过：“有效市场假说是基本正确的，也就是说，市场上没有什么明显的套利机会，但是，我们关注的是那些很小的机会，它们可能转瞬即逝。这些机会出现之后我们会做出预测，然后进行相应的交易，交易之后，我们又对新的市场情况进行跟踪和评判，我们的预测也会作相应调整，当我们的预测变化之后，我们的投资组合也会跟着变化。我们整天做的就是这个事情，我们总是不停地买入，抛出，我们之所以赚钱，就是靠我们不停地交易。”寻找这类机会，计算是否满足各类条件需要很强的计算能力，因为你可能需要对市场上的各种交易进行连续监控，获取各类数据，并且在最短的时间要做出响应，我们根据已有的资料分析，这类模型仍然是大奖章使用最多的一类模型：追踪很短线的市场过激反应，采取相应的买卖手段，等待市场的回归。西蒙斯自己也说过：当市场波动性比较高时，大奖章的模型一般表现比较好，大奖章使用的这类短线过激反应的模型正适合于市场上下起伏状况：大家都摸不着北，一会要买，一会要卖，西蒙斯的电脑模型正好在浑水里摸鱼。记者：您能说说大奖章基金的投资策略吗？西蒙斯：没什么能说的。记者：你使用什么金融工具呢？西蒙斯：所有的。记者：您有多少种不同的交易策略？西蒙斯：很多。记者：您靠什么赚了那么多钱？西蒙斯：运气复兴的一些交易策略着重分析那些较少为人所关注的数据来源，这些数据来源较少被人关注一般是有原因的，常常是所需要的技术的复杂程度很高。比如记录市场里的所有挂单，特别是一些巨额挂单，关注他们是否撤销，是否成交，如果没撤掉，被吃掉之后，行情短期内可能怎么走，怎么跟进；如果撤掉了，又可能怎么走，怎么应对，等等，普通人脑可以凭借经验对几个自己熟悉的品种进行类似的关注和操作，而超级计算机可以通过机器学习关注所有品种，全球的所有品种。（机器学习，是人工智能的一个分支，通过在大量数据上运行分析程序，达到让计算机自动学习，积累智能的目的。）复兴成功的秘密不在一个公式上：它有很多不同的公式，适用于不同的工具和不同的市场条件；而且量化投资的模型一般会随着时间的推移而出现“疲劳”，所以任何量化基金都需要不停地改进自己的模型，这个过程通常是交叉和变异的过程：对已有模型的参数进行更改，在模型上加上其他一些条件，或者将两种模型套用，有时候也会加一些全新的模型。它另外还有很多公式，帮助它进行风险管理（何时入市、何时止损、何时止盈、每种交易公式之间的权重分配，杠杆的配置等）；它还有很多公式控制公司的交易成本。退一万步，如果西蒙斯把大奖章所有的公式都交出来，能把这些公式变成钱的公司和个人在全球仍然是屈指可数。同样是在做短线交易，大多数人会疲劳，会犯错，会失控，再加上交易成本对利润的吞噬，难逃亏损的结局，但电脑程序只要在设计时，在细节考虑上足够全面，至少能让自己立于不败之地。孙子兵法有云：“不可胜在己，可胜在敌”，只要自己不出现非受迫性失误，等着别人失误就可以得分了，等别人大量犯错的时候，它就能够成为少数的持续性赢家。让我们从广义的角度来看看数据是如何转化成价值的：在信息爆炸的社会，人类可以“分析和使用”的数据在大量增加，呈指数级增长，各种传感器的剧增，高清晰度的图像和视频，都是数据爆炸的原因。我们的注意力，都在被各种各样的信息和数据消费着，信息越丰富，就会导致我们的精力越匮乏„„信息并不匮乏，匮乏的是我们处理信息的能力，我们有限的时间和注意力是我们的主要瓶颈。如何收集、过滤、保存、维护、管理、分析、共享正在呈指数级增长的数据是我们必须面对的一个重要挑战。如图所示我们从规模和价值两个维度，把所有数据分为三类：A数据价值2信息数据规棋继大的，价值越小数据数据规模从数援到价值的转变赋予背景信息扌觴规律知识指导实践数据只是数字化的记录，其本身并无意义；把原始数据放蚤到一定的背景下，对数字进行解释、赋予意义，就变成了信息;而通过对信息的进一步整合*分析.深耕和挖掘，人类可以发现新的矢頌；数据是信息的载体.是知识的源泉，当然也就可以创造新的价值.效用和利润。针对过去，掲示规律1r扌分析针对过去，掲示规律1r扌分析k数据挖掘面对旃预躺势预测性

分析blog.sirisLCorrLcn/u/210/o/ol12要玩转数据需要：做好数据收集工作；做好数据挖掘工作；把知识化为真正的行动。以学习一项技能为例：我们可以用自我量化的形式开始收集数据：自我量化是指利用计算机、智能手机以及各种新的电子便携感应器来记录自己学习、工作、运动、休息、娱乐、饮食、心情等等个体行为的情况，就像我们需要对体重、身高、血压、心跳等物理指标进行监控一样。自我量化的主张者认为，为了更好地了解我们、提高自己，我们必须要用数据来记录、研究、分析自己的行为。其理由在于：人的感觉中存在盲点，直觉不可信任，理性思维也有局限，大脑即使有惊人的记忆力，也未必有惊人的信息加工能力。很多时候，我们会高估自己的理性，低估情绪对我们的影响。认识自己虽然很难，但非常重要。基于数据的记录和分析，可以帮助我们走出错觉。认识真正的自己。一边实践，一边进行相应的记录，累积成数据库，当你从自我量化中，认识了真正的自己，发现了自己真正的长处和短处在哪里，哪里需要改进和提高，哪里需要回避，哪里可以大胆发挥，然后逐渐地去改变自己。从知识过渡到实践很困难，通往不幸有一个最简单的步骤：什么也不做。遗憾的是，我们大多数人知道了该怎么做之后，正