论MAC定位技术的大数据民用应用

论MAC定位技术的大数据应用(民用版)修订历史记录版本日期CAMD修订者说明0.12015-05-26C宋为创建初稿，标题为论PC定位技术的大数据应用0.22015-05-27A宋为1、修改标题为论MAC定位技术的大数据应用2、添加了数据采集方式及民用前景（C-创建，A-添加，M-修改，D-删除）目录前言4用户环境5数据采集原理6数据采集方式6数据传输方式7建模参数7民用应用前景8公共安全和个人隐私的矛盾10民用应用经营运作方式10前言随着电脑终端及移动设备的普及，信息化时代的舆论走向管理及信息安防大数据等新时期的需求开始凸显重要性以及加强管理的必要性。在传统方式上的电脑定位大致是通过技术手段获取到电脑所在网络出口IP地址，然后通过运营商查询相关IP的登记属性。这种方式步骤繁琐，流程冗长。本文是用于探讨新信息时代的大数据管理方式模型，以提高PC、笔记本等电脑终端设备定位的查询效率。移动终端的普及，带动了WIFI的发展，现在家家户户以及一些非涉密企事业的办公室，基本上都部署了无线路由器。这是本文探讨的大数据采集模型的基础。本文所述技术思路、应用流程均为开放文档，作者拥有本文版权，任何民间单位、团体、个人都可以采纳、引用，且不得具此申请专利而限制他人应用及使用。但政府执法机关采用和限制其他团体及个人使用不在此声明之中。用户环境首先我们梳理一下网民的常用应用：手机：微信、手机QQ、陌陌、百度搜索、WIFI万能钥匙、高德地图、百度地图、腾讯地图、谷歌地图。电脑：QQ、阿里旺旺、QQ安全管家、360杀毒、350卫士、百度杀毒、百度卫士。手机上的地图软件，除了能够展示地图外，还能够通过手机本身的功能定位，定位精度一般能达到10米以内。此处所述的定位功能，既包括GPS定位法、北斗定位法，也包括基站定位法，前者精确，但需要定位设备处于卫星信号范围内；后者虽然只有大致范围，但一般也能精准到半径100米的范围内。这在民用级应用中是足够了。目前所有的手机地图软件，技术上都可以采集手机的经纬度定位地址、手机所在WIFI网的路由器MAC地址(不是优先采集SSID)。因为MAC地址是格式单一、编码唯一的，而SSID则必然存在名称重复、字符集多样性的情况而不方便被唯一性采用。以上列举的只是常用手机软件中，带定位功能的软件；目前的手机APP软件，相当多的软件都包含了读取用户当前定位信息的功能，因为它们也在尝试建立自己的用户大数据中心。但目前各个APP软件采集到用户定位信息后，如何进行系统化和规模化大数据应用挖掘，目前还没有比较成熟的案例。数据采集原理当一个手机连接到WIFI，获取到IP地址可以上网后，手机上的内置软件读取到手机的定位信息，读取到无线路由器网关地址的MAC信息，传送到软件服务器的数据库中保存。这实际上就定位了大多数路由器的地址，只要它的局域网里面有WIFI接入点，它又是一个网络的网关，可以供其它电脑终端上网，那就能把一批电脑终端的大致定位都确定了。从这可以看出，用户群体越大的客户端软件，越能详尽的、精准的、尽快的完善数据资料。当电脑终端以有线/无线方式连接到网络时，它必然是要通过网关连接到互联网的，而通过采集电脑终端的网关路由器MAC信息，和数据库中的MAC地址进行比对，就能很快的判断出这台有线/无线设备的定位，数据可以精准到一个大楼的位置。数据采集方式手机终端：1、由手机厂商后台预置，在手机登录到WIFI以后，获取路由器网关MAC地址信息、SSID信息传送到服务器数据库。2、由常用手机软件采集：微信、QQ、陌陌、WIFI万能钥匙等安装普及率比较高的软件厂商，在软件登录到WIFI的时候，获取路由器网关MAC地址信息、SSID信息、并扫描同网段其他设备ARP地址表，传送到服务器数据库。3、附加采集：软件在初登录WIFI成功后扫描，或定期扫描同网段其他设备ARP地址表，传送到服务器数据库。这种采集不是必要的，但有它的警用应用前景。电脑终端：由桌面软件厂商采集网关路由器MAC地址，到服务器查询设备自身所在坐标。定位数据库比较全的厂家，可以将坐标信息有偿开放查询。比如QQ、360、飞信、天翼等软件或者网上营业厅的ActiveX控件，在我国的电脑终端应用部署量达到了数亿。完全可以利用这个平台进行非移动设备的定位及增值业务推广。数据传输方式单个环境，数据传输的数据量并不大，但由于涉及到相关设备信息，不建议明文传输，建议数据进行压缩加密后进行传输。由于数据量并不大，而且不需要精准记录，可以选择以UDP协议单向传输，即使某次未能成功记录，其他的移动设备也有一定概率进行数据采集和传输的。建模参数需要建模的表结构以及采集的数据容量：1、 表1：路由器MAC地址、定位坐标、定位时间以及坐标偏移量：路由器MAC地址：预留IPV4和IPV6地址段，IPV4是一个6字节的字符串，IPV6是一个16字节的字符串。定位坐标：N字节数预留定位时间：年月日时分，记录第一次生成记录的时间点。坐标偏移量：N字节预留，采集方式是GPS还是基站定位法。在其他定位设备数据上传到服务器时，在一定偏移量的误差范围内，不进行坐标数据和时间数据更新。由于GPS定位会比基站定位法更精准，因此假如移动设备到达户外，采集到了更精准的定位地址，则服务器上更新定位坐标。2、 表2：本路由器MAC地址下定期采集到的内网MAC地址，只采集IPV4格式，每个信息6个字节，加上年月日时分标签。3、 其他：待完善。民用应用前景：1、 PC、笔记本的定位：很多第三方软件需要根据用户群体所在位置，定向推送相关实时信息，比如QQ的新闻泡泡，当用户在北京时就推送北京的重大新闻信息，当用户在湖南时就推送湖南的重大新闻信息。未来更可做到当用户打开网页，选择政务公开中心时，自动推送所在辖区的相关政务信息，甚至可以精确到社区位置。运营商如果也采用了这套大数据系统，也可以精准的定位，而运营商都有自营手机，要求手机厂商按自己的格式需求集成大数据采集后台是有便利的。2、 IP地址定位软件的自动更新：以往的IP地址定位系统，都是基于IP段的分配，而由于IPV4地址池不够用的情况下，一些小区运营商采用大内网，异地出口的方式，往往使得定位判断软件判断失误；或者有一些IP段分配信息的变动导致程序判断错误，都可以用本方式对客户端真实坐标地址进行精准判断和修正。3、 软件加密狗防复制、窜货：很多软件厂商在使用加密狗以后，还面临加密狗被复制、加密狗被窜货的窘境，这为知识产权的保护带来了负面效果。但我们发现很多中小型用户终端，既部署了服务器，也部署了WIFI，而且都是基于一个局域网共享上网的。现在很多应用软件也越来越多的不仅支持PC架构，也支持手机终端使用。因此如果应用软件增加一个在移动客户端进行网关MAC地址采集，在服务器端进行网关MAC地址验证、定位加绑定加密狗的方式，就能有效防止加密狗被复制、被窜货的窘境了。4、 电脑防盗：如果这个信息数据库足够丰富的情况下，那么用来进行电脑防盗也是一个不错的应用范畴了。电脑厂商可以在EFI或者开机预装软件中记录上网时的路由器MAC地址，并且和黑名单库进行比对。那么在电脑遗失后，小偷或者收赃的人一旦开机上网，就可能被定位，锁机。5、 网银控件增值服务：一般用户如果在电脑上使用网银时，都有ActiveX控件，如果该控件对用户网络网关进行采集并提示用户上次操作地址，而且还可以在网银每次有变动后，进行定位手机短信提醒，既有助于用户对自己的资金掌控，也利于对一些网银案件的追踪。公共安全和个人隐私的矛盾本技术采集的信息，仅仅限于设备本身，除了MAC地址，定位信息，并不采集涉及到用户身份的相关信息，但基于社会人际关联关系，是可以分析到很多内容的。因此还是需要有严格的