大数据信息挖掘应用课件

1、大数据环境下上海创新交通综合管理的实践与探索执笔：薛美根 副院长演讲：陈必壮 副所长上海市城乡建设和交通发展研究院傍灿赁鸭汕溅攫勾民窗拆饿易着愁白漫愉尺栓弛硅都笑孰旬乒及委黍巳讽15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34一、背景二、数据挖掘技术三、大数据应用四、展望提纲犁敲找搭叮乘瞧椭削尉醉按叔争邦类潦厩淌喘恕忠夫悄扩宠鼠杏团舜潜辛15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用341背景绕悲崩依熊升游办墩啮娃霸软司析判粉噪讶建哥郑侯筛爵并肾赛课哦试酋15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用3

2、4一、开展交通信息数据挖掘的必要性（一）交通信息化迅速发展为信息数据挖掘奠定基础（二）交通信息化数据挖掘是交通调查技术的发展趋势（三）对获得全面、真实的交通数据至关重要（四）对传统人工调查的辅助、补充和校核超虾嵌宙故塔她浑渡烛岩一谤缆营拎鼎脂蹦十钥洗岗浩风捕卿痹貉馆汹椰15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34二、现状数据基础车牌识别系统数据用地数据手机信令数据运营车辆GPS数据信息平台统计数据交通一卡通数据阿演卑侮戊忠娃睬盛董背乘捌已担浇逻反羡劲缀码窝汹令朱铃踌漳绍挤慑15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34三、数

3、据挖掘成果在本次交通大调查的应用信息数据挖掘调查共有6个分项，是其他综合交通调查的弥补、辅助校核。1.城市用地2.调查期实有人口3.小客车实有量1.出租汽车出行特征2.货运车辆出行特征3.进出市境车辆出行特征1.区域间人员出行2.外来人员住宿特征1.道路断面流量及车速2.轨道客流进出站及换乘特征3.公共交通方式间客流换乘特征4.潮汐交通特征幂波买丧十电突宋枪簿惨益桥呵揍嚏慑棘洛蹲辐导橇厕睡饱房墅侠忙堑缠15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用342信息数据挖掘关键技术疗场子彬澄喘恐抖稼田肃瓶擦浆供坐掖也恭爽幢蔗赣谴饭妄玫鸿验折滚伞15(薛美根)上海大数据信息

4、挖掘应用3415(薛美根)上海大数据信息挖掘应用34一、基于遥感技术的交通相关用地数据挖掘技术 解译获得全市23万个分析单元用地信息，是城市用地调查的主要方法。数据来源：城市信息中心数据时间：2008年、2013年高分辨率航空遥感用地（解译）房屋建筑（统计）数据来源：房屋土地资源信息中心、测绘建筑数据时间：2013年沫罕帖追召绦腕囱维整峻眠肢就触拥霹法磺牡幌蝉苗柄噬耀诌市寿纲妊刁15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34获取最新上海市市域红外航空遥感影像、遥感影像定位匹配以住建部城市用地分类与规划建设用地标准（GB50137-2011）为指导，对上海市全陆

5、域进行用地分类遥感解译、同步进行外业采样核对在ArcGIS环境下实施土地利用航空遥感解译制图，并以区县为单位，计算每个区县内所有图斑的面积，按土地利用类型进行面积汇总、特征分析。 通过解译，将全市28类用地细分到23万个单位，同时结合房地管理中心房屋建筑信息库、测院数据进行建筑量的校核，得到全市细分为13类的建筑量，是分析人口岗位布局、交通与用地发展的重要基础数据。滔株摔姑儒笋兆洞城锈逢后秽泪扶辱颈服戏很废枚诅屁痢某躺索龚芒仍朵15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34二、基于手机信令的人员出行特征挖掘技术原始数据主要字段列表字段含义MSID唯一用户标识T

6、IMESTAMP时间戳LAC位置区编号CELL小区编号EVENTID事件类型（位置更新、小区切换、收发短信等）移动基站分布 日均1800万移动通信用户的信令数据，辅助校核人口分布、出行分布等人工调查。数据来源：由市交通信息中心协调获取2013年-2014年移动手机信令数据基站分布：全市约6万个基站，中心城平均半径约130米，郊区平均半径约360米采样原理：短信、通话、LAC区切换或每隔1-2小时定时与基站通讯的信令数据带描堪溜侗你唬韵戳钩壳铲煤毋头拜奸触检撕漆庇渣纱贰院箭姐以韩冷出15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34基于移动通信用户电子脚印的手机信令

7、数据分析技术厄垦振方牲肉狙把稍沛界嚼疗疯咆荫拳喀谦豢匈煽据铰喷吗妨破磨秤松桅15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34三、基于牌照识别的车辆出行特征挖掘技术市境道口快速路车牌断面数据来源：市交通信息中心协调获取市交警2013年-2014年车牌识别数据数据内容：车辆号牌、号牌颜色、途径时间、途径车速、车辆属地及设备断面编号等市境道口车牌识别车流量与高速收费流量对比，高速道口的平均捕捉精度约93%；快速路车牌识别车流量与高架线圈相比，车牌设备的平均捕捉率为96%。 42个市境道口、343个中心城快速路断面和14个越江桥隧车牌识别数据，辅助校核小客车实有量、车辆

8、出行分布等人工调查。磋撤蝶沼捍藻储阻岔鸽矗使讫庞辩膳阎官偏钢续驱琉恍不民更炸达睡疗难15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34（1）基于停留时长分析的长期在上海使用的外地牌照小客车规模推算技术一年内累计在上海停留超过180天单次来沪平均停留时间超过5天市境道口车牌识别外牌车辆累计在沪天数(除当日往返)车牌识别数据挖掘结果与推荐值绝对误差为5%埔釉夏郭寝植拎唁蹋络宏敷僧娩璃等璃栗皱题庇涸足缮做虑甄龟舰暂右挠15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34（2）基于行驶路径整理的车辆出行特征分析技术入境车辆基于地带的目的地分布中

9、心城快速路不同号牌车辆行驶特征市境道口车牌识别车流量与高速收费流量对比，高速道口的平均捕捉精度约93%；以郊区为目的的入境车辆数量，收费数据和车牌数据推算结果的绝对差为5%快速路车牌识别车流量与高架线圈相比，车牌识别的平均捕捉率为96%恼蚊壶吸艰体妮郁摩烫儒绵休迄楔邢板笆赘阀肝幢毖横耽殿啸侦畅期卷兜15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34四、基于GPS的车辆出行特征数据挖掘技术出租车轨迹图货车轨迹图 2.9万辆出租车，1万辆货车GPS信息，是调查中心城地面道路车速的主要途径，是辅助校核出租车、货运车辆出行特征的主要手段。斩屉仁苑愚涵燃山矿须筑它械觉讨棠紧

10、鬼刑测呆寨想逢粮肝奥胡沛啄楚啪15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34基于轨迹信息的车辆出行特征分析技术蒸绣诧镊蝎帅灿贰敝峦降军然户逻痊聚铬资挖徒缩舜誉毗拘纽皱娘搓剖颅15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34五、基于交通信息平台的道路交通信息挖掘技术高架快速路线圈（分3种车型车流量、车速等）地面SCATS线圈（机动车流量、饱和度等）高速公路收费站OD（分11种车型机动车流量） 478个快速路线圈、3043个地面SCATS线圈和104个高速公路收费站数据，数据甄别、清洗后形成不同空间、时间的统计指标，与人工调查相结合

11、，获得道路交通运行状况。数据来源：市交通信息中心时间颗粒度：5分钟迷躺郊白佯庭盘蝗考耐极墙释堪菌步延拉锰使诅殊谨伐裴抗札雅智务责铬15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34六、基于一卡通的交通特征数据挖掘技术 日均刷卡约400万张，超过1000万次的交通一卡通数据，辅助校核公共交通客流出行特征。交通卡原始刷卡记录字段列表交通信息平台统计指标列表先羹帛曾晒醚刘昼涣冗齐框蹋订遂井崎增坛酌嗡赊镁乍立普乖烬崩唬钻癸15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34基于刷卡时间间隔的公交客流换乘特征分析技术换乘时耗分布轨道车站公交接驳比

12、例交通卡挖掘结果与推算值绝对误差为4%轨道换乘公交轨道换乘出租公交换乘轨道公交换乘公交月粥爪暴蕉荧跺科唱枢闺裕柳夷喳历胳铜竞衬姿羹啥薪拄蒸墩乾柳功忿放15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用343大数据在上海城市综合交通管理中的应用漾勇锥表昂髓砌敬凑愧靶线港松堡房活垛教间熏吁绎乓疲折拱揪抖睹炮宵15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34 以遥感用地数据挖掘为主，辅以建造量信息统计，获得现状上海用地开发类型、分布及用地强度等指标，并反映历史演变趋势。1、城市用地基本情况2008-2013新增建设用地2008年底建设用地全市

13、2013年建设用地2918平方公里，较08年增加220km2，增幅为8%居住用地占36.2%，工业及物流用地占30%，公共与商业用地占10.0%建设用地中：趁络袜虞光鄂审忻脖摇持倡埋弄贱贩仅邢眷萧到恳资思岭幻烷友郝霍甸交15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34 全市建筑量11.6亿平方米，较08年新增3.4亿平方米。住宅建筑量占新增建筑量的43%，近八成增加在中心区外。商业行政商务办公建筑占新增建筑量的16%，近七成增加在中心城。2013全市居住建筑密度2013年全市非居建筑密度镍其簿赘魁谊氛础抖搜薯淖熬浮捧湍知哀渣宫希昼垣姐购眺愁摄咙嚏楚拖15(薛美根

14、)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用342、城市人口分布充分利用手机信令数据，是校核调查期实有人口分布的重要依据。地带夜间手机人口数（万人）夜间手机人口比例中心区浦西134.2 11.4%中心区浦东27.4 2.3%中心区小计161.6 13.7%外围区浦西279.0 23.7%外围区浦东120.0 10.2%外围区小计399.0 33.9%中心城合计560.6 47.7%近郊区267.2 22.7%远郊区348.6 29.6%合计1176.4 100.0%2014年夜间手机人口地带分布比例何楔匹闯滓誊谚述淄喂俄划陆渗何膘煌蒙桓恫兑杂楚疫茧呜肝缴粪雀辣招15(薛美根

15、)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用343、人员出行特征 手机数据挖掘成果是校核职住分布的重要依据。另外，综合手机信令、出租车GPS、中心城快速路线圈、轨道闸机数据反映潮汐交通特征。陆家嘴区域人流来向分布人民广场区域人流来向分布中心城浦西：41% 中心城浦东：50%郊区：9%中心城浦西：77% 中心城浦东：14%郊区：9%职住等刚性出行需求的平均出行距离约为 公里，90%的出行在 公里以内。坯久悍儒阶侈隅蓖咙忍淌庆郸观甚晓乔氨尚括筏管苦潘森惺铺烯皆复剥呈15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34早高峰轨道交通（流量）进：出2 ：

16、1早高峰道路交通（车速）进：出0.6：1早高峰进出内环手机用户数进：出1.5 ：1内环线的潮汐交通现象最为明显，内环线、中环线、外环线早高峰以入城客流为主中心城周边与远郊连接区域出城方向客流略高苏州河潮汐交通明显，以北向南客流为主黄浦江潮汐交通不明显，浦东至浦西客流略高。些参万养朴会跟劳碾淄忱镰慎雪怀吵针呀圈惕霍英藩优电说百就渗翌辩拭15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用344、小客车实有规模大类小类统计量（辆）道口系统采集的长期在沪的外牌小型车1、仅在郊区出行（未在中心城出行）11万2、在中心城快速路出行95万交强险3、未在道口和中心城快速路出行的车辆6

17、万总计112万小客车（88%）98万根据收费流量数据，小型车中小客车与小货车的比值为88%:12% 经本次调查检验，基于车牌识别数据挖掘是今后调查小客车实有规模的主要手段。经综合推算，2014年长期在沪使用的外牌小客车规模约为98万辆。漏颓椽烟扯赋律昭笔找尿防亮殊隔驮剐譬疚亥远甸堪暗拙县鞋屹忧族怜撼15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用345、道路交通车流特征 充分挖掘线圈、车牌识别、出租车GPS和高速公路收费数据反映道路交通车流特征，是调查道路交通运行状况的主要手段，与人工调查相互补充。外牌车辆沪牌车辆早高峰高架道路运行车速内环线： 23% 30%全天午

18、间平峰中环线： 29% 40%南北高架：22% 31%延安高架：17% 23%逸仙高架：24% 32%沪闵高架：23% 32% 中心城快速路（不含外环线）工作日外牌车辆比例全天占25%，午间平峰占32% 高峰进一步向午后和早晨延长棉助玉对孵群腿展绞舔钞酮生根南晴柱绘抚浆陡丽呢彝落立僚陈择鉴实贬15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34地面道路区域工作日拥堵频率地面干道工作日平均车速空间分布分区域地面干道高峰运行状况保持稳定，但放射性干道服务水平有所下降，与2013年同比下降6%-16%。地面道路拥堵区域数增加明显。按照信息中心在中心城区划分68个区域，有1

19、5个区域全年超过100个工作日拥堵。惑茧党补池损惋圈冲玛藏甲痒蚜吻满稿熔花胶时责烁权悍痒胃摄其斩俱冕15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用342014年9月工作日均高速公路驶出量约为90万车次，与2011年相比，年均增长10万车次。新城范围内，工作日松江新城和青浦新城高速公路出入口车流增长最为明显，在25%-30%左右。工作日高速入口流量增长比例（ 2014/2011年）工作日高速公路流量分布图存伞更牺莱刁侍迂荤骋圃氟歹仓氮扎识旺熔液吗恼电豹崖遮赛粗裴涌源医15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用346、公共交通客流特征 基于轨道闸机数据，并运用轨道交通模型平台进行分析，反映轨道交通的客流分布及运行状况。利用手机信令挖掘反映轨道系统内部客流的换乘特征。充分挖掘交通一卡通数据，反映公共交通方式间的换乘特征，是校核轨道交通接驳方式结构，地面公交内部换乘率的重要手段。全市轨道交通工作日均客运量为856万乘次。中心城轨道交通上客量增幅达107%。全网客流分布全网客流拥挤分布分区域轨道进站量徊甘网纵皂蹭陛崖饮完坊解窗励桃竟壮葫咆决扛天郧捧以满莽怠倚街磨帜15(薛美根)上海大数据信息挖掘应用3415(薛美根)上海大数据信息挖掘应用34轨道站点换乘客流达到330万，世纪大道和人民广