智能车双总线架构与自学习

智能车双总线架构与自学习智能车双总线架构与自学习智能车双总线架构宇通厂区通勤试验基本情况试验数据预处理用深度学习生成驾驶记忆棒验证：用已有驾驶态势图搜索认知箭头驾驶态势融合双驾双控工作总线CAN总线认知板块雷达数据预处理图像数据预处理导航数据预处理控制板块执行板块自主决策感知板块交互板块驾驶员干预和工作总线相连的软件模块1KMbps进程监控1虚拟交换1交互控制程序员调试模块黑客干预远端车主干预乘员交互日志管理驾驶态势融合双驾双控自学习/调试总线CAN总线认知板块雷达数据预处理图像数据预处理导航数据预处理控制板块执行板块自主决策感知板块驾驶员干预和自学习/调试总线相连的软件模块1KMbps进程监控2虚拟交换2自学习板块驾驶记忆棒生成搜索匹配引擎比对库生成交互板块程序员调试模块远端车主干预日志管理交互控制远端服务响应乘员交互轮式机器人向经验驾驶员学习开车的过程经验驾驶员通过视觉等形成的当前驾驶态势图3路机器视觉综合形成的当前驾驶态势图驾驶员操控油门制动方向盘驾驶态势——认知箭头图对库生成驾驶态势认知箭头抽象当前的认知3路机器视觉综合形成的当前驾驶态势图驾驶态势驾驶记忆棒搜索匹配引擎认知箭头机器人操控油门制动方向盘自学习过程：统计学习和进化学习过去经历的场景自学习总线交互板块汽车CAN总线工作总线感知板块认知板块控制板块虚拟交换2进程监控2虚拟交换1进程监控1程序员调试交互控制乘员交互远端服务响应自主决策红绿灯检测导航路权检测导航路权检测定位导航路权检测定位图像数据预处理雷达数据预处理GPS数据预处理导航路权定位驾驶态势融合1KMbps1KMbps驾驶员干预执行板块软件模块与双总线连接关系图定位远端车主干预调试总线双驾双控自学习板块驾驶记忆棒生成比对库生成搜索匹配引擎日志管理双总线实现要点每个模块都连到工作总线和自学习总线；物理支撑两者分开：工作总线在以太网1上，自学习总线在以太网2上；信息流向：只有交互控制模块对双总线是双跨的；其它模块对双总线在逻辑上是隔离的；唯有交互控制模块可实时干预智能车的行为控制！宇通车实现方式：硬件：双路由器，双网卡软件：新版虚拟交换发送数据选取网卡宇通厂区实验基本情况 3月下旬，宇通智能车客车在宇通厂区进行了宇通厂区的程序开发调试工作。时间：

2016.3.14-2016.4.1地点：

宇通老厂区、新厂区人员：

61所8人，宇通9人通勤试验数据目录雷达数据：四线雷达数据、前方雷达数据、左右雷达数据MobileEye数据：障碍物数据、车道线数据摄像头数据：前方摄像头、左右耳摄像头数据GPS+IMU数据车辆自身状态数据：车辆油门开度、制动开度、方向盘转角数据宇通数据预处理数据过滤与清洗预处理方法：过滤与清洗预处理结果分析数据预处理每一天车辆产生数据：10.0GB(10,786,856,759字节)Can总线车身数据：59.2MbLux雷达数据：588MbMobileEye数据：30.4MbNavigation数据：54.0Mb3个Sick数据：1482Mb图像数据：8.21GB(8,823,053,329字节)每天数据有4小时共有5天的车辆数据数据预处理其中，噪声数据包括：时间戳匹配不上的数据数据有效位不正确的数据路途中临时停车的数据，速度小于一定值去除噪声数据噪声数据占据总数据的1/10图对的变化更加清晰明显数据预处理数据分类：直道数据，包括4.86Gb弯道数据，包括2.88Gb停站/起步数据，包括1.26Gb处理了3月24日一天的数据仅仅分为了三类通过人工切分4

用深度学习生成驾驶记忆棒初步问题：图对量有多大量要不要用卷积神经网络图对的特征及其提取方法

跟踪性，耗油量，舒适度分类器的形成方法深度学习数据说明一共提取了153,924帧图对图对信息：车辆轨迹认知箭头态势图：二维数组导航轨迹：一维数组道路边沿：一维数组车道线：一维数组(直道使用)轨迹：一维数组箭头：特征值深度学习数据说明数据分类：直道数据，包括5.4Gb(图对83118帧)弯道数据，包括3.2Gb(图对49256帧)停站/起步数据，包括1.4Gb(21550帧)用什么数据：抽象数据：车道线、道路、一次规划、障碍输出：车辆实际行走路线

驾驶认知箭头

输出行为模式使用什么样的网络NeuralNetworkAutoEncoder:压缩编码器DeepBeliefNets:深度置信网络ConvolutionalneuralNetworkRecurrentNeuralNetworks:循环神经网络LSTM<<ShowandTellANeuralImageCaptionGenerator>>DeepLearning（深度学习）学习笔记/tutorial/ShowandTell100,000级别的训练DeepMindICML9篇论文RNNRNNs包含输入单元(Inputunits)，输入集标记为{x0,x1,...,xt,xt+1,...}，而输出单元(Outputunits)的输出集则被标记为{y0,y1,...,yt,yt+1.,..}。RNNs还包含隐藏单元(Hiddenunits)，我们将其输出集标记为{s0,s1,...,st,st+1,...}，这些隐藏单元完成了最为主要的工作。RNNRNNs已经被在实践中证明对NLP是非常成功的。如词向量表达、语句合法性检查、词性标注等。在RNNs中，目前使用最广泛最成功的模型便是LSTMs(LongShort-TermMemory，长短时记忆模型)模型，该模型通常比vanillaRNNs能够更好地对长短时依赖进行表达，该模型相对于一般的RNNs，只是在隐藏层做了手脚。如何进行自学习用深度学习生成驾驶记忆棒通过CNN、RNN设计特有的学习网络驾驶态势图-CNN提取隐含层特征，通过RNN得到车辆规划路径交叉验证：用已有驾驶态势图计算搜索认知箭头参数调整LossFunction如何设计，通过什么输出实现决策模式指令/车辆行驶轨迹/车辆控制参数OptimizerSgd(StochasticGradientDescent)BatchSizeLayerNumberNeuronNumber实现方式CaffeC++Theano底层，什么都得自己写（符号运算库）用符号运算写deeplearning网络结构pythonKeras适合工程师，很难改，自定制把符号抽样成model，cnn就一行Lsagne介于上述两者之间没有封装得太紧，适合自定制cnn封装成一个类，暴露了很多接口，自己定义网络结构customlayer谢谢殷嘉伦yinjl14@5

验证：用已有驾驶态势图搜索认知箭头搜索引擎设计与搜索3