懂人脑思维的仪器借助于这种仪器人们甚至是最隐私的

1、北京时间1月4日消息，据英国每日邮报报道，美国科学家近日称，他们目前已经成功地研制出一款可以读懂人脑思维的仪器，借助于这种仪器，人们甚至是最隐私的一些想法也将会无处遁形。耸人听闻美发明可读人脑思美发明可读人脑思维的仪器维的仪器 隐私想法无处遁形隐私想法无处遁形神经网络n根据一个简化的统计，人脑由百亿条神经组成 每条神经平均连结到其它几千条神经。通过这种连结方式，神经可以收发不同数量的能量。神经的一个非常重要的功能是它们对能量的接受并不是立即作出响应，而是将它们累加起来，当这个累加的总和达到某个临界阈值时，它们将它们自己的那部分能量发送给其它的神经。大脑通过调节这些连结的数目和强度进行学习。神经

2、网络从非技术角度看神经网络n是否可行？n学习和计算n几个例子 n问题人和机器n情感-计算n 人如何产生想法？n大部分是来自于自己已经得到的信息，再加上少量信息的关联和整合，然后构造出了“想法”。n比如在已知“这张数学考卷我完成仅65分左右的题量”和“以往的数学考试不及格的次数不少于5次”的信息，我很可能就认为“这一次考试很可能不及格”。n富兰克林：闪电+风筝-闪电与电n法拉第 ：电能生磁+硬币正反-磁能生电神经网络的主要思想n人的思考n学习已有知识，根据知识来作判断的过程n神经网络n学习知识-进行决策神经网络的几种类型n神经元n向后传播nhopfield n双向关联记忆网nhebbian学习网

3、络n竞争学习网络什么是神经网络n模仿生物神经元n是一个计算模型,与传统的计算机的计算模型不同 n连接计算单元,形成网络进行计算n模型的建立方面(取样) 人工神经网络n人工神经网络（artificial neural networks,简记为ann）,是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。人工神经网络的提出n智能与人工智能n智能的含义n智能是个体有目的的行为，合理的思维，以及有效的、适应环境的综合能力。n智能是个体认识客观事物和运用知识解决问题的能力n人类个体的智能是一种综合能力人工神经网络的提

4、出n人类智能的5种基本能力n感知与认识感知与认识客观事物、客观世界和自我的能力n通过学习学习取得经验与积累知识的能力n理解知识，运用知识理解知识，运用知识和经验分析、解决问题的能力n联想、推理、判断、决策语言联想、推理、判断、决策语言的能力n运用进行抽象、概括抽象、概括的能力n综合表现形式n发现，发明，创造，创新的能力n实时，迅速，合理地应付复杂环境的能力n预测，洞察事务发展，变化的能力人工神经网络的提出n人工智能三大学术流派n符号主义（符号/逻辑主义）n连接主义n进化主义（行动响应学派）人工神经网络历史回顾n萌芽期（20世纪40年代）n最早可以到人类开始研究自己的智能的时期n1943年，心理

5、学家mcculloch和数学家pitts建立起了著名的阈值加权和模型，简称为m-p模型。发表于数学生物物理学会刊bulletin of mathematical biophysics n1949年，心理学家d.o.hebb提出神经元之间突触联系是可变的假说hebb学习规律人工神经网络历史回顾n第一高潮期（1950-1968）n以marvin minsky, frank rosenblatt, bernard widrow等为代表人物，代表作是单级感知器n可用电子线路模拟n人们乐观地认为几乎已经找到了智能的关键。许多部门开始大批地投入此项研究，希望尽快占领制高点。人工神经网络历史回顾n反思期（1

6、969-1982）nminsky和s.papert, mit press, 1969n异或运算不可表示n20世纪70年代和80年代早期的研究结果n认识规律：认识-实践-再认识人工神经网络历史回顾n第二高潮期（1983-1990）n1982, j. hopfield提出循环网络n用lyapunov函数作为网络性能判定的能量函数，建立ann稳定性的判别依据n阐明了ann与动力学的关系n用非线性动力学的方法来研究ann得特性n指出信息被存放在网络中神经元的联接上n1984年，j.hopfield设计研制了hopfield网的电路。较好地解决了著名的tsp问题，找到了最佳解的近似解，引起了较大轰动n1

7、985年，hinton,sejnowsky, rumelhart等人在hopfield网络中引入了随机机制，提出所谓的boltzmann机n1986年，rumelhart等提出了多层网络的学习算法- bp算法，较好地解决了多层网络的学习问题。人工神经网络历史回顾n再认识与应用研究期（1991）n问题n应用面还不够宽n结果不够精确n存在可信度的问题人工神经网络历史回顾n再认识与应用研究期（1991）n研究n开发现有模型的应用,并在应用中根据实际情况对模型，算法加以改造，以提高网络的训练速度和运行的准确度n充分发挥两种技术各自的优势是一个有效的方法n希望在理论上寻找新的突破，建立新的专用/通用模型

8、和算法n进一步对生物神经系统进行研究，不断地丰富对人脑的认识。阈值逻辑单元(threshold logic unit, tlu)n一个tlu是一个对象，它可以输入一组加权系数的量，对它们进行求和，如果这个和达到或者超过了某个阈值，输出一个量n符号表示n有输入值以及它们的权系数：x1, x2, ., xn 和 w1, w2, ., wnn接着是求和计算出的 xi*wi ，产生了激发层 a，换一种方法表示：a = (x1 * w1)+(x2 * w2)+.+(xi * wi)+.+ (xn * wn)n阈值称为 theta。最后，输出结果 y。当 a =theta 时 y=1，反之 y=0。请注意

9、输出可以是连续的，因为它也可以由一个 squash 函数 s（或 sigma）判定，该函数的自变量是 a，函数值在 0 和 1 之间，y=s(a)。神经元模型神经元模型inputsignalsynapticweightssummingfunctionactivationfunctionlocalfieldvoutputyx1x2xmw2wmw1)(w0 x0 = +1bwxwvjmjj00tlu 的学习原理ntlu 通过改变它的权系数和阈值来学习n在训练过程中，神经网络输入：n一系列需要分类的术语示例 n它们的正确分类或者目标 n，这里 t 是一个目标或者正确分类。神经网络用这些来调整权系数，

10、其目的使培训中的目标与其分类相匹配n有指导的或有监督的学习 理想化的学习算法fully_trained = false do until (fully_trained): fully_trained = true for each training_vector = : # weights compared to theta a = (x1 * w1)+(x2 * w2)+.+(xn * wn) thetay = sigma(a) if y != target: fully_trained = false for each wi: modify_weight(wi) # according t

11、o the training rule if (fully_trained): break 训练规则n训练规则很多，但大都基于这样一种思想，即权系数和阈值的调整应该由分式 (t - y) 确定。这个规则通过引入 alpha (0 alpha 1) 完成。我们把 alpha 称为学习率。wi 中的更改值等于 (alpha * (t - y)* xi)。当 alpha 趋向于 0 时，神经网络的权系数的调整变得保守一点；当 alpha 趋向于 1 时，权系数的调整变得激进。0wx0wx0wxx|ww单层感知器的问题n如果取自两类模式a,b中的输入是线性可分的，单层感知器收敛n对于线性不可分并且还部

12、分重叠时，收敛过程中决策面将不断震荡nxor问题点输入x1输入 x2输出ya1000b1101a2110b2011a1b2a2b1a1b2a2b1梯度下降方法xsfftwsfftsxswxwswsswwxswwwwftnixiii)(2)(2,.,.,)(112t为目标值，即所希望的响应值f为 tlu对输入xi的实际响应w问题n由于阈值函数的存在，tlu的输出f对于s而言不是连续可导的。n如何解决？n忽略阈值函数，且令f=sn用一个可求导的非线性函数代替此阈值函数widrom-hoffn令f=s, n也称delta规则 xftcwwxftw)()(2广义delta过程nsigmoid函数来替换

13、阈值函数nsigmoid函数：sesf11)(xffftcwwxffftwffsf)1 ()()1 ()(2)1 (纠错过程n保留阈值不变，仅当tlu的响应出错时，才调节权向量nw=w+c(t-f)x后向传播方法计算方法n由前一层的输出作为输入i,与对应的权w相乘形成加权和,再加上偏置n对上面结果用一个非线性函数f作用形成本层的输出.将较大的值映射到0-1之间nyk,tk分别表示输出层上节点k的实际输出和期望输出ijiijjowijijeo11bp算法修改权公式推导wwwmwmw)() 1(ixiift2)(jkjkjkkkjjkkkjjkkjkkkjkowwiowiowiwiiw令n分两种情

14、况计算n节点k是输出层上的节点，此时ok=ykn节点k不在输出层，在隐藏层上bp算法修改权公式推导kojifyktwjkifytiyyikkkkkkkkkk)()()()(所以kmmmkkkmmmkkkkkkkkwifwoifoiooi)()(所以算法步骤(图形表示)output nodesinput nodeshidden nodesoutput vectorinput vector: xiwijijiijjowijijeo11)(1 (jjjjjotooerrijijijoerrlww)(jjjerrl)(jkkkjjjwerrooerr)1 (算法步骤(伪码表示1)n算法: backpr

15、opagation的神经网络分类学习n输入:训练样本samples, 学习率l,多层前馈网络networkn输出:一个训练后的可对样本分类的神经网络n方法:n1) 初始化network的权和偏置n2) while 终止条件不满足n3) for samples中的每个训练样本xn4)/向前输入n5)for 隐藏层或输出层的每个单元jn6)ij=iwijoi+j;n7)oj=1/(1+e-ij)算法步骤(伪码表示2)n/后向修改误差n8) for 输出层每个单元jn9) errj=oj(1-oj)(tj-oj);n10) for 由最后一个到第一个隐藏层,对于隐藏层中的每个单元jn11) errj

16、=oj(1-oj)kerrkwjk;n12) for network中的每个权wijn13) wij=(l)errjoj;n14) wij=wij+ wij;n15) for network中的每个偏差j n16) j =(l)errj;n17) j = j + j; 计算实例n一个训练样本x=1,0,1,输出为1nx1=1,x2=0,x3=1,w14=0.2,w15=-0.3,w24=0.4,w25=0.1,w34=-0.5,w35=0.2,w46=-0.3,w56=-0.2,n偏置值:节点4:-0.4,节点5:0.2,节点6:0.1n学习率设为0.9n节点4:输入值:w14*x1+w24*

17、x2+w34*x3+节点4的偏置=1*0.2+0.4*0-0.5*1-0.4=-0.7输出值:用公式可得0.332n同理:节点5输入值0.1,输出值0.525n节点6:输入值:w46*o4+w56*o5+节点6的偏置=-0.3*0.332-0.2*0.525+0.1=-0.105输出值:0.474jijeo11误差计算n节点6:0.474*(1-0.474)*(1-0.474)=0.1311n节点5:0.525*(1-0.525)*0.1311*(-0.2)=-0.0065n同理节点4误差为:-0.0087)(1 (jjjjjotooerrjkkkjjjwerrooerr)1 (更新权值和偏置

18、值nw46:-0.3+(0.9)(0.1311)(0.332)=-0.261n其他wij同理n节点6的偏置:0.1+(0.9)*(0.1311)=0.218n其他偏置同理ijijijoerrlww)(jjjerrl)(更新n实例更新(case update)n每处理一个样本就更新权和偏置n周期更新(epoch update)n扫描训练集一次是一个周期. 权和偏置的增量可以累积到变量中,使得可以在处理完训练集中的所有样本之后再更新权和偏置终止条件n对所有样本作一次扫描称为一个周期n终止条件:对前一周期所有wij的修改值都小于某个指定的阈值;或超过预先指定的周期数.n防止训练过度bp算法学习过程n

19、学习目的n对网络的连接权值进行调整，使得对任一输入都得到所期望的输出n学习方法n用一组训练样本对网络进行训练。每一个样本包括输入及期望的输出两部分。n训练时，先把样本的输入信息输入到网络中，由网络自第一隐含层开始逐层地进行计算，并向下一层传递，直至传至输出层，其间没一层神经元只影响到下一层神经元的状态。然后，以其输出与样例的期望输出进行比较，如果它们的误差不能满足要求，则沿着原来的连接通路逐层返回，并利用两者的误差按一定的原则对各层节点的连接权值进行调整，使误差逐步减小，直到满足要求为止。bp算法学习过程nb-p算法的学习过程n正向传播：网络计算，求解问题n反向传播：修改权值bp算法学习过程n

20、具体步骤n从训练样本集中取一样例，把输入信息输入到网络中n由网络分别计算各层节点的输出n计算网络的实际输出与期望输出的误差n从输出层反向计算到第一个隐藏层，按一定原则向减小误差方向调整网络的各个连接权值n对训练样本集中的每一个样本重复以上步骤，直到对整个训练样本集的误差达到要求时为止权值修改过程n符号约定)(:,:jjiiijjkkijjinetfoownetjkyyji：wjnetio有：对于节点及期望输出。计算得到的输出）的实际输出（即由网络分别为输出层上节点的连接权值到节点从节点的输入节点的输出节点权值修改过程n如何计算n为了使连接权值沿着e的梯度变化方向得以改善，网络逐渐收敛，b-p算

21、法取 正比于 ，即jkwjkwjkwe，owewneteoowwwnetwnetnetewe，wewjkjkjkkkjjjkjkjkkjkkkjkjkjk令为学习率其中权值修改过程n分两种情况计算n节点k是输出层上的节点，此时 ，则kkkyo jkkkjkkkkkkkkkkkkkkonetfyywnetfykynetfnetyykyyenetyyenete)( )()( )()( )(权值修改过程n分两种情况计算n节点k不是输出层上的节点，这表示连接权值是作用在隐藏层上的节点的，此时 kjmkmmkjkmkmmkkmkmmkkkkkkkkownetfwwnetfwoenetfoenetooenete)( )( )( 例子huvx1x2wawbwcwdbp算法的不足之处n该学习算法的收敛速度非常慢，常常需要成千上万次迭代，而且随着训练样本维数的增加网络性能会变差n从数学上看它是一种梯度最速下降法，可能出现局部最优问题，bp算法是不完备的n网络中隐节点个数的选取尚无理论上的指导n当有新样本加入时，将会影响到已学习过的样本，而且要求刻画每个输入样本的特征数目相同预测股票价格n建立bp神经网络（ back propagation neural ne