手写数字识别的一种新的视觉模型

手写数字识别中的取取线性可分特征的一种新的视觉模型简介我们使用成熟的生物视觉模型构造一个新的视觉模型用于手写体数字识别。通过大量的数据(MNIST数据似集)进行训练后显示，本模型提取的特征是线性可分的。仅使用线性分类器，虽然我们的模型相对比较简单，但是在相同的数据集进行测试是，我们的模型表现得更好。1引言在近十年中，手写数字的识别一个个非常活跃和发快速发展的领域。在近几年中了版了大量关于特征提取和分类的技术文献，因此关于此主题的文献有很多。特征提取取范围从何特征到曲线斜率特征，而分类技术从模板匹配到神经网络多有很多种。一些是来源于生物学基础，还有一些则是基于统计学或几何的特征。特征提取主要有两种方法。传统的方法是手工的特征提取，与此不一样的是通过一个特征提取算法对原始数据进行学习以此发现数据中的固有特征。每一种方法都有它自己的优点的缺点。在前一种方法中，主要的困难在于确定特征的分类，以及特征提取的一种稳定可靠的方式。对于特征的自动学习，只有在每一个分类都拥有大量的样本才可行，因此对于日文或中文字符，它可能不适用，因为每一个分类没有那么多的样本。此外，在自动特征提取模型中，比如人工神经网络，它通常很难分析或辨认特征，并且还会受到自身激活函数和学习算法的约束。比如，如果特征通过非可微的或非连续的函数提取，则它将不能学习梯度下降的数据。这就是为什么，尽管有可用的特征提取算法，但是特征提取领域的研究仍然很活跃。我们基于如下原则着手开发一套用于手写数字识别的视觉系统：(1)生物学基础这是用在计算机视觉中一个古老又成功的原则。毕竟，生物视觉系统是我们知道的最稳定的识别系统，因此它值得我拉去效访。在我们的系统中，我们尝试覆盖尽可能多的当前已知的生物学系统中的特征。(2)线性可分性特征提取的一个关键要求是减少分类中的变化，提高类间的变化，一衡量的性的标准就是线性可分性。通过使训练数据线性可分，我们只需要使用一个简单的快速进行训练和不容易出现问题（比如过拟合，本地最小值）的线性分类器过行训练。在手写数字识别中，除非数据非常小，否则要取得个线性的数据是非常难的，因为手写数字的样式太多。非混淆视听上有意义的是我们的系统在60000数据集的情况下达到了此要求。(3)清晰的语义知道特征所代表的意义不仅对目的的说明很有帮助,而且可以促进进一步的分析。通过显示的的提取很明确的特征，我们的模型能表达出明确的意义。2发展中的模型与传统的模式识别系统一样，我们的模型由两个部分组成：从图片中提取特征向量的特征提取器，能够通过特征向量确定其输出分类的可训练分类器。特征提取的一个关键的步骤是在前面所提到的原则下决定要提取哪些特征。生物视觉系统以它能提取大量的空间特征而为人所知，比如：边、线、角、长度和宽度。我们选择提取边和方向角，因为与此相关的领域很多。此外，可视化系统能区分明亮和灰暗的特征，正如关于在非中心及偏离中心的文献中所证明的那样。因此我们选择实现一个双通道的系统。下面的小节详细介绍了特征提取的过程。2.1特征提取空间特征通过几个简单的步骤从原始图像中提取。如下图：上图是特征提取过程。原始图像是一个用I标记过的二维的图片，图片在坐标(x,y)的灰度值由I(x,y)给出，它的范围从0到时最大灰度值之间变化，灰度值是0代表背景。原始的输入数据都会进行单位化以便计算和，它对应于本视觉系统中通道的开与关。和由如下式计算：我们发现双通道系统与单通道系统在分器的精度上有一定的优势。然后通过一个较小的值进行卷积的计算。这相当于有一个在本地可接受的区域，此发现来源于生特征视觉系统，即基本的特征从闭合的拓扑结构中的一个小的子集中提取。这使网络能够利用空间拓扑结构检测图像中不同位置中具有相同空间的特征。我们用Qh来表示卷积映射，使用指定相应的掩码或内核可接受圆形区域(半径为2)。卷积从如下两种方式进行计算：每个卷积和还要经过一个分段线性函数f进行计算。所有这些特征映射的值都是非负值，它表示了此特征值的重要性。分段线性函数的输出值再乘以中央像素值。我们发现这是一个减小错误边和角的即简单又有效的方法。在实际情况中，只有一个卷积需要传递掩码，因为：我们使用的16位模板掩码如下图所示：这些模板掩码是视觉皮层中简单超复数可接受领域中和简单模型，它们用于检测不同方向上的边缘和结束点。此模型也可以通过合适的中心和半径使用高斯线性组合函数完成。但是我们发现使用整数掩码代替会精确。使用终端抑制滤波器来检测打开通道的凸角，相反也使用它们在关闭通道检测凹角。众所周知如果移除角或曲率信息会降低人工识别的精度，但是如果移除线信息则不会。事实上我们发现角是比线更重要的特征，如是包含角信息识别的效果会更好。功能聚合和像素欠采样相似，用于减少特征的数目，否则特征的数目会太多。我们反欠采样和特征聚合分开。在欠采样中每个采样值相应的对应于窗口中的像素，这里的目标是降低图像的分辨率，又尽可能的保持原图像的特征。特征的聚合在另一方面是为了检测每个窗口中是否存在特征，但是又不会被窗口的大小所影响。同是就该给非零值特征一个平均的权重，而对于更大的值则给予更大的公值。最后我们定义平均加权级别(MWA)：U和v分别决定了了重叠的深度的窗口的大小，其中权值：在我们的工作中设置Φ=1。我们发现不权是简单比较还是软最大值特别是在窗口非常大时MWA表现得更回稳定。我们还发现从一个相邻的窗口平滑的过度到另一个区域如果使用一个深层次的重叠窗口会更好。如欠采样一样，特征聚合通过减小特征位置的依赖性赋予了本地扭曲程度的不变性。和作为分类的特征。我们发现没有必要像其它的文献一样为特征建立一个层次结构。使用层次结构来提取复杂特征的观点来自于文献【12】【13】，它们建议在每个可接受的区域结合LGN细胞建立一个层次结构。复杂结界胞放在由重叠区域中的样本组产生的处理过程后的下一个阶段处理。最后，超复数应用使用不同的可接收领域合并复杂的单元。然而，正如在文献【29】中指出的那样，随后的研究显示此模型是不行的。首先，简单和复杂的单元都被提取，这样显示出各个单元的超复数属性。所谓的超复数实际上是采样和复杂单元中超复数单元的属性的子类。其次，在皮层水平中复杂单元中方向的选择性出现，表示出它不是LGN细胞的一函数。最后，有人注意到许多复杂细胞对于刺激的反映先于简单细胞，有时甚至抑制简单细胞有反映。现在发现简单的、复杂的细胞和他们的子类是并行处理的而不是分层处理的。此外，鉴于有许多不同的低级特征，它们可能的组合是指数级的，如果在一个完层的层次结构则它会非常的大。只有一个卷积层特征提取大大简化了特征提取的过程，因为不用考虑其后的卷积输入层的配置。在许多的情况下，我们发现我们的模型在特征的提取功能方面上表现得很优秀。2.2分类我们尝试了多种分类器：线性判别系统(单类别判别系统，成对耦合，triowise耦合与k-近邻欧距离、规范化的点积)。在我们的工作中，线性判别器是一个单层网络的感知器，每层有一个激活函数：Y是单元的输出值，g是sigmoidal函数，b是偏差值，W是连接权向量，X是特征向量和的串联值。我们同时也为每一个特征值加入了一个激活常数，用来克服训练过程中输入是0的情况，因为输入是0将不能训练。我们考虑了三种不同的线性判别系统。第一种，也是最简单的应用最多的一种，每一个类用一个单元组成，每一个单元在训练过程分辨出合适的分类。在分类过程中，有最高的输出的单元说明此类就是分类的结果。第二种方法以成对耦合而提出。这里首先要完成的是把复杂的问题分解成简单的部分直到只有两个部分。每一个单元训练的目的都是与另一个分开。因此，<i,j>单元训练后的结果1作为第i类的模式，输出0则代表第j个分类，并且不会在其它的模式中训练。在分类过程中，输出分类i通过如下几个式子决定：我们尝试了在文献【9，21，22】中提到的方法来结合输出。但是发现我们使用的方法有最好的结果。第三种线性判别系统，目前还没有在文献中提到过。它把成对耦合扩展成三个一对的系统，其每一个单元有三个分类。每个单元的训练目的是与其它两个类别分开。因此，单元<ijk>输出1时代表i，输出0时代表j或k，并且也不会在其它的模式中进行训练。在分类过程中，输出类由下面式子决定：基于梯度下降的感知器学习算法有许多的介绍文献，因此在这里不再进行讲述。可以说我们使用了交叉熵函数进行训练，并且在调整权值和偏差值时增加了动量项。训练集通过迭代器传递。在每一次迭代过程中，我们计算出绝对值平均误差，和最大绝对值误差。，特别的，平均绝对值误差是输出和期望值之间的平均绝对值，最大绝对值误差则是这些值的最大值。当训练误差<,j是预先定义的一个较不的正值，或者达到最大的训练次数则停止训练。作为比较，我们也尝试了k-近邻分类法，我们计算出测试样本与每一个训练样本的距离和相似度。我们使用如下的距离计算方法：3.系统测试我们使用MNIST数据库来对我们的模型进行测试，已经有许多的方法使用此数据库进行了测试，因此它是一个不错的测试数据库。这个数据库可以从AT&T实验实的网站下下载，此数据库由60000个训练样本和10000个测试样本组成，它从国家标准与技术协会的特别数据库1和3构成。数据库中的图片在保持其原比例的前提下都被统一处理成20*20像素大小。在抗锯齿过程中道理灰度级图像，然后将其定位在28*28图片的中心。在我们的实验中，我们加了一个空的4像素的边框输出一个36*36个图像。我们使用0.5的学习率，动量项使用0.3，最终的最小学习误差为0.01.对于特征的聚合，我们使用8*8的区域接收5*5的重叠像素。对于初使权值和阈值则使用到之间人值，其中L是输入的个数。总共有32个特征映射，每一个的大小是9*9大小，对于每一个输出单元，输入连接加阈值是32*9*9+1=2593，因此，每一个权值和阈值初使化为-0.02到0.02之间的值。每一个线性分类器都用最大300个迭代进行训练。至于K邻进分类器，我们使用K={1,3,5,7,9}进行实验：特征分类器Train(60000)Test(10000)单层分类器0.002.14成对耦合0.000.87成对耦合0.000.88三对耦合0.000.72三对耦合0.000.72K邻近法0.001.39(k=3)K邻近法0.001.09(k=3)分类器错误率特征分类器单元迭代次数单层分类器10281成对耦合9057三对耦合360147分类器的错误率在上表1中，迭代次数在表2中。经验表明对于所有的线性分类器如果特征数据是线性可分的则分类表现更好。使用三对耦合的分类器表现得最好，这也是意料之中的。此数据库中的数字已经包含了一个斜率的变化方向。如果这些数字是离散的，则测试误差率会更底。线性分为器的收敛表现得很有趣：当在训练过程中下降得很容易保持一个很小的变化率，则在整个训练过程中保持为1，只有在最后几个数据时才会发生大的变化。显然，大多数的错误是因为只有几个训练样本。4与其它模型的比较我们的模型与手写数字识别中最好的回旋网络分类器有相似的地方。回旋网络模型的特点是使用本地化的区域，权值共享，采样，一个层次结构及误差的反向传播。在这个模型的第一个版本中，LeNet-1是一个小的简单的网络。此后经过发展有了LeNet-4和LeNet-5，它们变得更大更复杂。我们还把此模型与切线距离分类器和支持向量机分类器进行了比较。下表是比较的结果：模型错误率LeNet-41.10LeNet-4boosted[distort]0.70LeNet-50.95LeNet-5boosted[distort]0.80切线距离1.10支持向量机0.8我们的模型优于所用其它的模型，除了LeNet-4。它的错误率只有0.7而我们的模型是0.72。但是我们不能做到更详细的比较，因为缺少LeNet-4更详细的资料。别一方面，Lenet-4的训练需要复杂的工程因为它有很多层并且非常复杂。5.总结我们开发了一个基于视觉模型的线性可分且语义清晰的特征提取器。对于一个好的特征，我们需要一个训练速度快且分类表现好的线性分类器。

咖啡店创业计划书第一部分：背景在中国，人们越来越爱喝咖啡。随之而来的咖啡文化充满生活的每个时刻。无论在家里、还是在办公室或各种社交场合，人们都在品着咖啡。咖啡逐渐与时尚、现代生活联系在一齐。遍布各地的咖啡屋成为人们交谈、听音乐、休息的好地方，咖啡丰富着我们的生活，也缩短了你我之间的距离，咖啡逐渐发展为一种文化。随着咖啡这一有着悠久历史饮品的广为人知，咖啡正在被越来越多的中国人所理解。第二部分：项目介绍第三部分：创业优势目前大学校园的这片市场还是空白，竞争压力小。而且前期投资也不是很高，此刻国家鼓励大学生毕业后自主创业，有一系列的优惠政策以及贷款支持。再者大学生往往对未来充满期望，他们有着年轻的血液、蓬勃的朝气，以及初生牛犊不怕虎的精神，而这些都是一个创业者就应具备的素质。大学生在学校里学到了很多理论性的东西，有着较高层次的技术优势，现代大学生有创新精神，有对传统观念和传统行业挑战的信心和欲望，而这种创新精神也往往造就了大学生创业的动力源泉，成为成功创业的精神基础。大学生创业的最大好处在于能提高自己的潜力、增长经验，以及学以致用;最大的诱人之处是透过成功创业，能够实现自己的理想，证明自己的价值。第四部分：预算1、咖啡店店面费用咖啡店店面是租赁建筑物。与建筑物业主经过协商，以合同形式达成房屋租赁协议。协议资料包括房屋地址、面积、结构、使用年限、租赁费用、支付费用方法等。租赁的优点是投资少、回收期限短。预算10-15平米店面，启动费用大约在9-12万元。2、装修设计费用咖啡店的满座率、桌面的周转率以及气候、节日等因素对收益影响较大。咖啡馆的消费却相对较高，主要针对的也是学生人群，咖啡店布局、格调及采用何种材料和咖啡店效果图、平面图、施工图的设计费用，大约6000元左右3、装修、装饰费用具体费用包括以下几种。(1)外墙装饰费用。包括招牌、墙面、装饰费用。(2)店内装修费用。包括天花板、油漆、装饰费用，木工、等费用。(3)其他装修材料的费用。玻璃、地板、灯具、人工费用也应计算在内。整体预算按标准装修费用为360元/平米，装修费用共360*15=5400元。4、设备设施购买费用具体设备主要有以下种类。(1)沙发、桌、椅、货架。共计2250元(2)音响系统。共计450(3)吧台所用的烹饪设备、储存设备、洗涤设备、加工保温设备。共计600(4)产品制造使用所需的吧台、咖啡杯、冲茶器、各种小碟等。共计300净水机，采用美的品牌，这种净水器每一天能生产12l纯净水，每一天销售咖啡及其他饮料100至200杯，价格大约在人民币1200元上下。咖啡机，咖啡机选取的是电控半自动咖啡机，咖啡机的报价此刻就应在人民币350元左右，加上另外的附件也不会超过1200元。磨豆机，价格在330―480元之间。冰砂机，价格大约是400元一台，有点要说明的是，最好是买两台，不然夏天也许会不够用。制冰机，从制冰量上来说，一般是要留有富余。款制冰机每一天的制冰量是12kg。价格稍高550元，质量较好，所以能够用很多年，这么算来也是比较合算的。5、首次备货费用包括购买常用物品及低值易耗品，吧台用各种咖啡豆、奶、茶、水果、冰淇淋等的费用。大约1000元6、开业费用开业费用主要包括以下几种。(1)营业执照办理费、登记费、保险费;预计3000元(2)营销广告费用;预计450元7、周转金开业初期，咖啡店要准备必须量的流动资金，主要用于咖啡店开业初期的正常运营。预计2000元共计： 120000+6000+5400+2250+450+600+300+1200+1200+480+400+550+1000+3000+450+2000=145280元第五部分：发展计划1、营业额计划那里的营业额是指咖啡店日常营业收入的多少。在拟定营业额目标时，必须要依据目前市场的状况，再思考到咖啡店的经营方向以及当前的物价情形，予以综合衡量。按照目前流动人口以及人们对咖啡的喜好预计每一天的营业额为400-800，根据淡旺季的不同可能上下浮动2、采购计划依据拟订的商品计划，实际展开采购作业时，为使采购资金得到有效运用以及商品构成达成平衡，务必针对设定的商品资料排定采购计划。透过营业额计划、商品计划与采购计划的确立，我们不难了解，一家咖啡店为了营业目标的达成，同时有效地完成商品构成与灵活地运用采购资金，各项基本的计划是不可或缺的。当一家咖啡店设定了营业计划、商品计划及采购计划之后，即可依照设定的采购金额进行商品的采购。经过进货手续检验、标价之后，即可写在菜单上。之后务必思考的事情，就是如何有效地将这些商品销售出去。3、人员计划为了到达设定的经营目标，经营者务必对人员的任用与工作的分派有一个明确的计划。有效利用人力资源，开展人员培训，都是我们务必思考的。4、经费计划经营经费的分派是管理的重点工作。通常能够将咖啡店经营经费分为人事类费用(薪资、伙食费、奖金等)、设备类费用(修缮费、折旧、租金等)、维持类费用(水电费、消耗品费、事务费、杂费等)和营业类费用(广告宣传费、包装费、营业税等)。还能够依其性质划分成固定费用与变动费用。我们要针对过去的实际业绩设定可能增加的经费幅度。5、财务计划财务计划中的损益计划最能反映全店的经营成果。咖啡店经营者在营运资金的收支上要进行控制，以便做到经营资金合理的调派与运用。总之，以上所列的六项基本计划(营业额、商品采购、销售促进、人员、经费、财务)是咖啡店管理不可或缺的。当然，有一些咖啡店为求管理上更深入，也能够配合工作实际需要制订一些其他辅助性计划。第六部分：市场分析2019-2021年中国咖啡市场经历了高速增长的阶段，在此期间咖啡市场总体销售的复合增长率到达了17%;高速增长的市场为咖啡生产企业带给了广阔的市场空间，国外咖啡生产企业如雀巢、卡夫、ucc等企业纷纷加大了在中国的投资力度，为争取未来中国咖啡市场的领先地位打下了良好的基础。咖啡饮料主要是指速溶咖啡和灌装即饮咖啡两大类咖啡饮品;在速溶咖啡方面，2018-2021年间中国速溶咖啡市场规模年均增长率到达16%，显示出还处于成长阶段的中国速溶咖啡市场的高增长性和投资空间;在灌装即饮咖啡方面，2008-2010年间中国灌装即饮咖啡市场年均增长率也同样到达15%;未来几年，中国咖啡饮料的前景仍将被看好。现今咖啡店主要是以连锁式经营，市场主要被几个集团垄断。但由于几个集团的咖啡店并没有个性主题，很难配合讲求特式的年青人。我们亦有思考到其他饮品店的市场竞争状况，但发现这些类似行业多不是以自助形式经营，亦很难配合讲求效