算法工程师岗位常见面试题目汇总

1、SGD,Momentum,Adagard,Adam 原理SGD, Hot佃Mum,血曲梨陋原理妍咱；鸵口为顽梯卮下隔茁一次迭代缺据 mnebatch蹄距.魅0寸费数进行ER帝.Mgitun畚考了物理中动虽扣雌勘儿您槎就1会会与列当前构计虽中，睡苞几律豚囱 唯当盼餐中会有一定的踱酣M&gaE在UlliJfl泅程中可以自朔职学习啊曜设一?局的学习至而顼的学习奎与以狂跑登数哽H1开方贼以如m福1用库煎的一估计和二估计源明龄十番部泮习奎.任经过偏的校正后.一次国瑁的学习华晔个噬削范囿茂，次5枝为 TS.L1不可导的时候该怎么办L1不口【导的时候漫怎么办善君誉案番考回答岂1共面靓同导.樵直下降不再有或可

2、以笑用编由下降沃岫杆蚱沿焉当前点的尝岫饷进行赛散更茕而坐标1由下露蝗汨者坐标的麻 售说有叶阿正个哉蝴由下降咨既城提新的时候.耘正旺14低燃后再求另外一个龈同音曲饰.从而道食区失无薮不可成罪i+ 受用Proxrn3l AlgorithmLl坦行稗，此方iS去仇豚知欧上界结果.Sigmoid函数特性sigEciid函数特哇誉考回皆走殳域为一 E, | g典颊W）函故跆Z域内为连蝎朝的函戒i；对 一 r 3H1 - f（x）讲一下PCA讲一下F33536pca更瞬堂赠场性降淮方志如 留甘网g 鼬理原w到曲古理中您谜空的是在醐细赴.新特征自q构方受尽量尢方蟾眼征起有 效局毋使产生0浒号拒问的相关gKP

3、C AM；期具伟制初部斤有魄在进行中，凶漫作廿ii哗本的协方兰炬序薮后时协方差踮够花恒廿昭配最抑mi匏HS对应物向量构i金眺g拟牛顿法的原理M牛顿法的原理卷考雎.村碰收敛速度但造林园职曲驱伯准眸虽抵它时酸i蛾的计朗很大.随球烟坝哩JSXHossia仲也逾尢需妾更轴带卷间以 及叶5(* 做牛破就是在牛碰地基础上引入THes血诡轴近|蜓陆,iE免了每次都叶IfEnf萌的由硅件做中用Hess 炬留理炬 阵宋代SHesslanm 虽衿:蜘牛硕每F样舜证最优岫方向,但其逆定阵始gE定的-因心法始博用顾化的方向搜索.编辑距离参夸普京蛙曜：捐瞬离的土用王妾是用来匿较两个字符申孙融度的翊目距您 琪称L瑚Bfi

4、ElrteME (幕珈坦富也刖USE成口1骚口回r耕郭？字样之间击成另T所础规少绢挪昨:魂I,叫果它们 的嘲稣，说国(窿岛不同，啊哪5陲咋皂刮一T尹钿朝涓Y字路，ISA-个李符，由除T宴符，交叉熵公式交叉烟公式典答案参老回答交踏 设p闵、亦尾x中取值e酒个提率分布，则网m博爆是.顿5=m”斜=X施斜ipl定程尽上，泥顼轲以匿量两？随饥丸量可距默，只身响|可出国|阳 另外，蓍得一但的打，甲I回是况索大于等丑的.互倍虬两个岫3皿，推叵信息定丈为 港照洽晤自独立分布潮邮时城用佻T林：加笑上LR公式LR日俱警案卷考馨逻纭U归本质上是溯回归只是在特征到辟的映明中如入了 一朝5函娜叫印招醐攻性求和，然后徒

5、用函放照昨为传设函赦来琬!L g(z)可以将浮读值映艘|JO和1.弭司为i$药nwid Mncilon,逻辑回归怎么实现多分类暴考智案够畛方式一.府改圜目回J3国报主勒.瓣scflrrax迭故荀s飓编夬寥廿美问沮的tmax分湖理会有相同于箍蛔前出场出的佰和仔祥羽厦于B+ 如！1的修辜.最后S肝样志进行破阳藉醐辜情酥的再&T细方式二:粮誓个羯，盹立一7二，美器奉夷别的样本柜签定只初.巨亡甘群本卦冼正艾加.则有抄馈别敬造抄?觐 回E廿矣菇剖斤有翔!之间与明品的互吊则度用sonrrexi踌S.若所有彩!不互际g?由硕如临i甄应栽11蚀!的塑回日会奏器.什么是支持向量机，SVM与LR的区别？什么是煎持

6、EI宣机,SVMLR的区别？虹0：支W向M机为T二廿翌蛭.它沱呈输型定征至司上的同隅找的安盼类甑而它的学习策略为最大化分掐-旬晡小耳t为凸二濒 划问貌剥鼠L RM蜘蟀,SVM为非卷裁燃圣L强用的囹失函数剥崂衩睥I蜘而珈M买用睥Iiln够1腾见在孝习分共器睁梅,阿明专虑与分共厩的 少砂拜向量点一 LF：疏型相司简单.在迁行大邸肆浅住炯比1站惺.监督学习和无监督学习的区别监督学习扣无监督学习的区割输其的邮有磋则为眩曾学习，喘心n既标笠为非监督学习+朴素贝叶斯法的要求是？间唾：朴素贝叶期（wive Bayee注的要求呈7葬=5誓案贝叶斯由、特征条牛独立停虚薜析：冲泰贝叶昕属于生成武理里，学习、和就I

7、出的联合概幸分布.tessfiM,利用国叶此is多足理京击是大的后验暧丰作成曲.SVM中什么时候用线性核什么时候用高斯核？SVM中什归肘候用埃性楼什为时候用高斯核。芍规s的特莅提取遂瞄.毗雄的信息量足魅粮亲问瓯弦噩可第s%可gi果用往性电 音榻n数技少栏萍蜒中，对于时间不蛭，擎的问攻 是钱性不可械时溟可I酒豆用商斯陟达到史好的 g.训I练集中类别不均衡，哪个参数最不准确？问题训咬中类别不均凯W昨噤数号不佳晰苧考回答.性魂辰(AQCLiacy)解析：举例，对于二问龄泣正负样例比1差狡大为购1. 曜更容易骐I蚓成蹒龄占此踱别.因为谨至只需要对每例挪刖.99的 瞬塞3!归邑i刻曜獭谁到明岫斟酵，你用

8、的模型，最有挑战性的项目问题：切用的度型，目有杉旅性的I页目蓉哇菩壁在回答自主1曜时，必茨罢深人了衅自己的魅田节U页耳中.用到此妇 弓i-LSTTgj恨点以厘与颅和isimfl推止坨 啊ifi遗，SVM的作用，基本实现原理问题：SVM的作用，掌本买现原J里务夸誓秦鼠M可1用于解决二的粪勇渚约敦可85,此姒匚泌渺L由也盼巨标是澎fRW化世甲面在空间中港网髡瞄，1S$E瞧平面唳.藩足B淙件是.卷其鼠近的点胡克的距苦恿大化，这些席瞬为豆恃向量，菲析.建谖珍习性导SVM,从基本式的I蠲，到拉格期日对博问题.SVM使用对偶计算的目的是什么，如何推出了的，手写推导问题：跑M使用对低计第目的是什&如何畦出来

9、的，手与隹导若考回答：目浦阿f； 一是方便瞬散的引入；=求解蛔健与特iiEB踽物联，丽辕对惆同理后只与问区的受量寸疵肉由于SMM的竞H 散猝睛向昆浙枝.削并阳娜妙因幅母粉问延醐拉将展日M子捌费约束的优化目标转为不定约柔四优化函蛇傕福岫唯蜘 导臆于鼠芾入度来的武王商堑愤成时倜问SVM的物理意义是什么问题一 SVL1的物理踱义是计公；构LWi化执超平面在空间中自割蜓数据集的分类问题（从数据的大小、特征、是否有缺失）问成：如果跆ftW握你漩何会类（我是分惜;兄答的，从故蹄1大小.持征.是否有St失r分情况分别答构）酷考善氟蜉虽：根痂游哓典择F同9晦型，fiDLrSVM,京瓣*嗷挣I蜜嗾纨 W以西？$

10、协碾型，如果样本敏量技大*|弊lR徨照.世？成槿埋 聪进行SSffi救理：俄Bi姓佥婷可I烟叛策际选走芫槿型怠成的目衍函J!鼠砒定了. 1E可以件等曲斑拦例姓，.趾上下空兵碑平 衡正员样政解桁京罢了罪窑购关霍昭诲巨，L姻她眼场旅驻昨媒如果数据有问题，怎么处理问题：如果教捉有问患怎么处理；1 .上下粟样WIE鱼样毗；N考酸Kfi; 3.雌ETt 解折：发敞网系要自巳展现自国晰?卮分层抽样的适用范围会启抽样的诰用范国蓼老雎：会融衔U用毕汩罪的信息猝考电了棵持样苏阁锹些小姑构拐一迎柱，当克体由是明m的几歌用成由弥适合用分层抽样，LR和线性回归的区别LR和绣性回旧的区别卷岑辟奸盹线注回归用来瓣即.LR

11、用来密分类.挂葡目是来台函虬LR来阚燔我.践隹回归用最小二挪计弊参戒LR用鼠丈怙计来计算彗敏.卧回旧更容易受判.而1_刖寸异鼎信勇斯炳定住c生成模型和判断模型基本形式，有哪些？生成模型和判别赠基本形式，有耶兰?考菩京生瞄：朴宜！n叶中.HMM. Gaussians.虫福斗夫倒场 判511 式；LR. 3VM,神怒网圈，CRF, Bwstlng详简：直持向量机核函数的种类和应用场景槌囹数的伸类和应用场成紊言警宴结酩：建性核、轲瓦核.冏睇，栏本荔拧n砸.特征冬样有团摄旧滋性福） 曰磷非fl!备也突性核催知制底梆什管就 详情：豆持向量机分类算法列一下有多少中？应用场景泌卸耕11 一下有多种？应用场景

12、单-咨关方法主要包摧：UR映回I土 SV液持司曜机，策树.N日朴拿贝脚.NNAIl网曜.E近邻；售斟习算注：基于B蹲抑gfo Boo就InLf志M.想，RFfftflfJtGeDT, oatjKsi.XObiraslrSVM核函数的选择SVM核函敌的选择当璀本的特征很多旦澄蝴秘lJ虑用5早岫鞘兰核密和，当样苏湖空惭I切寸,一些手动进行持征09沮白再MfflSVM的壮性核融.当 栏本曜e且歆是拴坝m不通透用什么核函故时f咒先笑用苴站瞬欧!.因为商晰核歪装为Tt局部注较强薄度甄无论时于*样亦还呈小 日均成好啊推巨特的部融窟妙1醐.核函数的作用核函数的作用棱函小瞄着一个从隐空间g度抵间芭映射，逸个畛

13、可U4把觥空司中线性不可部快起碾圳生可溯1.SVM为什么使用对偶函数求解sv话为什么吏用湖黑茜数求解物考答率赛考M.有j曲早聪岩叵庖中色狗克常为了对俏叵芝中的教均束.市巨垣m便了植璃数盼I人.同b旭建了问翌典誓.在原1岩叵1基下.勰叵破咬毛 与样枷雌匿有羌在对国可题下，只与样枷加*,ID3,C4.5,CART三种决策树的区别ID3 .CA .轴CART三种典第捌的区刖春节普京营考回箸.IW深笥用愤选捋司恿诰艾却gm熨样本送行斓,1旦是这削坊以苗点方;垣 T很尢的玷点.gt耿在可快由救目成洵.可物理令扣寸 应制的辟只有 十或哲5上网信息均澎尊很葡m会心谑个属怕触畛，昭折I只下叫多同蜒既B整横翌的

14、泛化能打锤， .所以混.讦采用伐忠堪甘作加;监依咯而是果用信忠增益辜作戡畛鼠耽是衍能芫全件志，上间瞩而是有所理善这位I阕IA7CARW.E 住月gin席数作孟市点削部I闵S,Loss Function有哪些，怎么用问题：Loss Function有哪些，怎么汁I?赛者答案参考回答二方损失（瑜则问回、瑟黑（分类问题、hln笄损失支持向是机.）、CART回IJ珊的残差损失线性回归的表达式，损失函数问题：线性回归的表达瓦损失函数;案参考回答技性回归尸加琳1K可能呈多隹线性目归的损失函教为平方损失函敬, 解析：一般会要求反向求剧隹导协同过滤中的算法怎么细分协同过诲中的藏丢怎细分着率菩京参？回管：协同过

15、好艺通由寸用己历史行为觥胡度现用户的调日.基于不同的愕?肘.用户船滞殿蛉并眸相1认的商乱协同3的即琦为两夷泞为基于 用户四娅迓峰算话和耳于物反的WH司也跪丑志基于用户的力同过诚是基于用户湖品的胃吁网相邻邻暑用户藉后捋邻居用户成巴陀弊当 前的布户.基于物日拍用同过席是汁更旋时瑶用物品亦导.基于此户对颁曲岫如瞰的物品，怒后根握用户的历史谪好推荐担1；曲物品始也HMM隐马模型的参数估计方法是？问题：HMM隐马:尔可表棋型的绷估计方法是?结匪：料斤期碧诲大化（ExpeGletton-MaKimum.EM:- KBootstrap方法是什么？问题：Bgsir叩方话是什么？龄答室虹醛从一4瞬圭中宜放回的1

16、BEN次，每次抽M-K暮1fr：日才熨血章表基于bools!哪+面注日璀合眺如in勺箕正讲述会更好.如何防止过拟合？问题：如何防止过拟台？碧考苔案1 一早停法；地；3.#郸血pout; 4决策棚醐：6解析：能够达到横空权至砌 模型篇郸做果对应时间序列的数据集如何进行交叉验证？问题：对岫旧蹄!J的敬据JS如何进行交叉验证？奸3；，剜后T; w日向前应茹析 饿的交灵堂证由于假丘栏苏细:同分同因lUWW玮整洲I隧集即国既但取于|职列来讲，碧妥考虑拎间跑W枚正负样本不平衡的解决办法，评价指标的参数价值？正负样本不平衡的解决办法？评价指标的参考价值?案参考回答匕下采样法。好的指标：ROCfflAUC.

17、F值、G-Mean;砂f的指标：Precision. Recall迁移学习迁移学习牺ms迁祎学习就是把/曲训翎睥型直接M云用，可以克辩蛹之前敬国a,凯 而民龄避迥身己凌瞰nes剜苗司题.简丑来讲栽瓣横飘切始 北初地胸勰后来目于01阕破型.数据不平衡怎么办？畀雎；使用正顺舀古标准，当邮不平街时可以乘隹用度.度用屋Fli=.MCC AUg泮怙击标.申新乘率启如朝钿球&母采拦跑座少九1翼曲J大小来邛简双暗票.当牌是时料过采择.宴菰鲂BillHfi专样本匹裁心平驾 瞄黑.通过璋用茧墓自翠SMOTE等崩姓晰拘样君以正璃的方式便用K-的收检证饵合不同的咨祥数博，此锄美迎行硬生成模型和判别模型的区别生成根斓

18、判别模型的区别季萼普藁整考回答.生成f勇欢无烦浩中学习联合粗率分布.然后#1一屋叽叶聪玲式求IS特征和滋对应蹄牛ffil幸分布.判剧横蝠接学习制腿率而映的SftN- 会特征批蹄硕绅导L特征选择怎么做哲考回答.号证选择是身的鲫京洗悝过程，主要有时八原因：少简I歆量、降瞎 朝泛化岫更沮，裱步过掀苦二是翌否俯必和特日16W 间的盼站CO的特征i筮fg）、去除方新小&9阵征2）、正则此.一1正则化瞧生eg棉蔬的模型.L21E则化的翘!趟蹴.由于有用的恃皿在嵌应系炳国.3）h风牝森林，史闩朝E问题.通常率用拄中饨度或5位皂JSU,对于目归问哽.iSJff采用构呈方差或者量小二母 T&节需剽渤ut eng

19、lnwrir 留建肆羞蝴步理.它的间中主!S问题，1是里田寿正有可条驾分制氏关瞄征叵枣），3是蛙种方法时特征别字的特征越有 利（肩向i可霆）41，珥定性遨知是一户基于mi由任和述性i徒偿合转新的方凯述庠真芯可心是回日 WM哦耳池浏泌方送.它的主冬思想是丘不同的成 据子寞SO特征子塞上运行特fiEi茹法，不断的更京瞬汇忌特通整果.顿可岫某个简蕨认为魂妥桂描顶率戡选为里要特徂的以茶, ws；反下，co%,1）0*05195接近扣怎么防止过拟合怎么防止过拟合参考答案落考回答：D .任训练和逢立好的时候，从相对简甲的律型开始，不暝一开始就把特征做朝I岸多，撞型薮裁ii曲非常M,2）.增Pot钵，聚盖全

20、部的敬摩萸业敌居经近清洗之后再进行揍型训稣防11曝声哉居干扰慢呈，3）.正则假由黄型冥法中添蓉罚函数来防止过拟合，常见的有L1, L2正则化，4）竺蜡W方淑浦印啊（如随机蓊林）能有敦防止过拟合习.撤少特征个裁（不卷是荐汪意：降维棉解夬过损含，降塾堤硕小了特征时堰度，并没有瘢J母踮有押巨鼠ID3树用什么指标选择特征ID3树用什么指标选择特征参考答案参考回答：基于信息增益最大的作为最优特以此为决策树的根节点特征工程的问题特征工程的问题妍序敷图耕旦.清洗.采样睡梧式化：数茂辟，顶克呻百.去眉脏师，将云可作的样萍妾直 属壬值俄绪亍窟善虑不用：条律：针舛正次林率不甘珈弗况，当正麻萍酥于金隐湖，且量职驮时

21、.使用下采样，量不太0寸，可采幕登0揄据或呻钮呼囱9或峰改损 美朝配柔样踊中可利剧痼辨保特不同麴螂能比团.盐不同尝型款匿的特注处涯Sdfis； (ffi&wflIcgfK濒g mln. mean、std) 、 W4t. JJiW貌坦：3恨.ha朝整时间空：提取出皱值浏毯时间ft词竭时间；捉覃出高醐6并-年二号.LQ, -F中蝌T屋明季度.一巨中的皱几“工柞日倜*等营息 殊空度用ifTOfl匏说汁坦：U康怦均、制屯线、次序，出削皿对教据i抒市呷里 可受商数苹简承，原齿1豌匿量.对数匿进行潜流可ii?5玦芯.光i胃哩声知5,汨刷除高昨藏伊证知E0?-我在； 浦用正蛇1采栏方诘可解决国教勃平衡特家蹒

22、II偏是：虾!旬的蛎羹型进行稀的特征姓建有的于13窗特拒炯用生 例如对故1E空或鼬1亍Mi可卷品淘圆腕一EF对类5蝉敢据.可用 (jn5斓马方话捋整噬哦国匕敏字的拖之后可m用未计算距忠FSU性等：可从时司型被旧当中理取*史多的时间导E 例如至月和日 克ti些停网于业封场景1炬1阻的顼浏往注有很吠龄助.洗计型特征处理有助于从典场是中丰座犯信息.特征醇包F舌：1 .Filter:使用方基 Pea僧皿相关翩L互信息等方洛苏WE,评估敦海E和站果值之间的相关鬼度，茁下而湘矢的特SE部公wfr3pper:可利用递归特征切除尊诘L把特5E茴德撤一可池，佛选各闸寺iiE于票，用预配倒芬嗥a.EntedJed

23、.可？耶正化方g黯社感等寤罚攻刊其程d,隙了谊择出特征界同时也也3了的.意爻:胃赢吉果预测不太解征，阵h冗京，愤有套馈号征输人棒墅辰腐计算_蜓：方注:主杨分柝主(PC* JO晚性那盼折(LDA)方法：主成沥祈 PCA) 诞性判别会析(LDA1意 j虱迎C嗔LDAJ?法 将较高雄样拦间秘射到较1丘垠度的栏本空间 甘.而达到降蜻的目旺；眇璞呈的”聊间，捷酿理的计if性能，Tensorflow的工作原理Tenscirflgfl勺工作原理参若答案|日nm伽w是宅哉低而弓顷彳商信计黛科而虢信而图屋His有向函脚百叶滴巨住在有向压中币瘁五示古鼓竽运绪,边表示i亏龄瓠i行点庄 可爆成划计算设备耳而并，邢邮揄

24、Tensorflow 中 interactivesession 和 session 的区另UTensoiflow 中 int 部 actmesewsion 和襄 s 引 mi 的区剂料站：Tf.l nteractlvesessiQm献认.自己就.昌E； |占羟倒下的合话.W.StslDn.；股有速个默认，所如由【暗胡计U时需剽醐使用的是旌个会话.梯度消失拳琴誓鲤在祥曜网络中 当7T面息莓晁的孝司密岳于后面岳？i层的李习淳率即随君际顼敖目B9增1E,渺呻做而下降了一这样现感叫昉裆却泮蛙 问题.循环神经网络为什么好？谚环艳1网室.为什绍7差者咨察益考回客啊耳屋卷Sts型(RNN)是一种节.点定3卵

25、成环Bg人工居段空，如-律夏潮嘴透络.RNN辛闻内部琲田况处理I王a时序砒人序列.井旦 在旦烛理单元之间既有pg部的反谢童奴有削洗淳诲谊使儒RNN可I奶容易处理不务鼬女*.什么是RNN什会所NMtJ*列芍前卿出与前面椭出也有是，在RN N瞬炫构中中,i&硕斓/,不仗烈舌螃人层就 出还包含上一晒骡&苞房的翰出.网络会时立锄信 思走行记忆并应用于当削的商人计箕中.模型不收敛的原因有哪些？illliffi斐中，若一个模型不收敛J陋是否说明这个膜型无勰导致模型不收散的原因有哪些？并不建说距成b噂卷i,与刖崩不收敛的原因可且部龄卖的标注而Sift.样本的芭M古*导致曜不但质整十样苏生i虱学习搴设皿以 可

26、产生呷志导毁不收如可翊!曲锻任务用了简单滑理，捌国殳月直行归一(tOSMKRelu比sigmoid的效果好在哪里？Relumold的蚊果好在邸里r好职：sorrow的导殷只夸O施时有较好fl勺藏舌性.而在正员泡融区域的悌度趋向于而产生样度狩蹦氯而间u在大于o担部分悌茂为新l所以不令有说至郊坂席. R洒邨蹒HiiEq更既ReiuSa半耳的导睥）声以裤蛭元笏洁IS为伽：曜为。，此神径商率与讥罕.m有蜂做4神经网络中权重共享的是？问题：神经网络中权重共享的是?参考答案卷积禊圣网络、循环神经网缗有斯：通过网络绪演接解肆神经网络激活函数？问题：神经网络激活函数？参考答案参考回答：sigrrod. tan

27、h, relu解析：需要掌握函故图像特点，互相比较优缺点以及改进方法深度学习中，微调已有成熟模型，再基于新数据，修改最后几层神经网络权值，为什么？问题：在深度学习中，通岸会仙取unlng已有的成翻模型，再基于新数坦修改最.片几层神经网络枳值, 为什么？添加笔记 亶求解答 缶遂tw回答巧:收飘4司。分享 纠皆MuMsXlj. Deep Learning说CNN在图像识域取倡了巨大的进步，那么自糠O就想将GNN应 用全阀口自己的数据集，但这时通常就会面临F问题：通常羯i的曲0S乾都不渤别大 -|殳不会超过1万张，甚变寻少，每一类图片只有几十或者十几?L这时候，直值应用这些裁提 训练T网络的魅去就不

28、可有二因为深度学习屁功的因素就是大星带标签散据组成 的训陶篇如果聘I闫千头上成点初喝即使撕利巨I*常好的网绪结构也达不到很高的 perfarmarice.这时崎fine-tuning的思想就可以彳野解决我们的问题；我们通过对ima卵Ne【： 训练出来的模买CaffeNetVGGNet.ResNetMiJ?f然后应用至用派指己的熟薛上。由=|g睛N&数以rm计带标签的训缘集散据，1吏得如CaffeNet的预训练的撑型具有非常皎II随的模塑的中间层包含非常多,附只需要对他的后几层进勺澜，在应用至眦们的数据上通常就可以得到丰常好的结果.最重要芯是任目标忏笠I-识轲洱高*而rma nm圈奉尊的期7据书

29、?呈:相引很少神经网络中的权重共享是？问题：神经网络中灰重共享的是？妙添加笔记戳商。）O邀请回答妆寤四）尊分享0纠错卷积裤经网络可以看偶I是在空I司位置上关享参教.惟环神经网络可以看是在B寸间立置上共享瑟 数卷积神经网路通过卷积就实现粒巨共享循环神经网络柄环神经网缗在理论上可以看做是统一神经结构被无限夏制瞬果GRU结构图问题：lEjGRU构图回添加笔记 回求解笥0）缶谩请回答 TOGO） 分享 纠错*精水橘子K从结构上说，GRU只有两个门（resetupdate,参故更少；而LSTM有三个门（fcrget、 input, output） % GRU直接捋诲状态传够下一单元，而L5TM则将隐藏状

30、态包装起来.& GRU参数更少因此更容易收敛但是敬据集很大的情况下，LSTM表达性能.更好.Attention机制的作用Attentidn机新的作用料函：惠少姓理碧痴L1、苞1部汁应鱼担窍堀推1遍成的A的子军.从而降酰据的哄让虽统面）0易拗棒乱脚睛中r5当菊勘出信息.牛映的有用 1亦从而朝墙出的迎帮助蚩点于1她壶样的憬控框架更好钓学部种内容械淀间的1目互关系，Seq2Seq模型介绍Swq2Seq模型介绍使用N盾环神经网络读职整个句子将整个商子信息压缩全！H个固定维度白瞒码中；在使用 另T循环神经网络读取这个编码，将其嘴压”为目标语言中的一个句了.这两个f盾环神经网络 会别称为编码器即解码器这个

31、才蝗也称为巳nm如r-*codw模型Attention机制的引入在Seq2S弼模型电编码器将完整的输入句了田宿登1N曜固定的向星中，然后解玛器根据这 个向呈生成输出句孑中当输入句子较长时，这个中间向量畦以存储足够的信息，就成为这个模型 的一魏Attention机制的作用Attention的出现就是为了两个目的：减小处理高壅输入数据的计箕负旭通过结构化的选取输入的子集，圈睇舞氐, “去伪存真、让任务处理奈统吏专注于找到输入数据中显著的与当前输出相关的有用信息，从 而提高输出的底虽通过comext向星，解码器可以在解码的每T吉询最相关的原文信鼠 从而避免S匙2S弼模型中信息瓶或问通什么是dropo

32、utt+SdropauluiTSg恭考回答.即随不同阿洛的现在祖蹦曲源过程中闵于谶单元足田厩手症颤机从丽酒中舌序从而达E网于时皿叫时LSTM每个门的计算公式LSTM每个的计算公式摹考答案参考回答:遗忘门:=妃 mJ + 如）输入门:i = G（Wfht_lrxt + 仇）输出门：）=。（仇仇_1如+如）梯度消失，梯度爆炸的问题梯度i肖失梯度爆炸的问题,参考答案参考回答：栽酣数的原因，由=梯度京导豹过程中梯度非常小，无法有效反向传播误差，造成梯鹰肖失的问题。AdamAdan前加整薪用就的随机梯底下降不同，通就皈下降嗥持最一的学习率（SO alpha）更所所有的投里，学目率在01隔近程中并干尝改您

33、而Hmm 渔过计岸桂喧的T佻怙计牝二勰估计地不同的樵故斑刊蚯G；自逾蹬学习空.Attention 机制削漩on机制案整雎站5队簿单里密兵涅哩通，.IHseW*中的疝Mkxi细;作为洪和 就M惭人的每个1盼配一十皿，虹的计算方式为与睇别噩）暗亩时虱作上康，禅罗!B萸耽1希宾武是牌世西语词越里虱最坤i瞰东和，u；-由卜贵1时*吠*W 胃 W皿m；KK（ ；）/ = 外 HRNN梯度消失问题，为什么LSTM和GRU可以解决此问题RNN梯度失问题，为什久LSI!和GRU可以解决此问勘整考罟邃虹as.RNN由于障院瀛后面层的询出瞄Ri畦I能响到前面就叶镣RNNEg臬一单元主买蚤它附近单元的翌fl乩而LS

34、TM因为可以通阳 的信息毛旌0也就鼻苗了里多的保克而GR U也可回区M可更新两?医门保W甘匪日Fg也相对婿夬了桃匿岳笑的叵迎，GAN网络的思想GAM网落的思想H誓明部漉一T生底享竺和一H成螺翌判号赡臣布于判断给荷酒片旱不是嵌的图片.生威曜目己生成f图腰的图片很喙.开始时两M些 都整有训痔.熟后网个程型一sMrn训痔.生成竣霎*圄=表码陶判别棚型.判别原霎去判别其最缨扈蚀举石训痢垂中.虎力瞒畴或冬旧 0腿.ar 1 LPiinr rn , - mwi_i1 ir m | rm i. jZJt/Ol - CK*”、M %：；： H i从上围不走看出，RfiLU丞故m空是分段统隹剧矿JK所有拘鱼1直

35、都变凯，而正值晚.湖麋作踱成为M恻印制.可miw做is茹的屋作.正因 为有了这单赖1制，才使得媵网塔中的祎蛭元切有了稀疏期舌1.尤克体现在深度醵河阁蝗伽CNN）电芍模旦阊口幅2JS,理论上RfiLU 阕元睥；薛3四方富 谊里就诉有童驻合I”!. ReLU的函藉悔为什幺一定妾长国料艮过来，或者可F延1机亍不行？ 段一定要 长这热F驾泌到单到们制的忖I：商眺面富转枣1如尽酰适 缨神蛭顽翊出也只甲以门.】T常就项翊，并不*f园离坚NII 醇茹是拥以速样云 或许呈为了契白生物学的匿 苴于粽门理若史一早访叵畋了 溯提疏喳有何忙用 IS句话说，制J册说莆写吒/元稀配丁 商朝虾来说明.当金反潮雨的K候物门可

36、以根始敌鼻情 苗谜厅忠考唤理，区时用甄厚我们能忱魏左半璋；而当看辜面唱钝.拘匚可I墉曹歌手一E哼园 区时用至同可是强们的日半琅 左羊坪m 隹性忌淮，而有半球Q旬维忠咬睡说，当瑜JEi行宜|4昵舌成I5BL都会与一ate伸经元处于滋J朝是耶制状备可以说是笞司耳职一再 出如，生庙了去医院首路枪宜报告旦面上百瓣标,回碰愀捱的ig常只有召建JL-K与i京酬，当：1|螃一侮度分美篌型加慨,和目标相关 的I寺征在在也朝陷几个，国Jt网昭山实现期隔勺呼澎重好地挹堀相关特氐拟削I瞬曜，此外，相比于其它滴舌迎姨说，志W有以F忧岩：对于该性函蜥15言，ReLLJ的表达能力更隔元具体现在深度确中；而对于日囹姐碰而M

37、 R&LU由于非负国间的罹度为常机litt?FffiJKiPnlshlng Gradient Problem,使锵模甄曲敛速喧空毋一mE状态.这里稍解 进一下什企瓣度i肖生巨题.当饮宣小于1时，预测B与真卖值之瓦的误差每愕播一，言会蝴L次，如果生瞧棋型中解或曲作为融舌函蚣 / 种理濒为明兵，将导包瑛型收敛停滞不前.神经网络为什么用交叉熵替考回答通设神蛙巨鄙决落皱问距时，扇常.用的一种方5就呈生墨后一层可|1彻出节点，冠合在典呻程网蜒呈在CMN中郭岳出比，k顷,在却牌Net中易后蹄出层有节点，而0便忍Resf*t就片了全哇母底，也尝任最后有一如时石点的端11信，f 顽51下，后0)出屋的芒点士成

38、g类任务的目标数档条碍点最后E%点薮为M,耶也对于苗一个悝制.唾网书可以寤到T唯的数组咋为用出蜡果，雌中毒 饷度朝应 A； C.：叫”涔f.R个样由S于k,丹既iJ勘萸别所对郁正弗出芍点0说出顽应i雄贤有福瀚出与朗，而耳他行点瞧出邦为0 W.Q1.0. 口何迎个g也就屈拦碰Lg,呈祠蛭网绸期注魄出匿果徵以胜蠕嚣一LSTM的cell示意图和计算公式图1 LSTM的CEL5意图根据LSTM可绝的防构每Ttg单元的计算公式如下购示，其中Ft示崂漏，1味示翰兀门限，G康示前一时刻濒状态C1表示园1状志 (iSWiflSteS ,前单出，出*贝阡阳_少珈+ bf)& 任HVI际t.布十bi)Ct = tanlVc-lt-i, Jf| + be)G三月* Qt K*山oT =。叽 |+ 虬hl Ct * tfllllb (Cl)图2 L3TM汁算纣野涮编JWIlSRU和LSTMtfH地在海金任昼上不削由电S GRU螂更少因此更割R螭.但是教整泪大的Ifl况下.LSTM表认性能更定 3) 瞄构上共说，ORU只