2023年大数据面试宝典

大数据面试宝典智游大数据4期就业取得了可喜的成绩，但是也有拿到oｆｆｅr的同学表达,在面试的时候，面对咄咄逼人的面试官,内心是崩溃的（但你还是拿到ｏffer了啊)。所以小智的这篇文章的意义就是定心丸。大数据涉及方向较多,本文以大数据算法为主。共涉及以下五方面:机器学习、大数据相关岗位的职责面试问题答题思绪准备建议总结大数据算法相关岗位的职责由于各个公司对这大数据类岗位的命名也许有所不同，比如数据挖掘/自然语言解决/机器学习算法工程师,有的简称算法工程师,尚有的称为搜索/推荐算法工程师等，甚至有的并入后台工程师的范畴，所以同学们在投简历时还要视岗位得具体规定而定。1、平台搭建类数据计算平台搭建，基础算法实现,当然，规定支持大样本量、高维度数据，所以也许还需要底层开发、并行计算、分布式计算等方面的知识；2、算法研究类1）文本挖掘,如领域知识图谱构建、垃圾短信过滤等；２）推荐，广告推荐、APP推荐、题目推荐、新闻推荐等;3)排序,搜索结果排序、广告排序等;４)广告投放效果分析;5)互联网信用评价；6）图像辨认、理解。3、数据挖掘类商业智能,如记录报表；用户体验分析,预测流失用户。下面先介绍一些面试中也许会碰到的一些问题，然后谈一谈答题思绪和面试心理准备上的一些建议。面试问题1、你在研究/项目/实习经历中重要用过哪些机器学习/数据挖掘的算法？2、你熟悉的机器学习/数据挖掘算法重要有哪些?3、你用过哪些机器学习/数据挖掘工具或框架?4、基础知识A、无监督和有监督算法的区别?Ｂ、SVM的推导，特性?多分类怎么解决？C、LR的推导,特性？D、决策树的特性？E、SVM、LR、决策树的对比？F、GBDT和决策森林的区别?G、如何判断函数凸或非凸?H、解释对偶的概念。I、如何进行特性选择？J、为什么会产生过拟合,有哪些方法可以防止或克服过拟合？K、介绍卷积神经网络，和DBＮ有什么区别?Ｌ、采用ＥＭ算法求解的模型有哪些,为什么不用牛顿法或梯度下降法?M、用EＭ算法推导解释Kmｅans。N、用过哪些聚类算法，解释密度聚类算法。Ｏ、聚类算法中的距离度量有哪些?P、如何进行实体辨认?Q、解释贝叶斯公式和朴素贝叶斯分类。R、写一个Hadｏoｐ版本的wordcount。５、开放问题A、给你公司内部群组的聊天记录，如何区分出主管和员工？B、如何评估网站内容的真实性（针对代刷、作弊类)？C、深度学习在推荐系统上也许有如何的发挥?D、路段平均车速反映了路况，在道路上布控采集车辆速度,如何对路况做出合理估计？

E、采集数据中的异常值如何解决？Ｆ、如何根据语料计算两个词词义的相似度？Ｇ、在百度贴吧里发布APP广告，问推荐策略？H、如何判断自己实现的LR、Kmeans算法是否对的?Ｉ、１00亿数字,怎么记录前10０大的?……答题思绪1、用过什么算法?Ａ、最佳是在项目/实习的大数据场景里用过,比如推荐里用过CＦ、ＬＲ，分类里用过SVＭ、GBDT；B、一般用法是什么,是不是自己实现的,有什么比较知名的实现,使用过程中踩过哪些坑；C、优缺陷分析。2、熟悉的算法有哪些？A、基础算法要多说，其它算法要挑熟悉限度高的说，不光列举算法,也适当说说应用场合；B、面试官和你的研究方向也许不匹配,但是在基础算法上你们还是有很多共同语言的，你说得太高大上也许效果并不好,一方面面试官还是要问基础的，另一方面一旦面试官突发奇想让你给他讲解高大上的内容，而你只是泛泛的了解,那你就懵逼了。３、用过哪些框架/算法包?A、主流的分布式框架如Ｈadｏop,Sｐaｒk，Gｒaphlab,ＰarａmeterＳerver等择一或多使用了解;B、通用算法包,如mａhout,sciｋｉt,weka等;C、专用算法包，如ｏpeｎcv，theａno,ｔｏrch7，ＩCTCLAS等。4、基础知识Ａ、高频话题是

SVM、ＬＲ、决策树（决策森林)和聚类算法，要重点准备；B、算法要从以下几个方面来掌握a．产生背景,合用场合（数据规模，特性维度，是否有Ｏnliｎe算法，离散/连续特性解决等角度）；ｂ.原理推导(最大间隔,软间隔,对偶）；c.求解方法（随机梯度下降、拟牛顿法等优化算法）;ｄ.优缺陷，相关改善；ｅ.和其他基本方法的对比；C、不能停留在能看懂的限度，还要f.对知识进行结构化整理,比如撰写自己的cheeｔsheｅt，我觉得面试是在有限时间内向面试官输出自己知识的过程，假如仅仅是在面试现场才开始调动知识、组织表达，总还是不如系统的梳理准备;g.从面试官的角度多问自己一些问题,通过查找资料总结出全面的解答，比如如何防止或克服过拟合。开放问题A、由于问题具有综合性和开放性，所以不仅仅考察对大数据算法的了解,还需要足够的实战经验作基础;B、先不要考虑完善性或可实现性,调动你的一切知识储备和经验储备去设计，有多少说多少，想到什么说什么,方案都是在你和面试官讨论的过程里逐步完善的,但是面试官有两种风格：引导你思考考虑不周之处or指责你没有考虑到某些情况，碰到后者的话还请注意灵活调整答题策略；C、和同学朋友开展讨论，可以从上一节列出的问题开始。心态建议1、面试过程中大家是平等的。不要太弱势也不要太强势。２、把你之前的项目经验有条理的表达出来。3、面试一些问题的时候，可以想一想,并不是所有的问题必须别人一问完,立即回答。４、把面试当作一种学习与经历。关键是从一些面试中你能发现自己局限性。小ｔips1、面试之前花点时间在面试公司和岗位，了解一下人家公司是干什么，假如你对这家公司特别感爱好,去网站上看看,去体验一下人家公司的产品和服务。会让面试的人感觉到尊重。2、假如有结识的人或者通过一些渠道先了解一下你面试的公司,部门情况到底是怎么样的。到底要