Python网络爬虫实践心得

Python网络爬虫实践心得随着21世纪科学技术的飞速发展，目前互联网已经成为了人们获取知识和相关信息的重要途径之一，由此也出现了很多很多的搜索引擎，比如说互联网巨头百度搜索引擎，谷歌搜索引擎，搜狐等等，。但很少有人知道搜索引擎是网络爬虫的一种实例，也不知道它是通过何种方式去获得信息以及传递信息过程的。所谓网络爬虫，就是一种自动获取网络内容的程序，是搜索引擎的重要组成部分，它尽可能的把互联网上的所有网络内容下载下来，放到本地的服务器里形成备份，在对这些网页做相关的处理，例如：提取相关的关键文字，去除广告等等，最后给用户提供一个检索口。实际上，再次之前，我几乎没有接触过python网络爬虫，之前一直学习的就是c语言，虽然有一些联系，但终究是有着很大的差别与差距，可以说，七月份是我第一次正式接触到网络爬虫这个东西，学校采用班级授课的方式来给我们做相关的介绍，在课堂上老师从人工智能的例子阿尔法狗来大胜人类本身开始讲起来，引起了学生们对于网络爬虫的兴趣，详细的讲解了有关python的发展历史，功能，算法，网络，对于这门课的有趣性与概念，抓取过程，网络爬虫的实现，相关代码，实现编程等等，让我们对此有了一定的简单与基础的认识，了解以及一些最简单的掌握与应用方面的东西。老师不仅仅通过口头教学的方式来讲解一些理论方面的知识，他还叮嘱我们携带自己的笔记本电脑去上课，在课堂上来进行实践方面的操作细节教育，一步一步的引导我们，通过操作与练习来加深，强化对于知识的理解与掌握，将学到的东西运用到实践方面去。在整个知识的实践过程中，老师对我们有着非常大的帮助，不仅仅引起了我们对于这门技术学习的欲望，而且带给了我们对于网络爬虫是实现与应用有了很好的认识与掌握。同时也给予了我非常大的帮助，有时候我们对于老师上课讲述的内容不是了解的非常透彻或者没有认真听讲导致漏过的东西，我去请教老师的时候，他们总是有着充分的耐心与热情，只要不是非常重要的事情，老师们都会暂时推掉，用下课去吃饭的时间为我们补习，很负责任的为我们讲解。从来没有过丝毫的抱怨，有时候晚上很晚的时间了，我们在群里问老师问题时候，老师们也抽出来时间加班加点的为我们讲解，就差来我们的宿舍来亲自示范了。对于老师的这一切付出，我们都看在了眼里，记在了心里，对老师们充满了感激。这门课学到的东西，让我们受益匪浅。在一开始的学习过程中，我觉得老师讲的东西很有趣，但也仅仅是有趣而已，实际运用没有一点的头绪，而且会时常感到非常困惑，因为我在自身进行处理以及编程的过程中，有很多不懂的地方，会觉得自己力不从心，时常性的会卡在某一个步骤上，只有通过好几次的实践运用，修改，我才能真正的成功的运行一次程序，这也让我真正的体会到了前人所常说的“实践出真理”，只有通过不断是实践，才能真正的了解到网络爬虫，才能真正的掌握新的事物，这也正是我从这一课上所得到的启示。以下是我在学习过程中总结到的几点对于有助于学习成果的方式，也是我在未来学习中将一直秉承的学习理念。第一点：提前做好相关方面的预习建构学习主义理论认为学习是一个基于自身经验以及已有知识的过程，杜威认为教学后应该建立在学习者已有知识的基础上，学习者参与到学习中来，由此也简介的证明了预习的重要性，“凡事预则知，不预则废”。那么该如何预习呢？大学生学习与初高中乃至小学最大的差别就在于我们接受教育的方式，之前是填鸭式教育方式，在老师，在家长，在每一个大人的督促下完成某一次的学业要求，而大学的时间就宽裕与充足了许多许多，课程也更自由与复杂，若果不能够做好预习方面的知识，很有可能在课堂上任何东西都听不懂，只能在自己的位置上呆坐着，蹉跎时光，浪费青春。预习不同于之前初高中方面的预习，只需要简简单单了解一下第二天老师要讲的东西，仅仅是简简单单的看一遍是根本不够的，而是在去预习的过程中，先对知识有一个大概的了解。其次，划分出自己所认为的重难点，上课时间去认真的听，如果漏过或者没有听懂，还要抓紧时间去问或者自己上网去查。这是自己学习知识的一个非常重要的步骤，通过划分重难点来检查自己对于这们课乃至于这一小节的了解程度。并且明白在老师教导时候自己所需要侧重去听的东西。该去掌握哪一部分，课堂上的教学在某种程度上相当于第二次预习，不过是老师带着你去预习，给你去讲解一些重难点的不同而已，进一步的加强你对于知识的掌握程度。总的来说，预习能够增强学习的主动性，自觉性，培养自身的学习能力和自制力，学会预习，坚持预习，不仅仅会让学习变得简单轻松起来，而且会让学生养成勤于动脑的习惯，逐步的培养出自身自主学习的能力。第二点：合作学习或者说小组学习我们在大学里经常会遇到老师说明天有小组作业，请相关的小组做好预习与讲解方面的准备等等。目前我国的教育正在倡导这一方面的做法，合作学习的重要性就体现了出来，合作学习的概念是什么，为什么要提倡合作学习？合作学习是指学生为了共同的任务，有明确的目的与责任与分工的互助性学习，一个巴掌拍不响的道理大家都懂，一千个读者有一千个哈姆雷特，每一个人都是有着自己的独特的思想的人，他们都有着自己的理解与概念，合作学习强调目的相同，不同的方法。条条大路通罗马，一个思想与另一个思想的碰撞会产生新的火花，每个学生的学习能力又不尽相同，他们的学习兴趣，知识的宽度也不尽相同。此在学习的过程中，学生间，师生间的互相启发，相互讨论，都会将另一些同学的思维导向另一个新的领域之中，出现一些新的视角，提出一些值得去探讨与争论的问题。在这样一个情况下，一个个新的知识不断生成，不断去被了解，不断的建构，具有创造性的过程中，学生或多或少的都会得到一些结论。这些结论就是在学生的合作讨论中所得到的。如果没有完全解决，老师就会进行点拨与指导。学生们就会留下了深刻的印象，因为这是自己辛辛苦苦所得到的自己的东西。更为重要的一点就是，它能够提高我们的社交与表达能力，还能提高自己的总结与反思能力。毕竟每一个结论不会尽善尽美，残缺之处就是我们学生所需要补足的地方。我们一直处于一个又一个社交圈子之中，从家庭关系学关系生关系到社会关系，难以很好的维系却又不得不去努力去维持，有些人不善交际，完全独身一人，周围充斥这孤寂与悲凉，也许也最难过的他会想去找个人去倾诉却没有办法去找一个去倾听，而在合作的过程中，同时增进了交往，形成了初步的社交能力，与另一个同伴之间的相互交流，彼此交流知识的过程，也是一个互相帮助，相互沟通的过程，学生们在什么样的情景下该说什么样的话，做什么样的事情，他们都会在交流中一点一点的学到，让自己的行为变的更加合适与得体。再补充几点，现在的世界更加的强调竞争与合作同时进行，合作学习的过程中也可以培养出学生之间的竞争与合作意识，因为合作学生之间分到不同的小组，在问题才出现后讨论的过程中不可避免的出现了竞争的关系，然而在解决问题的过程中又形成了合作的关系，这可以看做是社会的一个缩影，一个有关于社会的缩影。这又对于学生进入社会后有着至关重要的作用，能够通过这样的方式，把学生培养成一个具有竞争力，懂得说话做事全面发展，能够适应社会发展，被社会所需要的人才。第三点：实践出真知古人云：“纸上得来终觉浅，中知此事要躬行”，这句话充分的强调了实践的重要性。从小学到大学，十几年时间的学习生涯，我们大多数的时间都是在课堂之中，在学校中度过，我们在课堂上的大多数的理论知识，又对于我们与社会的接触中并不是十分的好用，极度的缺乏社会经验，从而下意识的忽略了实践的重要性，忘记了动手能力的重要性。举两个简单的例子长平之战中，秦国和赵国兵起长平，廉颇老将军用兵老道无懈可击，秦遂用反间计，赵王年轻气盛，因求和被拒而主动出击，但廉颇坚守不出不听赵王命令，秦国散布谣言“在廉颇容易对付，秦国最害怕的是赵奢的儿子赵括”，赵王信以为真，不听他人劝阻，拍赵括去接替廉颇的主将位置，赵括一到军中，就辩证了廉颇的防御性部署，更换将吏，组织进攻，而秦国暗中更换将领白起，白起针对赵括急于求胜的弱点，制作了战略部署，最后取得了战争的胜利。假若赵王不更换将领，历史有没有可能被改写，秦国也许难以实现统一中原，成就霸业。由此得出纸上谈兵终究知识一场空，只有实践才能出真知。中国从封建社会到殖民主义到半封建半殖民社会，再到如今的社会主义，历经无数变革，无数的实践，我们曾经试图走欧洲的资本主义道路，幻想通过资本主义道路走上一条康庄大道，却惨遭失败，从苏联借鉴过来的社会主义也经由了无数的实践，才形成了我过以毛泽东思想，马克思主义理论为知道的特色社会主义到洛阳，在长征路途中，经过六次失败，确立了毛泽东思想为指导，而毛泽东也确实用实践走出了一条适合中国国情的农村包围城市的道路，经过实践，才明白人民是社会的主体力量，无产阶级才能领导人民取得政权，水能载舟亦能覆舟，只有从实践中来，又经过实践验证的理论，才是真正是知识。在我们学习的过程中，我们要秉持“实践出真知”的姿态，不懂的知识加以验证，在实践中得到真正的掌握与应用。第四点：不断反思，优化思维反思是对自己的思维过程，思维结果进行再认识的检讨国过程，反思是学生学生学习中不可或缺的重要环节。反思性学习模型将这已过程积分了七个阶段，分别是反省阶段，判断阶段，洞察问题阶段，突破问题阶段，破立对应阶段，实践验证阶段以及最后的总结提高阶段。其中，洞察问题阶段是相对关节的一个环节，当最中意识到问题的有时候内心会产生怀疑，困惑和焦虑等不适应感，并且试图改变这种状况，这一阶段能够充分的使意识到问题的存在，兵明确问题的情景，通过做出实践，总结，解决问题，优化自身的思维过程。从反思的过程中，我们学生能够培养自己的自主性和创新性，反思整个过程和能动中，既当演员，又当导演，自始至终都是真正的主人，它通过自我的认识，自我分析，自我评价，获得自我体验。反思性具有很强的自主性，学生进行及时的自我反思，才能总结出自己的利弊与得失，是自己的学习效率更高，我记得在初高中的时候，我们会有一个专门的纠错本，用来记录自己的错题，每隔一段时间去看一遍，再做一次，看会不会出现同样的问题，或者出现新的错误，通过不断的反思学习，彻底解决这一问题。如果学生不断的反思他们自己做过的事情，他们就会从实践中获益。另外，应该注意的是，反思不仅仅是最后的结果，而在于去做的过程之中就进行反思，比如说反思某个想法或者技术，只有在认真反思的过程中，整个实践过程中才能更有意义和有价值。第五点：劳逸结合适当的娱乐会有更大的益处。高效率的学习和工作要求我们在做事情时候要要好的精力，这就需要充分的休息了，能够在学习时间保持最好的状态。长时间的学习可能会导致情绪上的压抑等等，适当的娱乐活动，能帮助性缓解情绪避免出现心里问题，以下是我给大学生建议的几个娱乐活动：1，欣赏音乐和看电影，舒缓的音乐能够使人平静，激进的音乐则能使人充满热情，乡村音乐，提供灵魂的摆渡，不容的音乐会有不同的感受。动作片会让人感到兴奋，爱情片则会让你带入更多的自己的感受，有助于情感的发泄，社会片亦是如此，人人皆为无名之辈，在不同的地方都为自己的理想而奋斗着。2，出门看看，看看凌晨环卫工人萧瑟的背影，看看路边的流浪汉沉睡的面孔，看看夜晚办公室里仍然奋斗的人群，每个人都有每个人的艰辛，任何时候都不要轻言放弃。和朋友倾诉，除了家人以外，朋友应该就是每个人最亲密的伙伴了，肝胆相照，梁山108位好汉，他们为匪，但不可否认，他们是彼此之间的支持，为朋友两肋插刀的肝胆衷心，快乐的时候与朋友分享，两个人都会感到快乐，难过的时候倾诉，有人来安慰，日子也许就会好过许多，许多事情就挺一挺过去了。最后一点：要培养终身学习意识现代知识的徐苏更新，要求我们不应该满足原有的知识和经验，我们需要不断的去学习，完善自己的知识结构，充实自己的知识网络，从学习中获得更多的思想，观点和方法，免得跟时代脱离。这就更要求我们去时刻学习，在当今社会，学会获取知识