数据挖掘-实验1

1、实验一数据挖掘概念及Python初步实验目的1.1上招聘网站，搜索“数据挖掘”、“数据仓库”，“Java软件工程师”，“C+软 件工程师”，“会计”等关键词，了解招聘市场对该领域的技能要求。1.2阅读集体智慧编程第四章，了解“搜索引擎”构建的步骤与搜索结果的评价方 法。1.3利用Wing IDE开发环境，调试并运行集体智慧编程第四章的程序。实验报告包括内容实验报告：学委统一收齐后，发送到邮箱，截止日期为2012年10月21 日22点整。实验报告的成绩计入总成绩，请各位按照自己的理解，完成实验内容，撰写实 验报告，切莫抄袭！实验报告的Word标题为：【数据挖掘-实验1】学号姓名。请不要压缩，直接

2、提 交word版本即可。数据挖掘-实验1.1数据挖掘1 .熟悉利用Matlab,SPSS,SAS,R中任意一款来进行建模和数据分析；思维活跃，知识面广，逻辑性强，并具备快速学习的能力3 .数学，应用数学,统计学等在读学生.1、统计学、数学等相关专业学士及以上学历(若有统计专长，可放宽专业限制)；2、具有深厚的数据分析、数据挖掘理论知识，深入了解相关技术；3、能熟练使用至少一种统计分析或数据挖掘工具(包含但不限于SPSS、SAS等)；4、具有数据挖掘项目实施经验者优先考虑；5、思维敏捷，良好的逻辑分析能力、良好的沟通及组织能力；6、全国能经常出差。数据仓库1、正规全日制大学本科及以上学历，计算机

3、相关专业；2、1年及以上数据仓库项目工作经验，对数据仓库系统架构具有良好的认识；3、熟悉Oracle存储过程开发；4、熟悉数据仓库开发相关技术，如数据仓库、ETL、OLAP、BI展现等；5、能独立进行BI设计及开发，精通Cognos报表开发工具，能够应用Cognos报表完成相应 分析报表的开发；6、熟悉JAVA开发7、良好的自我学习能力、团队协作能力，具有较强的文字功底；1、计算机相关专业，本科学历以上；2、熟悉数据仓库建模理论，具有数据仓库建模的实际经验；3、3年以上银行DB2数据仓库模型设计、开发管理相关工作经验；4、有DB2大数据量（TB级）数据处理开发及数据仓库系统性能优化问题等相关经

4、验；5、具有较强的业务分析能力，能够及时准确的捕获客户的需求信息，并能合理引导和把控 客户的需求。Java软件工程师1、计算机及相关专业大学本科学历；2、Java基础扎实，熟悉J2EE架构和常用的设计模式，并能够在实际中灵活应用；3、熟练掌握Java、SQL、XML等常用技术；4、熟悉主流数据库系统、应用服务器和开发工具；5、有SOA架构设计经验优先考虑；6、热爱软件设计和开发，积极主动、工作勤奋、细致、踏实，优秀的团队协作能力；1、计算机或相关专业，大专以上学历。2、有1年以上JAVA开发经验，熟悉MVC模式。3、具备独立思考、解决问题的能力，拥有良好的学习能力。4、具有电子商务或大型门户网

5、站经验的优先。5、具备基本团队合作精神和沟通技巧。熟悉Struts + spring + hibernate等框架技术、开发模式。熟悉 JSP、JSTL、Servlet、JavaBean、Xml、Javascript 等技术。熟悉Tomcat、JBoss等应用服务器配置。熟悉SQL各种操作语法，熟悉常用的数据库Oracle、Mysql等。C+软件工程师本科及以上学历，计算机相关专业；精通Linux/Unix下C+开发，并有2年以上开发经验;精通Socket网络编程，熟悉TCP/IP；4.熟悉各种常用数据结构和算法;5.熟悉Oracle等数据库系统；1、计算机相关专业毕业，熟悉VC编译环境，Wi

6、ndows核心编程技术、面向对象的编程思 想；2、精通：C/C+编程、网络编程技术、Win32多线编程、TCP/IP、UDP协议及Winsock编 程技术者优先；3、熟悉SQL或ORACLE有数据库的相关知识；4、有良好的编程习惯，具备学习和分析解决问题的能力、沟通及理解能力，高涨的工作热 情，强烈的责任心。会计1、工作态度端正、仔细认真，积极主动2、中文打字每分钟60个以上，具有扎实的会计基础3、熟练应用办公软件4、熟悉会计准则和税法的相关知识，熟悉国家财务制度和相关政策法规，熟悉会计准则商 业会计操作实务和纳税实务。5、有良好的沟通能力、表达能力，有较强的责任心和敬业精神。1.2阅读集体智

7、慧编程第四章，了解“搜索引擎”构建的步骤与搜索结果的评价方法。从搜索引擎的原理来看，可以看作三步：从互联网上抓取网页，建立索引数据库，在索 引数据库中搜索。全文搜索引擎的“网络蜘蛛”能够扫描一定地址范围内的网站，并沿着网络上的链接从 一个网页到另一个网页，从一个网站到另一个网站采集网页资料。它为保证采集的资料最新， 还会回访已抓取过的网页。网络机器人或网络蜘蛛采集的网页，还要有其它程序进行分析，根据一定的相关度算法 进行大量的计算建立网页索引，才能添加到索引数据库中。我们平时看到的全文搜索引擎， 实际上只是一个搜索引擎系统的检索界面，当你输入关键词进行查询时，搜索引擎会从庞大 的数据库中找到符

8、合该关键词的所有相关网页的索引，并按一定规则呈现给我们。不同的搜 索引擎，网页索引数据库不同，搜索结果也就不尽相同。利用能够从互联网上自动收集网页的Spider程序，自动访问互联网，并沿着网页中的 所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集回来。然后建立索引数据库， 由分析索引程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在URL、编码 类型、页面内容包含的关键词、关键词位置、生成时间、大小、与其它网页的链接关系等，然后用这些相关信息建立网页索引数据库。接下来在索引数据库中搜索排序，当用户输入关 键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关

9、网页。最后， 由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。搜索引 擎只能搜到它网页索引数据库里储存的内容。最后搜索引擎的评价的方法并非单独存在，而是被综合应用。综述是研究的基础。1.3利用Wing IDE开发环境，调试并运行集体智慧编程第四章的程序。Fin.py - C:UsersJohnDesktopchapter4nn.py.回.5-7. EFile Edit Format Run Options Windows Helpfrom pysqlite2 ir-iport dtapi2 as sqlitedef dtanh(y):ret _;rr. 1. O-y*

10、ycla2-3 3 ear cline t:def init (self f dbnaute):self con=sqlitE cannect (dbnair.e)def del (self) :|self.con.close(si ma：ketatles (self:self. can. execute (1 create tat-le 2:iddennode (create_key) self . con, execute ( 1 create tah-le wordhidden (f rciEidf toidf strength 1 self. can execute (1 create

11、 tat-le hiddenrl (f rcT.j.df taidf strength) 1) self. con. conmiit (：iez getstxength (self f f ronLid toidf layer):1 la.yer=O: talole=1 wordidden1else : taile =1 hiddenurl1xes=self . can. execute (1 select strength f rcrr.where frciEid=%d and ,caid=,d!if res=?one:if layer=O : ret urn -Q . 2if layer=l: return 0ref.：.rn res JOdef aetstrength (self f f roiEidf toidf layer, strength):i layer=O: talole=1 wordhidden1else: tatole=1hiddenurl1re3=self . con. execute ( 1 select rcwid f rcir. %s where f rcir.id=%d and tGid=%d1 % if res=?one:self. con. execute (1 insert into(f rcitidf toid st