大数据与教育(一)

大数据与教育杨劲松MPmail:yang7@139.com学习内容一、认识大数据二、大数据周边三、大数据与教育2一、认识大数据1、大数据的定义大数据（bigdata），指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。--维克托·迈尔-舍恩伯格及肯尼斯·库克耶“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。-Gartner一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。-麦肯锡全球42、大数据的特征5Variety（数据类型繁多）Value（价值密度低）Velocity（处理速度快）Volume（数据体量大）3、大数据的单位1Byte=8bit1KB=1,024Bytes=8192bit1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB1TB=1,024GB=1,048,576MB1PB=1,024TB=1,048,576GB1EB=1,024PB=1,048,576TB1ZB=1,024EB=1,048,576PB1YB=1,024ZB=1,048,576EB1BB=1,024YB=1,048,576ZB1NB=1,024BB=1,048,576YB1DB=1,024NB=1,048,576BB6BinaryDigitByte（字节）KilobyteMegabyteGigabyteTerabytePetabyteExabyteZettabytesYottabytesBrontobytesGeopbyte4、大数据的缘由7啤酒与尿布Aprior算法,艾格拉沃,19935、大数据vs传统数据8大数据传统数据数据结构半结构数据为主兼有结构化、非结构数据结构化数据信息密度低高采集密度全数据样本数据信息状态原生态（实时、在线、动态）半加工大数据是互联网发展过程中的一个新表征，是信息技术发展带来的一种新的数据类别；大数据与传统数据各有特点，适用不同领域，不能离开应用谈优劣，大数据有拿手强项，也有不擅长的领域。大数据与传统数据不是更替关系。5、大数据带来的变化9减少了对模型和算法的依赖数据本身接近事实不需要了解具体的因果关系就能得出结论谷歌翻译处理多种数据结构数据的立体性、多维性5、大数据带来的变化10减少了对模型和算法的依赖数据本身接近事实不需要了解具体的因果关系就能得出结论谷歌翻译处理多种数据结构数据的立体性、多维性5、大数据带来的变化11减少了对模型和算法的依赖数据本身接近事实不需要了解具体的因果关系就能得出结论谷歌翻译处理多种数据结构数据的立体性、多维性5、大数据带来的变化12谷歌翻译5、大数据带来的变化13减少了对模型和算法的依赖数据本身接近事实不需要了解具体的因果关系就能得出结论谷歌翻译处理多种数据结构数据的立体性、多维性5、大数据带来的变化14SmartDeblur，弗拉基米尔·宇智科夫,20126、大数据有关的技术15大规模并行处理（MPP）数据库、数据挖掘分布式文件系统分布式数据库互联网物联网可扩展的存储系统VR7、大数据成熟案例16洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。google流感趋势(GoogleFluTrends)利用搜索关键词预测禽流感的散布。统计学家内特.西尔弗(NateSilver)利用大数据预测2012美国选举结果。麻省理工学院利用手机定位数据和交通数据建立城市规划。梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。…….

二、大数据周边1、大数据的思维18艾莫拉法则人们往往会高估技术的短期影响力，而低估技术的长期影响力。指数的效应（摩尔定律）三个挑战：（1）全集大于采样。

（2）实时性。

（3）分析方法2、大数据的权利19第一，拥有权。第二，数据隐私权第三，数据许可权第四，数据审批权第五，数据分红权3、大数据的安全20数据加密访问控制数据脱敏同态加密审计和定价4、大数据与智能21机器智能类脑智能计算智能5、大数据与决策22在大数据时代，数据应该是日趋完整的，或则几乎与全面的，换句话说，数据本身接近真相，数据获取的完整性更重要。原来的数据是抽样的，仿真的，因果逻辑的关注、数据相关性的挖掘和提取是数据提炼成信息和知识的主要渠道；大数据驱动的决策vs传统决策5、大数据与决策23大数据驱动的决策要回避的短板重“量”轻“质”偏爱“潮流”，忽视“杰作”会放大噪音宏观问题决策能力弱5、大数据与决策24一种新型的大数据驱动的决策机制的讨论前提：数据本身是真相（数据的完整性）思路：从数据本身还原分析决策网络，并借此去评估决策。应用条件：（1）足够的训练数据，用于支持发现决策网络，还原节点计算参数；（2）适用于量化性、趋势性的决策优点：（1）有数学理论支持，可形成量化结论（2）重点工作在于数据的完备性采集，降低实施难度；（3）随数据结构扩展，评价网络也能动态演化，实现与时俱进的决策；（4）具有良好的自反馈机制，实现评价参数的自调整，完善决策效果。理论支持：（1）产生式规则（2）模糊Petri网一种新型的大数据驱动的决策机制的讨论1使用产生式规则表达决策项2将孤立的产生式规则统一成完整的模糊Petri网表示的决策网络3筛选指定评估项的决策子网4完成决策下一次决策一种新型的大数据驱动的决策机制的讨论If人居铁路长度长then基础设施好If人居公路路长度长then基础设施好If基础设施好then外来人才多If已有人均铁路长and规划人均铁路建设长度长then人均铁路长度长If资金配套率高and科技人力资源好then规划人均铁路建设长度长If已有人均铁路合适then铁路经营状况好If铁路经营状况好then铁路自筹资金到位率高。。。。。。。

某国家五年后基础设施决策规则集一种新型的大数据驱动的决策机制的讨论2.3一种新型的大数据驱动的决策机制的讨论(示例)设有如下模糊产生式规则的知识库：R1：IFd2ANDd3THENd5(μ1=0．95)R2：IFd1THENd7(μ2=0．9)R3：IFd3ANDd4THENd6(μ3=0．95)R4：IFd5THENd8(μ4=0．9)R5：IFd4THENd10(μ5=0．9)R6：IFd7ANDd8THENd9(μ6=0．95)R7：IFd6ANDd8THENd10(μ7=0．85)……………….一种新型的大数据驱动的决策机制的讨论（p10，α（p10），{t5，t7}，0，1）（p4，0.7，{--}，1，0）（p6，α（p6），{t3}，0，2）（p8，α（p8），{t4}，0，2）（p3，0.9，{--}，1，0）（p5，α（p5），{t1}，0，3）（p2，0.8，{--}，1，0）(示例)一定程度上降低工作难度（工作重心可偏向数据的采集）可一定程度上回避国别和文化的障碍，降低了决策方法的复制难度使用一样决策机制通过不同国家的数据特征还原不同的决策结果决策网络与专家评估表、问卷调查结合，可加速决策网络演化成熟和动态发展。一种新型的大数据驱动的决策机制的讨论

三、大数据与教育三、大数据与教育大数据的课程模式大数据与学习评价大数据与学习资源大数据与教学平台331、大数据的课堂模式34

（1）翻转课堂

（2）幕课

MassiveOpenOnlineCourses，即大规模在线开放课程，简称“MOOC”

（3）微课新的教学模式：翻转课堂35翻转课堂

InvertedClassroom，又称“翻转课堂式教学模式”。翻转课堂式教学模式是在教师的引导、启发下，将学习的决定权从教师转移给学生。让学生凭借计算机的帮助，在家中自主完成基础知识的学习，在学习方式上比较适合学生的个性特点。常规的课堂则成为师生互动探讨、加深知识印象和巩固所学知识的桥梁，成为学生进一步交流学习经验、积极探讨学习方法的场所。

翻转课堂的教学特点课堂面授与在线学习相结合直接传授与建构主义学习相结合自主学习与协作学习相结合“翻转课堂”的核心由传统的教->学到技术支持的学->教知识传授与知识内化两个认知环节的优化翻转课堂的特点国外学校“翻转教室”的教学效果（2）MOOCMOOC(Massiveopenonlinecourse):大规模开放在线课程,通过网络自由、免费取得学习资源的大型开放式网络课程，课程没有人数、学籍的限制，并且可以形成社群互动；MOOC的核心是社会化学习，是基于网络的以连接、沟通、分享和创新等为主要活动的一种新型学习方式，是通过协作共享空间寻找、消费、创建和贡献信息的新范式；2012：“MOOC年”。402007年8月大卫‧怀利在犹他州州立大学教授早期的大型开放式网络课程，或称为大型开放式网络课程原型，一个开放给全球有兴趣学习的人来参与的研究生课程。在成为开放课程之前，这门课本来只有5个研究生选修，后来变成有50个来自8个国家的学生选修。2008年当加拿大学者史蒂芬唐斯和乔治西门子领导一个称作《关联主义和知识连接(CCK08)》的在线课程，他们将其免费开放，任何人都可以获取、分享，超过2200个学生注册。另一位加拿大教育学者，戴夫科米尔到用MOOC这个词来描述这个新的教育事件。在此基础上史蒂芬唐斯想出了“xMOOC”和“cMOOC”来区分不同的模式41MOOCs早期事件MOOCs最著名的三个网站42432011年秋，美国斯坦福大学教授塞巴斯蒂安·史朗把他的“人工智能导论”课程放在了互联网上，从而吸引了来自190多个不同国家的160,000名学生；2012年3月，斯坦福大学的计算机科学教师Ng和DaphneKoller创立了Coursera，得到资金实力雄厚的投资商的支持；公司已与世界各地有69所大学建立了合作关系，开发了370门课程，注册的学生超过350万（数字在不断更新）；Coursera表示将不断扩展课程科目，增加不同语言的课程设置，这些语言包括中文，西班牙语，法语和意大利语，香港大学和国立台湾大学也在其中。44哈佛大学和麻省理工学院（MIT）成立的edX所提供的免费开放课程，已经吸引了大约6000名大陆学生；edX新闻官DanO’Connell承认如今使用EDX的中国人数仍然很小，主要是技术原因；5月21日，edX宣布新增15所高校的在线课程项目,包括北京大学、清华大学、香港大学等在内的6所亚洲高校;北京大学计划9月第一批网络开放课程上线，5年内争取建设100门网络开放课程。清华大学前期将选择4门课程上线，未来将在中国建立自己的在线教育平台，开发30门新一代在线课程，进一步拓展在线教育模式，为社会提供更为广泛的教育服务。45Udacity的课程仅限于它最初创立时就有的数学和计算机科学，并且着重于实际应用，比方说教你“如何建立一个博客”，以及“如何构造一个网络浏览器”；Udacity的一个目标就是让学生能有更好的职业发展。而根据史蒂芬斯博士的说法，“即使是最好的大学，其计算机课程所传授的技能也是浮于理论的”；史蒂芬斯博士认为，Udacity与Coursera等提供大学课程的竞争者的不同之处是Udacity在选择教师时依据的并非是他们的学术研究能力，而是他们的教学水平。MOOC不是从石头缝里蹦出来的

起源可以追述到本世纪初的OCW46OpenCourseWare是麻省理工学院（MIT）本世纪初的一项创举。通过它，MIT将逐步把其所开设的全部课程的教学材料和课件公布于网上，供全世界的求知者和教育者们免费无偿地享用；在OCW推出伊始，MIT校长CharlesM.Vest曾充满期待地说：“我们坚信，不断地开放资源获取途径和鼓励合作伙伴参与将极大地推动教育的进步与发展。”十多年来，OCW取得了不错的业绩，其开放教育的理念得到世人的赞赏，提升了MIT的社会声誉，也为后来的公开课程、MOOC做了很好的铺垫；OCW实际上推出的不是课程，而是教授们的授课讲义和学习资料。MIT不向学习者提供帮助，也不承认完成课程学习人士的学分。2010年前后，网易引进了国外名校的视频公开课，在全社会产生重要影响5051视频公开课不能提供学习帮助和交互，离MOOC只有一步之遥52有人推出了TEDEDTED+TEDED，已经很接近MOOC了555758596061626364MOOCs的特点11.不是学校，而是公司；2.MOOC是免费的，由基金会提供支持（可汗学院也不收费）；3.