大数据时代图书馆面临的挑战机遇与对策课件

大数据时代图书馆面临的挑战机遇与对策赵继海2021年11月7日＠义乌大数据时代图书馆面临的挑战机遇与对策1提纲引言大数据的由来大数据的特征大数据的作用大数据的挑战大数据时代图书馆的对策完毕语提纲引言2一、引言关注、跟踪、研究热点和前沿问题，是把握未来方向，制定图书馆开展战略与对策的需要。当前图书馆的热点和前沿问题：四化一大：数字化、移动化、社会化、智能化，大数据时代降临。一、引言关注、跟踪、研究热点和前沿问题，是把握未来方向，制定3两个案例美国连锁超市Target案例。为何向17岁女孩发婴儿尿片和童车的优惠券？英国零售巨头Tesco〔乐购〕案例。通过挖掘分析会员卡用户的购物数据，对顾客分类，有针对性地发广告邮件，每年节省3.5亿英镑的广告费用。两个案例42011年5月，McKinsey发布《大数据：创新、竞争和生产力的下一个前沿》的报告，首次提出了大数据概念，认为数据已经成为经济社会发展的重要推动力。2011年5月，McKinsey发布《大数据：创新、竞争和生5大数据是2021年IT界的热门话题。今年3月29日，美国奥巴马政府宣布推出“大数据研究和开展方案〞〔BigDataResearchandDevelopmentInitiative〕，有人将其比之为克林顿政府当年提出的“信息高速公路〞方案。大数据是2021年IT界的热门话题。今年3月29日，美国奥巴6大数据时代图书馆面临的挑战机遇与对策课件7该方案涉及美国国家科学基金会、卫生研究院、能源部、国防部等6个联邦政府部门，投资超两亿美元，研发收集、组织和分析大数据的工具及技术。美国政府大数据方案的出笼，说明大数据技术已经上升为国家战略。该方案涉及美国国家科学基金会、卫生研究院、能源部、国防部等68二、大数据的由来数字化呈现新的特征，即非构造化的数据已经成为数字资源的主体。先来看看传统纸本资源的数字化过程。二、大数据的由来数字化呈现新的特征，即非构造化的数据已经成为9大数据时代图书馆面临的挑战机遇与对策课件10到目前为止，中文的纸质图书、期刊、学位论文等文献类型，已大部完成数字化转换。报纸、灰色文献正在进行数字化转换。英文及其他文种的纸质资源正在进行大规模数字化。预计在三至五年内，人类历史上积累的纸质文献资源将基本上完成扫描和数字化。到目前为止，中文的纸质图书、期刊、学位论文等文献类型，已大部11每时每刻都在产生大量的原生数字资源〔Born–digitalresources〕－－每个用户、每台终端都在产生信息。据IDC〔国际数据公司〕统计，2021年全球所产生的数据总量是1.8ZB〔10的21次方〕，年增50%。1TB(Trillionbyte，太字节)=1024GB1PB(Petabyte，拍字节)=1024TB1EB(Exabyte，艾字节)=1024PB1ZB(Zettabyte，泽字节)=1024EB=100万PB=10亿TB

每时每刻都在产生大量的原生数字资源〔Born–digita12各类数字资源在爆炸式增长，尤其是非构造化的数据〔图片、声音、视频、地理位置信息等等〕，已经成为信息资源的主体。这是当前资源数字化的新特征。目前非构造化数据已占数据总量的80%以上。图书馆对于文献数据库以外的数字资源的采集、处理、保存、挖掘和效劳，还没有引起足够的重视。各类数字资源在爆炸式增长，尤其是非构造化的数据〔图片、声音、13社交网络、移动互联网、物联网、信息化应用、各类信息终端、传感器、摄像头等方面的快速开展，导致数据量剧增，数据类型多样。对海量的多样化数据的存储、处理、检索提出了技术挑战。数据中蕴藏的巨大商业价值引发了对于数据处理、分析的巨大需求。这样催生了大数据的概念与相关技术。社交网络、移动互联网、物联网、信息化应用、各类信息终端、传感14三、大数据的特征大数据的特征可概括为4个V，即海量〔Volume〕、多样〔Variety〕、快速〔Velocity〕和价值〔Value〕。大数据技术的宗旨就是从海量、多样性的数据中，快速获得有价值的信息。三、大数据的特征大数据的特征可概括为4个V，即海量〔Volu15海量（Volume）大数据首先是数据量大。遍布世界各个角落的电脑、传感器、移动设备、在线交易和社交网络每时每刻都在产生大量数据。大数据遍及各行各业。企业、机构甚至个人的活动都在产生和积累大量数据。海量（Volume）大数据首先是数据量大。遍布世界各个角落的16多样（Variety）大数据的数据类型非常多。除了图书馆界熟悉的文献类型外，更多的是网络日志、视频、声频、图片、地理位置信息、交易信息、科学数据集等等。除了结构化数据外，非结构化数据占到了很大比重。目前非结构化数据已占数据总量的80%以上。随着非结构化数据的比重越来越大，其中蕴含着巨大的商业价值和社会价值，对传统的数据分析处理算法和软件提出了挑战。多样（Variety）大数据的数据类型非常多。除了图书馆界熟17快速（Velocity）处理多样化的海量数据，对速度的要求很高。对大数据快速处理，才能了解迅速变化的环境并作出反应，才能快速制定出合理准确的应对策略。对大数据的快速处理分析，将为企业实时洞察市场变化、迅速采取对应措施、把握市场先机提供决策支持。快速（Velocity）处理多样化的海量数据，对速度的要求很18价值（Value）价值是大数据的终极意义所在。数据正成为新型资产，“数据价值化”将成为企业提高竞争力的下一个关键点。大数据的价值虽然巨大，价值密度却很低（如监控视频），往往需要对海量的数据进行挖掘分析才能得到真正有用的信息，从而形成用户价值。价值（Value）价值是大数据的终极意义所在。数据正成为新型19大数据将是下一个社会发展阶段的“石油”和“金矿”。无论是个人、企业还是国家，谁能更好地抓住数据、理解数据、分析数据，谁就能在下一波的社会竞争中脱颖而出。关于数据的知识，将成为个人知识结构中的必备要素和基础。

——施伯乐（复旦大学计算机研究所所长）

大数据将是下一个社会发展阶段的“石油”和“金矿”。无论是20四、大数据的作用大数据将对技术、经济和社会的开展带来重大影响。四、大数据的作用大数据将对技术、经济和社会的开展带来重大影响21第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反响到上述应用中，将创造出巨大的经济和社会价值。第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。22大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境。

——RamayyaKrishnan〔卡内基·梅隆大学海因兹学院院长〕大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据23第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新效劳、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理效劳器、内存计算等市场。在软件与效劳领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的开展。第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的24第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动〞转变“数据驱动〞。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的效劳；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开场发挥促进经济开展、维护社会稳定等方面的重要作用。第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决25第四，大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

第四，大数据时代科学研究的方法手段将发生重大改变。例如，抽样26大数据对图书馆的影响几何？如何应对大数据时代的机遇与挑战？大数据对图书馆的影响几何？如何应对大数据时代的机遇与挑战？27五、大数据的挑战一是数据挖掘、数据分析与数据管理人才紧缺。二是用户隐私保护难度加大。大数据时代消费者可获得更低的价格、更符合需要的商品和效劳，但随着个人身份信息、购置偏好、安康和财务情况等数据被收集，个人隐私的泄漏和滥用的可能性在增大。五、大数据的挑战一是数据挖掘、数据分析与数据管理人才紧缺。28随着移动互联、社交网络、物联网、电子商务等的迅速发展，人们在互联网以及物理空间上的行为轨迹、检索阅读、言论交流、购物经历等等都可能被捕捉到。“数字化生存”“透明化生存”随着移动互联、社交网络、物联网、电子商务等的迅速发展，人们在29三是数据平安、知识产权、商业利益、公共平安受损的威胁增大。大数据的开展，信息开放度加大，新的信息采集、数据分析、数据挖掘技术以及海量数据存储技术和设备将不断涌现，云计算将更加普及。带来的副作用是IT根底架构将变得越来越一体化和外向型，对数据平安和知识产权、商业利益甚至公共平安构成较大的风险。三是数据平安、知识产权、商业利益、公共平安受损的威胁增大。大30六、大数据时代图书馆的对策第一，更加关注特色资源建立。不同图书馆数字馆藏趋向于同质化。在大数据时代，围绕特色优势学科进展专题数据采集，建立特色数据库并实时更新数据变得十分重要。第二，引进、研发与消化应用数据挖掘、分析和发现工具，加强数字资源的整合、分析和挖掘，提供高质量的信息效劳。六、大数据时代图书馆的对策第一，更加关注特色资源建立。不同图31第三，加强用户研究与交互数据的利用。基于对用户数据的分析，提升个性化效劳的水平，开展跟踪效劳、精准效劳、知识关联效劳、宣传推广效劳。面对快速增长的数据和复杂的网络社群关系，从中提取有价值信息，建立用户模型，针对不同用户提供针对性产品，改进用户体验，提高效劳质量。第三，加强用户研究与交互数据的利用。基于对用户数据的分析，32第四，关注和融入社交网站，扩大图书馆的受众面，实时了解读者的需求，提升和扩展图书馆在读者个人文化生活中的作用和影响。2021年底，腾讯QQ活泼帐户数到达7.21亿，“QQ空间〞活泼帐户数到达5.521亿。社交网站吸引了大量用户，图书馆效劳需要融入社交网站。第四，关注和融入社交网站，扩大图书馆的受众面，实时了解读者的33第五，努力增加数字图书馆网站和效劳工程对用户粘性，节省用户时间，提高效劳质量，提升效劳价值。从三方面提升图书馆的效劳价值：为用户提供高质量的信息资源；帮助用户快速找到并获取所需要的资源；持续不断地跟踪并推送用户关注的信息。第五，努力增加数字图书馆网站和效劳工程对用户粘性，节省用户时34海量数据〔数字资源+用户交互数据+位置信息等等〕+实时数据分析挖掘和知识发现工具+个性化精准效劳=提升图书馆效劳质量和效率海量数据〔数字资源+用户交互数据+位置信息等等〕+实时数据35第六，在数据共享、数据公开的大趋势下，要切实保护用户隐私，尊重与保护他人的知识产权，争取大数据时代图书馆的效劳权益与自身知识产权保护。第六，在数据共享、数据公开的大趋势下，要切实保护用户隐私，尊36七、完毕语大数据时代，互联网将从网页相联走向“数据相联〞和“知识相联〞。大数据技术应用将是未来图书馆效劳创新的重要领域，图书馆界应关注和研究相关技术与应用的开展，采取应对策略，提升图书馆管理与效劳水平。七、完毕语大数据时代，互联网将从网页相联走向“数据相联〞和“3720多年来的开展历程说明，信息技术是图书馆管理、效劳开展的第一推动力。图书馆人一定要跟踪信息技术日新月异的开展，研究新技术对图书馆可能的影响和应用价值，从而提高图书馆在新的技术和社会环境下的竞争力。20多年来的开展历程说明，信息技术是图书馆管理、效劳开展的第3839谢谢大家！3939大数据时代图书馆面临的挑战机遇与对策赵继海2021年11月7日＠义乌大数据时代图书馆面临的挑战机遇与对策40提纲引言大数据的由来大数据的特征大数据的作用大数据的挑战大数据时代图书馆的对策完毕语提纲引言41一、引言关注、跟踪、研究热点和前沿问题，是把握未来方向，制定图书馆开展战略与对策的需要。当前图书馆的热点和前沿问题：四化一大：数字化、移动化、社会化、智能化，大数据时代降临。一、引言关注、跟踪、研究热点和前沿问题，是把握未来方向，制定42两个案例美国连锁超市Target案例。为何向17岁女孩发婴儿尿片和童车的优惠券？英国零售巨头Tesco〔乐购〕案例。通过挖掘分析会员卡用户的购物数据，对顾客分类，有针对性地发广告邮件，每年节省3.5亿英镑的广告费用。两个案例432011年5月，McKinsey发布《大数据：创新、竞争和生产力的下一个前沿》的报告，首次提出了大数据概念，认为数据已经成为经济社会发展的重要推动力。2011年5月，McKinsey发布《大数据：创新、竞争和生44大数据是2021年IT界的热门话题。今年3月29日，美国奥巴马政府宣布推出“大数据研究和开展方案〞〔BigDataResearchandDevelopmentInitiative〕，有人将其比之为克林顿政府当年提出的“信息高速公路〞方案。大数据是2021年IT界的热门话题。今年3月29日，美国奥巴45大数据时代图书馆面临的挑战机遇与对策课件46该方案涉及美国国家科学基金会、卫生研究院、能源部、国防部等6个联邦政府部门，投资超两亿美元，研发收集、组织和分析大数据的工具及技术。美国政府大数据方案的出笼，说明大数据技术已经上升为国家战略。该方案涉及美国国家科学基金会、卫生研究院、能源部、国防部等647二、大数据的由来数字化呈现新的特征，即非构造化的数据已经成为数字资源的主体。先来看看传统纸本资源的数字化过程。二、大数据的由来数字化呈现新的特征，即非构造化的数据已经成为48大数据时代图书馆面临的挑战机遇与对策课件49到目前为止，中文的纸质图书、期刊、学位论文等文献类型，已大部完成数字化转换。报纸、灰色文献正在进行数字化转换。英文及其他文种的纸质资源正在进行大规模数字化。预计在三至五年内，人类历史上积累的纸质文献资源将基本上完成扫描和数字化。到目前为止，中文的纸质图书、期刊、学位论文等文献类型，已大部50每时每刻都在产生大量的原生数字资源〔Born–digitalresources〕－－每个用户、每台终端都在产生信息。据IDC〔国际数据公司〕统计，2021年全球所产生的数据总量是1.8ZB〔10的21次方〕，年增50%。1TB(Trillionbyte，太字节)=1024GB1PB(Petabyte，拍字节)=1024TB1EB(Exabyte，艾字节)=1024PB1ZB(Zettabyte，泽字节)=1024EB=100万PB=10亿TB

每时每刻都在产生大量的原生数字资源〔Born–digita51各类数字资源在爆炸式增长，尤其是非构造化的数据〔图片、声音、视频、地理位置信息等等〕，已经成为信息资源的主体。这是当前资源数字化的新特征。目前非构造化数据已占数据总量的80%以上。图书馆对于文献数据库以外的数字资源的采集、处理、保存、挖掘和效劳，还没有引起足够的重视。各类数字资源在爆炸式增长，尤其是非构造化的数据〔图片、声音、52社交网络、移动互联网、物联网、信息化应用、各类信息终端、传感器、摄像头等方面的快速开展，导致数据量剧增，数据类型多样。对海量的多样化数据的存储、处理、检索提出了技术挑战。数据中蕴藏的巨大商业价值引发了对于数据处理、分析的巨大需求。这样催生了大数据的概念与相关技术。社交网络、移动互联网、物联网、信息化应用、各类信息终端、传感53三、大数据的特征大数据的特征可概括为4个V，即海量〔Volume〕、多样〔Variety〕、快速〔Velocity〕和价值〔Value〕。大数据技术的宗旨就是从海量、多样性的数据中，快速获得有价值的信息。三、大数据的特征大数据的特征可概括为4个V，即海量〔Volu54海量（Volume）大数据首先是数据量大。遍布世界各个角落的电脑、传感器、移动设备、在线交易和社交网络每时每刻都在产生大量数据。大数据遍及各行各业。企业、机构甚至个人的活动都在产生和积累大量数据。海量（Volume）大数据首先是数据量大。遍布世界各个角落的55多样（Variety）大数据的数据类型非常多。除了图书馆界熟悉的文献类型外，更多的是网络日志、视频、声频、图片、地理位置信息、交易信息、科学数据集等等。除了结构化数据外，非结构化数据占到了很大比重。目前非结构化数据已占数据总量的80%以上。随着非结构化数据的比重越来越大，其中蕴含着巨大的商业价值和社会价值，对传统的数据分析处理算法和软件提出了挑战。多样（Variety）大数据的数据类型非常多。除了图书馆界熟56快速（Velocity）处理多样化的海量数据，对速度的要求很高。对大数据快速处理，才能了解迅速变化的环境并作出反应，才能快速制定出合理准确的应对策略。对大数据的快速处理分析，将为企业实时洞察市场变化、迅速采取对应措施、把握市场先机提供决策支持。快速（Velocity）处理多样化的海量数据，对速度的要求很57价值（Value）价值是大数据的终极意义所在。数据正成为新型资产，“数据价值化”将成为企业提高竞争力的下一个关键点。大数据的价值虽然巨大，价值密度却很低（如监控视频），往往需要对海量的数据进行挖掘分析才能得到真正有用的信息，从而形成用户价值。价值（Value）价值是大数据的终极意义所在。数据正成为新型58大数据将是下一个社会发展阶段的“石油”和“金矿”。无论是个人、企业还是国家，谁能更好地抓住数据、理解数据、分析数据，谁就能在下一波的社会竞争中脱颖而出。关于数据的知识，将成为个人知识结构中的必备要素和基础。

——施伯乐（复旦大学计算机研究所所长）

大数据将是下一个社会发展阶段的“石油”和“金矿”。无论是59四、大数据的作用大数据将对技术、经济和社会的开展带来重大影响。四、大数据的作用大数据将对技术、经济和社会的开展带来重大影响60第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反响到上述应用中，将创造出巨大的经济和社会价值。第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。61大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境。

——RamayyaKrishnan〔卡内基·梅隆大学海因兹学院院长〕大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据62第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新效劳、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理效劳器、内存计算等市场。在软件与效劳领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的开展。第二，大数据是信息产业持续高速增长的新引擎。面向大数据市场的63第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决策正在从“业务驱动〞转变“数据驱动〞。对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企业为消费者提供更加及时和个性化的效劳；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开场发挥促进经济开展、维护社会稳定等方面的重要作用。第三，大数据利用将成为提高核心竞争力的关键因素。各行各业的决64第四，大数据时代科学研究的方法手段将发生重大改变。例如，抽样调查是社会科学的基本研究方法。在大数据时代，可通过实时监测、跟踪研究对象在互联网上产生的海量行为数据，进行挖掘分析，揭示出规律性的东西，提出研究结论和对策。

第四，大数据时代科学研究的方法手段将发生重大改变。例如，抽样65大数据对图书馆的影响几何？如何应对大数据时代的机遇与挑战？大数据对图书馆的影响几何？如何应对大数据时代的机遇与挑战？66五、大数据的挑战一是数据挖掘、数据分析与数据管理人才紧缺。二是用户隐私保护难度加大。大数据时代消费者可获得更低的价格、更符合需要的商品和效劳，但随着个人身份信息、购置偏好、安康和财务情况等数据被收集，个人隐私的泄漏和滥用的可能性在增大。五、大数据的挑战一是数据挖掘、数据分析与数据管理人才紧缺。67随着移动互联、社交网络、物联网、电子商务等的迅速发展，人们在互联网以及物理空间上的行为轨迹、检索阅读、言论交流、购物经历等等都可能被捕捉到。“数字化生存”“透明化生存”随着移动互联、社交网络、物联网、电子商务等的迅速发展，人们在68三是数据平安、知识产权、商业利益、公共平安受损的威胁增大。大数据的开展，信息开放度加大，新的信息采集、数据分析、数据挖掘技术以及海量数据存储技术和设备将不断涌现，云计算将更加普及。带来的副作用是IT根底架构将变得越来越一体化和外向型，对数据平安和知识产权、商业利益甚至公共平安构成较大的风险。三是数据平安、知识产权、商业利益、公共平安受损的威胁增大。大69六、大数据时代图书馆的对策第一，更加关注特色资源建立。不同图书馆数字馆藏趋向于同质化。在大数据时代，围绕特色优势学科进展专题数据采集，建立特色数据库并实时