《智能建造技术与装备》 课件 第三章 大数据技术与应用

智能建造技术与装备第三章：大数据技术与应用目录一、大数据技术概述二、大数据技术的国内外发展现状三、典型大数据技术四、大数据技术在智能建造的应用目录一、大数据技术概述二、大数据技术的国内外发展现状三、典型大数据技术四、大数据技术在智能建造的应用一、大数据技术概述——大数据的概念大数据技术

本质上是从类型各异、内容庞大的数据中快速获得有价值信息的技术海量用户的一次次的行为数据形成巨大的数据集合通过处理与分析的数据，结合各行各业的应用场景和业务需求，提供处理依据和应用依据在维克托·迈尔—舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中，大数据是指不用随机分析法这样捷径，而采用所有数据进行分析处理的方式。其中，作者还指出，大数据技术的核心就是预测。包括分布式计算、数据挖掘、机器学习等关键技术，这些技术被设计用来处理海量数据，并从中提取有价值的知识和见解数据技术应用大数据技术=“数据+技术+应用”成熟期2001—2010年一、大数据技术概述——大数据的发展历程大数据基础技术成熟之后，学术界及企业界纷纷开始转向应用研究，2013年大数据技术开始向商业、医疗、政府、教育及社会的各个领域渗透，因此2013年也被称为大数据元年。03大数据作为一个新兴名词开始被理论界所关注，其概念和特点被进一步丰富，相关的数据处理技术相继出现，大数据开始展现活力。02大数据作为一种构想或者假设被极少数的学者进行仅限于数据量的研究和讨论，并没有进一步探索数据的收集、处理和存储等问题。萌芽期20世纪90年代—21世纪初01大规模应用期2001—2010年大数据技术的发展历程可以分为3个阶段：萌芽期、成熟期和大规模应用期目录一、大数据技术概述二、大数据技术的国内外发展现状三、典型大数据技术四、大数据技术在智能建造的应用二、大数据技术的国内外研究现状——国外研究现状美国大数据技术发展“大数据”这一概念最早由美国科学家约翰·马西(JohnMashey)，在1998年的一个国际会议报告中指出：随着数据量的快速增长，必将出现数据难理解、难获取、难处理和难组织等四个难题，并用“BigData(大数据)”来描述这一挑战，在计算领域引发思考。1989年8月所召开的第11届国际人工智能联合会议KDD(KnowledgeDiscoveryinDatabases)，其应用部分的数据挖掘(DataMining)则是知识发现(KDD)的核心部分。知识发现是指利用深度学习从观测数据或实验数据中挖掘控制方程，推进人类认知。在教育领域，美国教育部教育技术办公室利用大数据分析来监测在线课程学习的学生是否出现困惑，并适时给予指导，帮助学生调整学习方向。此外，他们还能通过学生的按键点击模式判断其对课程的兴趣度，以便适时调整教学内容。在执法领域，波士顿马拉松爆炸案侦办中，大数据技术发挥了关键作用。警方利用大数据技术快速分析了48万多幅图像，这些图像属于非结构化数据。通过对嫌疑犯的特征描述，分析人员编写了代码和算法，快速分析了这些图像，寻找异常情况与特定模式。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。二、大数据技术的国内外研究现状——国外研究现状美国大数据技术发展美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。美国在大数据技术应用上有很多典型案例：二、大数据技术的国内外研究现状——国外研究现状欧盟大数据技术发展欧盟对于大数据时代中数据对各方面的重要意义以及欧洲在数据方面的潜力具有深刻认识。目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素1实施开放数据政策2资助“大数据”和“开放数据”领域的研究和创新活动3促进公共资助科研实验成果和数据的使用及再利用4二、大数据技术的国内外研究现状——国外研究现状欧盟大数据技术发展法案要求互联网平台对虚假信息采取更有力的措施。及时删除非法和有害的在线内容，包括仇恨言论、虚假信息和假货交易信息等。法案规定了对数字服务提供商的追责新标准。要求他们在发现其在线平台出现非法内容后必须在24小时内予以删除，并检查供应商的商品真伪，以减少假冒产品的出现。法案提出了一个共同监管框架。要求相关平台保护用户基本权利、公共利益、公共卫生和安全，鼓励删除有害信息和内容，防止超大型数字平台被滥用。欧盟在大数据技术的发展上，注重保护个人隐私、促进数据共享与开放、推动数据标准化、关注数据治理和伦理以及加强数据安全和网络安全方面的工作。基于以上，欧盟在2022年10月27日提出《数字服务法案》。二、大数据技术的国内外研究现状——国外研究现状英国大数据技术发展英国在多个领域广泛应用了大数据技术：财政监督：英国财政部利用社交媒体，如Twitter和图片分享网站Flickr公布政府财政信息，实现了财政透明度，并允许公众随时查看政府的支出情况；防范诈骗：英国政府通过大数据技术检测行为模式，成功追回了数十亿美元的逃税和诈骗资金。这种分析技术在发放许可证之前，通过分析公民的行为模式来判断其是否有资格获得许可。精准农业：英国启动了“农业技术战略”，旨在利用大数据和信息技术提高农业生产效率。该策略的核心是建立一个基于农业信息技术和可持续发展指标的农业创新中心，并实施开放数据政策，以便所有参与者能够共享数据和成果。城市规划：英国政府利用大数据技术进行城市规划，通过研究客观环境数据来优化城市设计和管理。在政府的战略设计中，大数据被列为英国的八大领先科技之一。英国大数据技术的发展起源可以追溯到20世纪80年代，英国在大数据领域的发展受到政府的高度重视和支持，并逐渐形成了完整的产业链。二、大数据技术的国内外研究现状——国外研究现状各国大数据技术发展许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。法国

政府发布《数字化路线图》，表示将大力支持“大数据”在内的战略性高新技术，法国软件联盟曾号召政府部门和私人企业共同合作，投入3亿欧元资金用于推动大数据领域的发展。法国政府投资这些项目的目的在于，通过发展创新性解决方案并实践，促进法国在大数据领域的发展。日本

2013年6月安倍内阁正式公布了新IT战略“创建最尖端IT国家宣言”。“宣言”全面阐述了2013～2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。印度

2016年，印度全国软件与服务企业协会预计，印度大数据行业规模在3年内将到12亿美元，是当前规模的6倍，同时还是全球大数据行业平均增长速度的两倍。在数据开放方面，印度效仿美国政府的做法，制定了一个一站式政府数据门户网站datagovin，把政府收集的所有非涉密数据集中起来，包括全国的人口、经济和社会信息。二、大数据技术的国内外研究现状——国外研究现状国外大数据技术在城市建设领域的应用迪比克市：迪比克市政府与IBM合作，计划利用大数据技术将城市的所有资源数字化并连接起来，含水、电、油、气、交通、公共服务等。通过监测、分析和整合各种数据智能化地响应市民的需求，并降低城市的能耗和成本。美国：纽约市：纽约市消防部门通过大数据分析，预测可能发生火灾的建筑物，并采取相应的预防措施。他们将可能导致房屋起火的因素细分为60个，如贫困家庭、建筑年代、是否有电梯等，并通过特定算法对城市中的建筑物进行打分，计算火灾危险指数，划分出重点监测和检查对象。大数据与市民需求大数据与火灾预测二、大数据技术的国内外研究现状——国外研究现状国外大数据技术在城市建设领域的应用悉尼：悉尼在城市建设中通过收集和分析城市的各种数据，如交通流量、空气质量、能源消耗等，来优化城市规划和管理。例如，通过分析交通数据，优化道路设计和交通信号灯配置，缓解交通拥堵；通过分析能源数据，优化能源供应和使用，减少能源浪费。澳大利亚：大数据与城市资源分配大数据与交通状况新加坡是全球智慧城市建设的先驱之一，大力推广大数据技术在城市建设中的应用。例如，通过收集和分析交通数据，优化公共交通系统，提高出行效率；通过收集和分析环境数据，实时监测空气质量，采取相应的措施改善环境质量。新加坡：二、大数据技术的国内外研究现状——国内研究现状我国大数据技术的发展中国的大数据技术起源可以追溯到20世纪90年代末和本世纪初，当时数据的产生速度和规模急剧增长，传统的数据处理方法已经无法满足需求。为了有效地处理和利用这些数据，中国开始关注和研究大数据技术。2000年：中国开始在大数据领域进行研究，但还处于起步阶段。2006年：中国政府提出“国家信息化”战略，将大数据作为战略重点发展方向。2010年：中国开始建设国家级大数据产业园区，并出台相关政策支持大数据技术发展。2014年：中国政府发布《中国大数据发展行动纲要》，明确了大数据发展的目标和重点领域。2015年：中国成立了国家大数据（深圳）综合试验区，推动大数据技术在实践中的应用。2017年：中国政府发布《国家大数据战略》，提出了加快发展大数据产业的政策措施。2018年：中国成立了国家大数据管理局，负责统筹大数据发展和管理工作。2019年：中国大数据产业规模达到5.5万亿元人民币，成为全球最大的大数据市场之一。2020年：中国在大数据领域取得了一些重要的科研成果，如人工智能、云计算等技术的快速发展。起步阶段重点发展阶段飞速发展阶段二、大数据技术的国内外研究现状——国内研究现状我国大数据技术的发展目前，中国在大数据技术领域已经取得了一些重要的成果。例如：阿里巴巴集团——分布式计算框架Hadoop和分布式数据库Ocean

Base腾讯公司——实时计算引擎Flink和分布式存储系统TBase百度公司——深度学习框架Paddle

Paddle等。中国的大数据技术起初主要侧重于数据的存储和处理能力。随着技术的不断进步和创新，中国的大数据技术逐渐发展成为一个完整的生态系统，包括数据采集、存储、处理、分析和应用等各个环节。分布式计算框架Hadoop深度学习框架Paddle

Paddle二、大数据技术的国内外研究现状——国内研究现状大数据产业现状及技术发展趋势中国拥有全球最庞大的数据生产群体，目前大数据平台软件市场规模发展迅速，预测在2025年市场规模能达到约3600亿美元。中国大数据平台软件市场规模及预测图我国大数据企业主要分布受政策环境、人才创新、资金资源等因素的影响较大中国大数据企业分布情况中国大数据技术的未来发展趋势主要在数据融合与数据价值挖掘、产业物联网提速、与云计算/人工智能等前沿技术的深度融合、应用领域的扩展等方面。中国大数据技术的未来发展将呈现出快速发展、广泛应用、技术融合和创新驱动的特点，同时也面临着数据安全、隐私保护等挑战。目录一、大数据技术概述二、大数据技术的国内外发展现状三、典型大数据技术四、大数据技术在智能建造的应用展示技术三、典型的大数据技术——大数据关键技术大数据采集技术大数据采集技术

是指通过RFID数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。运营数据库社交网络感知设备系统日志的采集网络数据的采集数据库的采集数据来源数据采集采集技术预处理技术存储及管理技术处理模式分析及挖掘全局常量属性均值可能值填充直接忽略该数据三、典型的大数据技术——大数据关键技术大数据预处理技术大数据预处理技术

主要是指完成对已接收数据的辨析、抽取、清洗、填补、平滑、合并、规格化及检查一致性等操作。数据清理01分箱聚类计算机人工检查回归

遗漏值处理

噪音数据处理

不一致数据处理手动更正数据集成02变换及数据规约03模式匹配数据冗余数据值冲突检测与处理数据属性命名的不一致——皮尔逊积矩，衡量数值属性离散数据——卡方检验，检测两个属性之间的关联数据变换：平滑→聚集→数据泛化→规范化→属性构造数据规约：数据方聚集、维规约、数据压缩、数值规约和概念分层等。展示技术采集技术预处理技术存储及管理技术处理模式分析及挖掘三、典型的大数据技术——大数据关键技术大数据存储及管理技术大数据存储及管理

主要目的是用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。技术难题：从多渠道获得的原始数据常常缺乏一致性，数据结构混杂，并且数据不断增长，导致传统的处理和存储技术失去可行性。大数据存储及管理技术重点研究：复杂结构化、半结构化和非结构化大数据管理与处理技术解决关键问题：海量文件的存储与管理海量小文件的存储、索引和管理海量大文件的分块与存储系统可扩展性与可靠性大数据存储及管理平台功能架构展示技术采集技术预处理技术存储及管理技术处理模式分析及挖掘三、典型的大数据技术——大数据关键技术大数据的处理模式大数据的处理模式

可以分为流处理模式和批处理模式两种。数据流本身具有持续到达、速度快、规模巨大通常不会对所有的数据进行永久化存储系统很难准确掌握整个数据的全貌依赖于在内存中设计巧妙的概要数据结构流处理是将数据直接处理——流处理模式将数据视为流，将源源不断的数据组成数据流，新的数据到来时就立刻处理并返回所需的结果。基本理念：数据的价值会随着时间的流逝而不断减少。主要目标：尽可能快地对最新的数据做出分析并给出结果。应用场景：网页点击数的实时统计，传感器网络，金融中的高频交易等。内存容量是限制流处理模式的一个主要瓶颈技术特点展示技术采集技术预处理技术存储及管理技术处理模式分析及挖掘三、典型的大数据技术——大数据关键技术大数据的处理模式大数据的处理模式

可以分为流处理模式和批处理模式两种。MapReduce模型运行示意图将问题分而治之，把待处理的数据分成多个模块分别交给多个Map任务去并发处理用计算推导数据而不是把数据堆到计算，从而有效地避免数据传输过程中产生的大量通信开销Google公司在2004年提出的MapReduce编程模型是最具代表性的批处理模式MapReduce的核心设计思想批处理是先存储后处理的处理模式展示技术采集技术预处理技术存储及管理技术处理模式分析及挖掘该方法可产生一个将数据项，映射到一个实值预测变量的函数，发现变量或属性间的依赖关系主要研究问题包括数据序列的趋势特征、数据序列的预测及数据间的相关关系等三、典型的大数据技术——大数据关键技术大数据分析及挖掘技术大数据分析及挖掘技术

目的是从海量的数据信息中获取更多智能的、深入的、有价值的信息分类找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类通过分类模型，将数据库中的数据项映射到某个给定的类别聚类聚类是把一组数据按照相似性和差异性分为几个类别其目的是使得属于同一类别的数据间的相似性尽可能大，不同类别中的数据间的相似性尽可能小回归分析关联规则描述数据库中数据项之间所存在的关系的规则根据一个事务中某些项的出现可推导出另一些项在同一事务中也会出现，即隐藏在数据间的关联或相互关系展示技术采集技术预处理技术存储及管理技术处理模式分析及挖掘三、典型的大数据技术——大数据关键技术大数据展示技术大数据展示技术

目的是通过清晰的图形、图像展示，直观地反映出最终结果，将数据更加直观地展现给用户展示技术采集技术预处理技术存储及管理技术处理模式分析及挖掘可视化技术是最佳的结果展示方式之一传统的数据可视化工具仅仅将数据加以组合，通过不同的展现方式提供给用户。新型的数据可视化产品实现了快速收集、筛选、归纳、分析、展现决策者所需要的信息，并根据新增的数据进行实时更新。实时性直观易用丰富的展现形式多种数据集成支持方式兼用性数据交互性三、典型的大数据技术——大数据技术特点大数据技术具有五大特点（5V）容量大(Volume）1多样性(Variety)2快速化(Velocity）3价值性(Value)4真实性(Veracity)5三、典型的大数据技术——大数据技术特点容量大随着信息化技术的高速发展，数据开始爆发性增长，从数据存储的单位的变化可以得知。1多样性多样性主要体现在数据来源多样性、数据类型多样性和数据之间关联性强三个方面。2快速化大数据技术是对处理数据实时分析而非批量分析，数据输入、处理与丢弃立刻见效，几乎无延迟。数据的增长速度和处理速度是大数据快速化的重要体现。3价值性大数据技术可以从大量不相关的各种类型的数据中，挖掘出有价值的数据，并通过深度分析，将数据运用于各个领域，以期创造更大的价值。4真实性大数据的质量具有真实性，因为该数据是基于真实的交易与行为产生的。5大数据技术具有五大特点（5V）目录一、大数据技术概述二、大数据技术的国内外发展现状三、典型大数据技术四、大数据技术在智能建造的应用四、大数据在智能建造的应用——智能建造中大数据的应用价值大数据技术可以为智能建筑的构建和运行提供有效参考和指导，促使其能够在多个方面符合智能建筑运行要求，具备智慧化特点。为建筑内部系统，如安防系统、家居系统、能源管理系统等，提供较为丰富全面的数据信息资料支持，实现系统的协调与配合借助于海量数据信息分析结果，促使各个系统和设备的运用符合人的预期，可以为智能建筑使用者做出更大贡献，服务性能更强通过收集和分析应用数据，更好优化建筑各个智能系统的运行参数，便于促使其更为符合节能环保诉求，降低整个建筑的能耗损失协调各个系统人性化特点优化系统运行参数01020304大数据技术在智能建造中的应用价值预测事故对建筑中的数据进行分析，可实现事故预测、预警，案件分析、规划和引导等智能应用，还能将这些大数据信息与移动智能端相连，同步享有各种信息。四、大数据在智能建造的应用——大数据在智能建造选址中的应用建筑选址对于建筑自身价值至关重要，建筑要与周围环境和人相适应和谐，充分考虑到各因素之间的相互关系和影响，确保在技术实施上具有可行性。

结合气候特点制定合理的产业定位建筑的合理分布大型基础场馆公共建筑选址统计当地的气候环境特点，优化设计方案，减少室内设备使用率，优化建筑布局，提高建筑对风能、太阳能等自然能源的利用率综合分析所选地区的数据信息，并与同类型的城市将进行有效比较，从而制定合理的产业定位，挖掘出海量数据之中的潜在价值信息，有针对性制定营销策略。通过大数据技术对范围内居民的消费倾向、活动意愿、行为目的等方面数据进行整合、分析，从而为建筑的合理分布提供直观的规划。通过大数据技术的应用，预测片区的人口规模、人流变化、人群结构、房屋供给量和需求量，基于这些数据进行公共场馆资源配置和商业建筑开发等收集并分析片区社会环境和人文环境的数据，掌握该区域的政治文化、教育、城市配套等资源配比情况