【专家观点】基于多传感器融合和多智能体协同的AI人工智能技术在智慧炼钢中的应用与实践-WATTMAN

基于多传感器融合和多智能体协同的AI人工智能技术在智慧炼钢中的应用与实践北京瓦特曼智能科技有限公司马双事业部总经理2024年4月人工智能浪潮下核心技术、人工智能浪潮下核心技术、进展及应用S当前AI技术与钢铁冶炼生产工艺深度融合同类场景的延展应用和拓展同类场景的延展应用和拓展智能化钢铁冶炼的技术产品和工艺场景路线01.人工智能浪潮下核心技术、进展及应用多智能体通过高效通信机制可以实时共享信息，通过信息交换，多智能体可以协调他们的行为和决策，实现更高效的协作，尤其是在需要团队协作解决问题的场景下能够显著提高系统的整体性能和效率。智慧城市更科学、更高效、更美好、更低碳。以信息技术和通信技术为支撑，通过透明、充分的信息获取，广泛、安全的信息传递和有效、科学的信息处理。5G、IOT、大数据…01.人工智能浪潮下核心技术、进展及应用多模态机器学习——多模态学习是在单模态学习的基础上，通过不同类型的数据（如文本、图像、语音、视频等）进行学习和推理的方法。模态是指表达或感知事物的形式，每一种信息的来源或者方式，都可以称为一种模态。人有触觉、听觉、视觉、嗅觉。信息的媒介，有语音、视频、文字等。多种多样的传感器，如雷达、红外、加速度计等等。以上的每一种都可以称为一种模态。大模型：多模态+多任务ChatGptSora01.人工智能浪潮下核心技术、进展及应用无人驾驶中，多模态学习可以通过结合不同类型的传感器数据，提高无人驾驶系统的准确性和可靠性。例如，通过结合图像、激光雷达、高精地图数据，可以更准确地判断车周围目标的距离速度、车当前具体位置；通过结合语音和文本信息，可以更准确地识别交通信号和道路标志、更智能地人车语音交互。城市NOA（NavigateonAutopilot，导航辅助驾驶）目前已经逐步成为智能电动汽车中的标准配置。01.人工智能浪潮下核心技术、进展及应用脑机接口，在运动康复中表现出广泛的潜力，主要依靠神经可塑性来恢复运动功能并改善中风患者术后的生活质量。单纯依靠脑电信号输入很难自然地实时传达多任务软体机器人所需的各种控制命令。多模态人机界面系统，集合脑电信号、眼电信号和肌电信号等多模态特征来生成多维控制指令，构建出更友好、更人性化的脑机系统，帮助残疾人及运动障碍患者更便捷地完成各种动作。01.人工智能浪潮下核心技术、进展及应用环境场景限制集合下视觉感知与图像处理环境感知与障碍物检测力触觉感知与力控制实时定位与导航实时异常检测与故障诊断机器人机器人1传感器外传感器视觉感知六维力矩传感器内传感器…关节编码器1关节编码器n外传感器外传感器视觉六维力矩感知传感器内传感器…关节编关节编码器1码器n图像处理装夹工件位置信息位姿误差测量工件位姿标定加工位置、力信息处理轨迹误差计算多机协作误差补偿加工特征轨迹运动速度力矩机器人n传感器检测粗糙度、粒度图像处理装夹工件位置信息位姿误差测量工件位姿标定加工位置、力信息处理轨迹误差计算多机协作误差补偿加工特征轨迹运动速度力矩机器人n传感器检测粗糙度、粒度纹理差异辨别加工质量加工特征质量多源感知信息融合多源感知信息融合率、不同精度、不同物理量的融合）状态检测状态检测各机器人末端位姿、环境作用力等）作业效果评价轨迹误差作业效果评价轨迹误差、协作同步性、协作误差提供输入任务分配与决策!轨迹规划!协同控制协同控制01.人工智能浪潮下核心技术、进展及应用智能柔性执行，目前在机器狗、具身机器人和机械臂上加装智能柔性关节或力传感器等装置，通过智能控制算法，使得机器能够实现各种各种柔性动作，比如行走、跑步、跳舞、跳跃、前后空翻、做饭炒菜、收拾家务等柔性动作。柔性：干的活的类型多。n历时3年研发周期世界首套基于多智能体协同的钢包热修无人化平台02.当前AI技术与钢铁冶炼生产工艺深度融合n智能柔性执行n智能化、安全化02.当前AI技术与钢铁冶炼生产工艺深度融合02.当前AI技术与钢铁冶炼生产工艺深度融合钢包热修——自动水口烧眼n视觉力觉融合感知决策n智能柔性控制执行n智能判断枪长短残钢下水口上水下水口口02.当前AI技术与钢铁冶炼生产工艺深度融合钢包热修——下水口拆装n智能柔性控制执行n视觉力觉融合感知02.当前AI技术与钢铁冶炼生产工艺深度融合钢包热修——滑板拆装n视觉力觉融合感知n智能柔性控制执行n多智能体配合协同02.当前AI技术与钢铁冶炼生产工艺深度融合钢包热修——水口和滑板自动抹泥系统n多智能体配合协同n智能检测泥量涂抹均匀02.当前AI技术与钢铁冶炼生产工艺深度融合钢包热修——氩气管插拔n视觉力觉融合感知n智能柔性控制执行n多智能体配合协同02.当前AI技术与钢铁冶炼生产工艺深度融合钢包热修——自动油缸拆装n视觉力觉融合感知n智能柔性控制执行n多智能体配合协同02.当前AI技术与钢铁冶炼生产工艺深度融合钢包热修——自动底砖试气吹扫n视觉力觉融合感知n智能柔性控制执行n多智能体配合协同02.当前AI技术与钢铁冶炼生产工艺深度融合钢包热修——钢包内衬检测n视觉红外融合感知02.当前AI技术与钢铁冶炼生产工艺深度融合钢包热修——自动加引流砂n视觉力觉融合感知n智能柔性控制执行n加砂全过程视觉监控效果判别n多智能体配合协同03.同类场景的延展应用和拓展大包浇注无人化平台n大包换长水口、测温取样、加覆盖剂、油缸插拔n视觉力觉融合感知n智能柔性控制执行n多智能体配合协同03.同类场景的延展应用和拓展测温取样、破样、送样全流程无人化平台n视觉融合感知n智能柔性控制执行n多智能体配合协同03.同类场景的延展应用和拓展超薄钢卷卷芯焊接n视觉融合感知n智能柔性控制执行n超薄钢卷内带头高精视觉感知03.同类场景的延展应用和拓展大型破碎机无规则齿头焊接n视觉融合感知n智能柔性控制执行03.同类场景的延展应用和拓展一键倒罐鱼雷罐插拔电n视觉力觉融合感知n智能柔性控制执行n铁包插拔电类似场景03.同类场景的延展应用和拓展多种熔炉耐材CTn视觉红外融合感知n钢包铁包电炉转炉场景03.同类场景的延展应用和拓展冷轧酸洗无人值守n视觉融合感知模型n钢卷鞍座对中检测n钢卷质量检测03.同类场景的延展应用和拓展非规则柔性立体打磨n视觉力觉融合感知n智能柔性控制执行n方坯端面、钢棒打磨等类似场景全智能化工厂全智能化车间多智能体协作平台单智能体产品钢包热修无人化机器人集群鱼雷罐车插拔电机器人大包浇铸无人化机器人集群智能测温取样机器人系统智能清理打机器人系统智能标印焊接机器人冷轧酸洗段无人值守系统钢包热修无人化机器人集群鱼雷罐车插拔电机器人大包浇铸无人化机器人集群智能测温取样机器人系统智能清理打机器人系统智能标印