加速器控制 中国科学技术大学国家同步辐射实验室

1、2014年年8月月2日日中国科学技术大学国家同步辐射实验室中国科学技术大学国家同步辐射实验室加速器控制加速器控制主要参考文献1.刘松强，计算机控制系统的原理与方法，北京：科学出版社，2007.1.2.赵籍九，尹兆生，粒子加速器技术，北京：高等教育出版社，2006.11.3.Richard C. Dorf, Robert H. Bishop, 现代控制系统（第十一版），北京：电子工业出版社，2011.4.4.胡寿松，自动控制原理（第六版），北京：科学出版社，2013.3.5.Proceedings of ICALEPCS, PAC, IPAC, EPAC, etc. http:/www.jaco

2、/index.php?n=Main.Proceedings6.The materials from EPICS home page, /epics/7.Kuo-Tung Hsu (許國棟), Controls and Diagnostics, the lecture of the fifth OCPA Accelerator School.2内容提要一控制系统的基本概念二加速器控制系统三EPICS四HLSII控制系统3自动控制和自动控制系统 自动控制：在无人直接参加的情况下，利用控制装置使被控对象和过程的某个或某些被控量自动地按照预定的规律运

3、行。 自动控制系统：由控制装置和被控对象所组成，它们以某种相互依赖的的方式组合成为一个有机整体，并对被控对象进行自动控制。4自动控制理论的发展 经典控制理论 1940-50年代形成，其发展由二战中自动火炮、雷达、飞机以及通讯系统的控制研究所推动 研究内容：SISO、线性定常系统 研究目标：反馈控制系统的稳定 基本方法：主要为频域方法，拉普拉斯变换，以传递函数为基础的根轨迹法、频率响应法 现代控制理论 1960-70年代形成，其产生由冷战时期的空间技术所驱动 研究内容：MIMO 研究目标: 最优控制 基本方法: 主要为时域方法，以状态为基础的状态空间法、贝尔曼的 动态规划法和庞特里亚金的极小值原

4、理5自动控制理论的发展（续） 计算机控制技术1970年代以来，随着计算机技术的不断发展，出现了许多以计算机控制为基础的自动化技术，自动化技术发生了根本性的变化，相应的自动控制科学研究也出现了很多分支，如自适应控制、混杂控制、模糊控制、神经网络控制等。离散系统，Z变换。6计算机控制系统 组成： 输入/输出模块，提供输入/输出通道 以微处理器（Microprocessor）为核心的处理机 人机界面（Human-Machine Interface， HMI）7人机界面处理机输入通道输出通道传感器动作器被控对象（设备） 定义：利用计算机来实现自动控制的系统。自动控制系统的基本要求 稳定性（稳）稳定性是

5、保证控制系统正常工作的先决条件。考虑到实际系统工作环境或参数的变动,可能导致系统不稳定，因此我们除要求系统稳定外,还要求其具有一定的稳定裕量。 准确性（准）准确性是指系统的稳态精度高。稳态精度是系统过渡到新的平衡工作状态以后或系统对抗干扰重新恢复平衡后最终保持的精度，与控制系统的结构和参数以及输入信号形式有关。 快速性（快）快速性指系统过渡过程的时间短。过渡过程是系统过渡到新的平衡工作状态以后或系统对抗干扰重新恢复平衡的过程。8控制系统的设计流程1. 确定控制目标和受确定控制目标和受控变量，并定义系控变量，并定义系统性能指标和设计统性能指标和设计要求。要求。9确定控制目标确定控制目标确定受控变

6、量确定受控变量定义系统性能指标和设计要求定义系统性能指标和设计要求2.系统系统定义和建模定义和建模3.系统系统设计、仿真设计、仿真和分析和分析进行系统配置进行系统配置建立系统模型，包括受控建立系统模型，包括受控对象、执行机构和传感器对象、执行机构和传感器对控制器进行描述说明，并选对控制器进行描述说明，并选择确定需要调整的关键参数择确定需要调整的关键参数对参数进行调整优化，并分析对参数进行调整优化，并分析系统性能系统性能如性能满足要求，如性能满足要求，则则设计任务结束设计任务结束如性能未达到规定要求，如性能未达到规定要求，则修改系统配置则修改系统配置控制系统的分类按系统工作方式或信号流向：开环、

7、闭环按系统规模 嵌入式控制系统 机箱式控制系统 分布式控制系统按体系结构：集中式、分布式按系统性能：线性和非线性、连续和离散、定常和时变按设定值变化规律：恒值控制、随动控制和程序控制按元件类型：机械、电气、机电、液压、生物按系统功用：温度控制、压力控制、位置控制 10嵌入式控制系统 “嵌”在被控设备中的控制系统，处理能力和I/O数据吞吐量都较小。 硬件结构：主体包含在一个电路模块中甚至一个芯片中。（System-on-Chip, SoC） CPU 存储器：RAM+ROM IO通道：ADC+DAC+DI+DO FPGA/ASIC 诊断端口 辅助系统：电源和风扇 软件结构：“超循环”方法处理多任务

8、，或实时系统 人机界面：小显示屏/指示灯+按键/旋钮 应用范围：单个设备，如家用电器、数码产品等11机箱式控制系统 系统安装在机箱内，通常由若干模块通过机箱背板总线构成紧耦合系统，近年来出现了采用高速串行总线和交换式结构的机箱式系统。 背板总线：并行的、所有模块共享数据通道的数据传输方式，如VME、cPCI、PXI等 产品：PC/IPC/VME/cPCI/ATCA/TCA等 应用范围：各类小型系统，如工业控制、雷达、电信等12CPCICPCI分布式控制系统分布式控制系统（Distributed Control System，DCS），也称分散控制系统、集散控制系统，是1970年代中期发展起来的

9、、以微处理器为基础的、实行集中管理分散控制的计算机系统。多台计算机构成，基于网络的中、大规模控制系统，其基本结构为： 分散过程控制装置 集中操作管理装置 通信系统13不同规模控制系统的比较嵌入式控制系统机箱式系统控制分布式控制系统控制范围单个设备实验室范围10-1000米控制半径I/O通道数10100量级1001000量级102106量级硬件系统单个电路模块或单个芯片紧耦合/背板总线系统松耦合/网络系统系统软件低端：无操作系统高端：实时操作系统实时操作系统OPI：桌面操作系统IOC：实时操作系统14内容提要一控制系统的基本概念二加速器控制系统三EPICS四HLSII控制系统15加速器控制系统的

10、任务 控制系统是将加速器各个子系统联系起来、协调工作的纽带，也是加速器调试和运行的平台。 监控各种设备 调节束流以实现物理目标，如对撞、打靶、储存供光等 满足不同使用者的需求运行人员加速器物理学家/机器研究人员各个子系统的专业技术人员管理人员：信息化管理16加速器控制系统的功能 设备的监测控制功能 在中央控制室或本地对各类设备实施开关、参数调整 设备参数的save/restore 在中央控制室监测设备状态及参数 束流调节的手段，即调束软件 Matlab/AT, XAL/OpenXAL, SAD 储存环闭轨校正、插入件补偿、BBA等 以数据库为核心的信息管理系统 提供机器参数、历史数据的查询 机

11、器性能分析：参数统计分析、参数相关性分析 故障报警和故障诊断 报警和联锁保护功能，确保人员和设备的安全 时间系统，提供定时信号和时间同步功能 电子日志elog 网页方式 相关工作人员共享/交换信息：设备安装、调试、维护，各种想法等17加速器控制系统的技术特点 基于网络的分布式计算机控制系统 规模庞大，如LHC主环周长达27km 控制对象种类繁多：带电粒子源、磁铁、电源、真空、微波高频、束流注入引出、束流测量、辐射防护、冷却水、储存环插入件等 控制对象数量大，如LHC的控制点达106 107量级 部分区域电磁干扰强 多种技术的集成 计算机、网络、自动控制、数据库、网页设计 电子学、数据采集、数字

12、信号处理、抗干扰和容错技术 控制系统工作寿命比加速器装置设计寿命短 加速器装置设计寿命一般为2030年 控制系统的工作寿命一般为510年，因为计算机等技术更新太快 在加速器装置的运行寿命内，控制系统需要经历23次的升级改造18早期的粒子加速器控制室19The SNS Control Room20A storyDavid Gurd, SNS controls group leader，retired now “Accelerator Control Systems A Personal Recollection” Beam Dynamics Newsletter，No. 47，December

13、2008When I joined the controls group at TRIUMF in 1970, the director did not want computers used for control. Indeed when the first terminal and keyboard was approved for programming purposes at TRIUMF (for$5000), he personally wrote on the order: “Not to be brought into the Control Room!” (I kept t

14、hat document as a souvenir until it was destroyed in the Los Alamos fire.)21加速器控制系统的结构22Power SupplyBeam Position MonitorVacuum GaugeComputer InterfaceComputer InterfaceComputer InterfaceProcess Variables:Channel Access ServerS1A:H1:CurrentAOS1:P1:xS1:P1:yS1:G1:vacuumChannel Access ClientServer &

15、; storageLANIOC加速器控制系统结构的“标准模型”23分布式控制系统的基本结构：分布式控制系统的基本结构：分散过程控制装置分散过程控制装置集中操作管理装置集中操作管理装置通信系统通信系统标准模型最早由B. Kuiper在ICALEPCS91上提出。B. Kuiper, “Issues in Accelerator Controls”，Proceedings of ICALEPCS 91, Tsukuba, Japan, November 1991, pp. 602-611.M. E. Thuot, L. R. Dalesio, “Control System Architectur

16、e: The Standard and Non-Standard Models”，PAC1993_1086加速器控制系统硬件 the operator interface/管理层 PC/Linux 服务器：数据/文件/网页 存储：SAN、NAS、RAID data communication/数据通信 网络：100/1000/10000M Ethernet 现场总线：DeviceNet、profibus/profinet 经典的串行通信：RS232/422/485， RS232 to Ethernet the front-end computers/前端控制器 VME/cPCI/ATCA/ T

17、CA/PLC/FPGA主要设计方法： 尽量购买商业化产品，并减少硬件种类 考虑硬件系统各个层次的可用性：服务器虚拟化、存储RAID、UPS、网络冗余等24加速器控制系统软件操作系统 服务器/OPI：桌面操作系统，Linux/Unix 前端控制器：实时操作系统，VxWorks/Linux (RT or non-RT)/RTEMSdata communication/数据通信 统一的网络通信协议，一般基于TCP/IP 唯一的变量名称，系统内自动查找，“透明性” 数据库 关系数据库：Oracle/MySQL，静态参数、历史数据 运行时数据库： runtime database编程语言 C/C+、Ja

18、va、Matlab、LabVIEW、Python、Perl主要设计方法： 选定软件开发包及版本，选定操作系统并尽量减少其种类 软件工程：面向对象、结构化/模块化 中间件（middleware）25粒子加速器控制系统的设计要求 可用性（Availability）高A=MTBF/（MTBF+MTTR）*100% 标准化（standardization）高尽量减少软硬件的种类，尽量购买商业化的产品以节约开发和维护成本 扩展性（Scalability）好 便于升级和扩展 开放性（Openness）好便于交流、共享开发成果26加速器控制系统的开发过程27初步初步设计设计预预研制研制工程工程设计设计系统系

19、统建设建设（1）用户需求调查：控制功能、稳定度、响应速度、操作模式、控制流程、联锁逻辑、人机界面、接口信号表、命名规则（2）国内外同类系统及市场调研（3）选择开发工具并建立开发环境针对技术难点或新型非标设备的控制开展预研和样机试制以及同类产品的性能比较确定系统开发工具和技术路线、软硬件结构、硬件选型和批量采购、硬件布局图、线缆连接图、实时数据库、设备监控界面、调束软件、数据库管理系统设计离线测试、联机调试、系统安装、在线调试加速器控制系统开发环境的建立 选择开发工具 EPICS（Experimental Physics and Industrial Control System） TANGO（

20、TAco Next Generation Objects ） DOOCS（The Distributed Object Oriented Control System） SCADA：commercial 购置Unix/Linux服务器 建立编译/交叉编译环境 安装远程登录软件（Exceed、Xmanager、ssh客户端等） 安装版本管理软件cvs、svn28加速器控制系统的开发工具 EPICS：open source 主页：/epics/ 用户：非常广泛，100 projects TANGO：open source 主页：http:/www.tang

21、/ 主要用户：pESRF - European Synchrotron Radiation Facility, Grenoble, FrancepSOLEIL - Soleil Synchrotron, Paris, FrancepELETTRA - Elettra Synchrotron, Trieste, ItalypALBA - Alba Synchrotron, Barcelona, SpainpDESY - Petra III Synchrotron, Hamburg, Germany DOOCS：open source 主页：http:/tesla.de

22、sy.de/doocs/doocs.html 主要用户： DESY FLASH/European XFEL SCADA：commercial29EPICS控制系统结构图 30TANGO控制系统结构图31Andy Gtz etc， “THE TANGO CONTROL SYSTEM” Beam Dynamics Newsletter，No. 47，December 2008DOOCS控制系统结构图32http:/tesla.desy.de/doocs/doocs.html系统的可用性概念33 MTBF： Mean Time Between Failure，平均无故障时间用于度量系统的可靠性，可靠

23、性越高， MTBF值越大 MTTR： Mean Time To Restoration，平均维修时间用于度量系统的可维护性，可维护性越好，MTTR值越小 Availability：可用性, AA=MTBF/(MTBF+MTTR) * 100%。系统的可靠性越高，可维护性越好，则可用性越高加速器的可用性指标早期的高能粒子加速器，设计时很少关注可用性指标，甚至没有这个指标，如德国DESY的HERA。从实际运行的情况分析，高能粒子加速器的可用性一般为75%-85%。现在设计的高能加速器，不但有可用性指标，而且很有挑战性，如计划中的ILC（其总长度为31km）。 总可用性指标为85% 其控制系统的可用

24、性指标为99%可用性指标对用户装置尤其重要 日本spring-8, 可用性： 99% 瑞士SLS，可用性：99% HLS，可用性：95%ARW（Accelerator Reliability Workshop） ARW2002、ARW2009、ARW2011 、ARW2013， 两年一次 /workshops-1/arw/34提高系统可用性的基本方法35 防障防障：Fault Prevention or Fault Avoidance，防止或避免系统出现故障。 硬件：高可靠性元件、设备，防干扰措施 软件：严格的故障模式及

25、影响分析、高可靠性软件技术等 容障容障： Fault Tolerance，使系统在发生故障时仍能正常工作，即容忍故障。容障的基本技术是冗余。 空间冗余，又称物理冗余，外加冗余资源减少故障带来的损失 时间冗余，通过多执行一遍代码，可以消除暂态故障。此外还有信息冗余，例如通信协议中的冗余码 排障排障： Fault Removal，在系统设计或故障发生时，采用核查、验证等技术手段来排除故障。 核查（Verification），在系统从设计到实现的各个阶段中实施 验证（Validation），在系统完成阶段实施加速器可用性的相关因素J. Carwardine, C.Saunders, N.Arnoid

26、, et al. The ILC Control System, Proceedings of ICALEPCS07, Knoxville, Tennessee, USA, p271-275.36提高服务器可用性的方法 传统的双机热备份系统或称cluster系统 服务器的工作负载低，一般20% 空间、电源和冷却成本高 虚拟化方法 服务器硬件资源（CPU、内存、网络等）的逻辑抽象和统一表示 降低管理复杂度、提高资源利用率、降低运营成本 虚拟化产品 Xen：开源，支持Windows、Linux VMware：VMware vSphere数据中心虚拟化 ，企业版 IBM：system Z系列（大型机

27、）、system P系列（小型机） Microsoft：Windows Server 2008的Hyper-V37服务器虚拟化的两个方向38一变多将一台服务器虚拟化成更多的虚拟机大型机的虚拟化：IBM的LPARUNIX服务器： IBM的LPAR HP的nPAR，vPAR Sun的Domain、ContainerIntel架构服务器： VMware的vSphere多变一将多台服务器虚拟化成一台虚拟机并行计算（Parallel Computing）高性能运算（HPC）分布式运算（Distributed Computing）网格计算（Grid Computing）云计算（Cloud Computin

28、g）vSphere虚拟计算中心的物理拓扑结构39FC存储阵列存储阵列iSCSI存储阵列存储阵列NAS存储阵列存储阵列VirtualCenter管理服务器管理服务器VIClient图形终端图形终端FC交换机交换机Fabric IP网络网络ESX/ESXiVMVMVMVMVM服务器群服务器群1服务器群服务器群2服务器群服务器群3Web浏览器浏览器虚拟化实现机制40虚拟化前虚拟化前虚拟化后虚拟化后服务器虚拟化将硬件、操作系统和应用程序一同装入服务器虚拟化将硬件、操作系统和应用程序一同装入一个可迁移的虚拟机档案文件中一个可迁移的虚拟机档案文件中软件必须与硬件相结合软件必须与硬件相结合每台机器上只有单一

29、的操作系统每台机器上只有单一的操作系统镜像镜像每个操作系统只有一个应用程序每个操作系统只有一个应用程序负载负载每台机器上有多个负载每台机器上有多个负载软件相对于硬件独立软件相对于硬件独立未更改过的应用未更改过的应用未更改过的未更改过的OS虚拟硬件虚拟硬件用VMotion减少计划内宕机时间41VMotion的优点 零宕机时间: 进行有计划的服务器维护和升级迁移工作负载，资源利用率最大化 服务器的持续可用性, 完整的交易集成 支持Fibre Channel和iSCSI SAN环境以及NASSAN/NASSAN/NASVMware HA切换过程演示42时间系统的分类定时系统： 传递的时间信息基于相对

30、时间，即基于某个时间参考点的时间值。 定时系统是现代电子学和计算机的核心，从芯片级（CPU芯内的定时）、电路板级（处理机模块内的定时）、设备级（计算机内的定时）直到分布式系统的定时，其原理和遇到的问题都是相同或相近的。 在分布式控制系统中，若干分布在不同位置的设备，需要通过定时系统从主时钟获得相对时间信号，用于触发（或延时触发）执行特定的控制（或测量）。这种系统级的定时/触发系统所需要的时间精度因设备的功能而异，从ms到ps量级不等。时间同步系统： 传递的时间信息基于绝对时间，即基于日期（年月日时分秒）。 分布式控制系统中，不同计算机节点中运行的进程之间往往需要保证同步/互斥关系，所进行的测量

31、或控制也需要满足时间因果关系。为此，需要通过网路通信建立时间同步系统，由主时钟节点向所有其它节点传送称为时间戳（time stamp）的短数据包，提供统一的参考时间，用来校正各节点的本地时钟，实现时间同步。43定时系统 定时系统的任务为加速器设备提供一系列时序信号，完成从粒子产生、注入、引出、加速、积累到物理目标实现的过程。为束流测量系统和实验线站设备提供各种定时信号。为增强器磁铁电源提供同步信号，要求较前2项低，在增强器回旋周期量级（ s）。 技术路线的选择依据性能需求：稳定性、精度、分辨率运行需求：运行模式（patterns of operation）的复杂度传输方式：性能、价格、复杂度4

32、4定时系统按传输方式分类 模拟定时系统通过同轴电缆或光缆直接（不加调制、不编码）传输定时脉冲信号。时间分辨率高，但灵活性不高，动态范围受计数器位数的限制。 数字定时系统时间信息经过编码之后以数字信号的方式发送，如广泛用于粒子加速器的事件定时系统。灵活性高，易于扩展。可提供多种定时信号，如高频频率、增强器回旋频率、储存环回旋频率等。45模拟定时系统46HLS 定时系统：模拟定时系统18路输出，提供给电子枪、微波源、冲击磁铁、切割磁铁、能谱靶、开关磁铁及调制器1 6 各1路，另有6 路备份。脉冲周期、延时及脉宽均可步进调节, 最小步长为0.1 s, 抖动小于10 ns，注入频率0.5Hz。时间范围

33、，0.05 s2s，4107，对应计数器26位（226=6.4107）47事件定时系统（event system）利用Gigabit以太网物理层协议，事件发生器（Event Generator，EG）将输入的触发定时信号转换为16bit的编码发送出去，事件接收器（Event Receiver，ER）从编码中提取并输出信号。各种设备使用同样的事件接收器，它根据事件码所指定的内容（延迟时间和脉冲宽度等）输出各种定时信号。时间分辨率： 2.5Gbps，16bit，8B10B，则传输20bit用时8ns，即时间分辨率为8ns。48上海光源定时系统定时系统的模式A：单束团B：多数团模式C：混合束团模式4

34、91.44usSingle BunchAMulti BunchB150300ns2ns1.44usC1501.44usMixed BunchStorageRingLINAC BoosterK1K2K3StorageRingLINAC BoosterK2K3StorageRingLINAC BoosterK2K3K1K1 7.2usCoincidence ClockSR Rev Clock1.44usBooster Rev Clock0.6usRF Clock0.5sGUN trigger Syn.with Booster Rev FreqLinac Modulator3us300ns/150B

35、eam pulse in linac300ns/150Beam pulse in boosterBooster Inject SEP60usBooster Inject Kicker350ns150ns100MeV3.5GeVBoosterc Magnet Field3.5GeV100MeVBooster RampingBooster Inject SEPBooster Extract Kicker300ns/150Beam pulse in SR60usSR Inject SEP4usSR Inject Kicker主定时系统的逻辑时序高频频率：499.654MHz储存环回旋周期：1.44u

36、s（ 回旋频率为0.69444 Mhz）储存环谐波数：720增强器回旋周期：0.6us (回旋频率为1.666Mhz)增强器谐波数：300直线高频工作频率：2997.924MHz注入重复频率：2Hz直线工作模式：单束团模式(1ns脉冲宽度) 多束团模式(间隔2ns的150个连续束团)赵黎颖, 殷重先, 刘德康上海光源定时系统（续）50定时系统的布局图定时系统的硬件框图FEL的定时与同步 FEL同步系统的任务是保证系统基准信号（主时钟信号）能够准确而稳定地发布到包括注入器、加速器、波荡器、种子激光器以及用户激光器中，使各个子系统与主时钟之间保持良好的锁相关系，以保证束流品质和用户实验的完成 目前

37、对同步系统的要求主要取决于pump-probe（泵浦-探测）实验pump-probe实验原理：用户激光用于激发（pump）样品，来自FEL的激光用作探针（probe），改变两束激光的时间差，可以测得样品在原子尺度的动态图像（movie）目前的最高时间分辨可达到0.1fs量级需要严格控制两束激光脉冲间的时间抖动（jitter），使之小于FEL激光脉冲长度51稳相传输方案对比技术方案技术方案抖动抖动漂移漂移基本原理基本原理造价造价RF/同轴电缆fs量级psRF源，高频稳相电缆低RF/同轴电缆（温控+稳相）fs量级100fsRF源，高频稳相电缆高频鉴相，温度控制高脉冲激光5fs10fs激光主振，光学

38、互相关很高连续激光（干涉）fs量级20fsRF调制的连续激光，光学干涉法鉴相很高连续激光（RF鉴相）10fs CC: 10SCAN: 10 secondAnalog InL1:water:temp1EGU: deg CVALINPEGU: deg CVALINPINPBINPAVALDOLOUTT2SensorSensorT1IOCDatabaseADCADCBinary I/OChillerAnalog InL1:water:temp2Inside an IOC95LANI/O HardwareIOCThe major software components of an IOC (IOC C

39、ore)DatabaseRecord RecordSequencerDevice SupportChannel AccessThe Sequencer96Runs programs written in State Notation Language (SNL)SNL is a C like language to facilitate programming of sequential operationsFast execution - compiled codeProgramming interface to extend EPICS in the real-time environme

40、ntCommon uses Provide automated start-up sequences like vacuum or RF where subsystems need coordination Provide fault recovery or transition to a safe state Provide automatic calibration of equipmentSNL implements State Transition Diagrams97State AState BEventActionTransitionA to BSTD Example98Start

41、lowhighv 5.0print sncExample: Changing to highv 5.0) printf(sncExample: Changing to highn); state high state high when (v 40台 softIOC：22+2 （C/S） OPI：2+1（C/S） HLA：3 存储：2 网页：2 开发/测试等：10HLSII服务器系统的网络连接113HLSII虚拟化服务器的管理界面114HLSII的中央控制室115HLSII控制系统的软件设计开发工具：EPICS base：R modules：seq-2.1.6、asyn4-1

42、8 、streamDevice-2-5、s7plc、tds3000-2.4、iocStats-R3-1-9 、autosave-4-7 Extensions：edm-1-12-75、SNS_CSS_3.1.4、pyepics-3.2.0、procServ 操作系统 服务器/OPI：CentOS 6 SoftIOC：CentOS 6 NI cRIO 9073: vxWorksIOC：15000 records数据库系统 RDB Channel Archiver OracleJSP 历史数据：10GB/week编程语言 C/C+、Java、MatLab、Python、LabVIEW116LabVIEW PCAS Interface117The concept: a C+ library which provides channel access serve