版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
目录TOC\o"1-3"\h\z第一部分网络解决方案 1一、前言 1二、需求分析 21、建设背景 22、系统需求 2三、网络系统设计 21、系统设计目标 22、系统设计原则 33、系统总体设计 34、网络平台具体设计 45、服务器系统具体设计 136、操作系统平台选择 21四、平安体系设计 211、主机平安 222、数据平安 223、网络平安 24五、工程实施 281、工程实施胜利的要素 282、工程管理组织 303、工程实施步骤 314、工程文档 32第一部分网络解决方案一、前言北京××软港致力于证券行业的系统集成及软件开发,多年在广西区内为各证券营业部实施系统集成工程,具有丰富的证券行业系统集成阅历,在区内拥有百分之六十的市场占有率,声誉卓著。随着国际互联网的发展,北京××软港已大踏步地向网络化发展,为券商供应全面的系统集成解决方案。为了把××证券柳州营业部新址的计算机网络系统建设成为一个可伸缩性好、平安牢靠、稳定先进的网络平台,北京××软港在进行方案设计时充分利用了××软港在证券行业以及银行交易系统开发和服务方面长期积累的成熟先进技术资源,在保证系统供应高性能、高可用、平安交易的前提下,保证系统具有良好的可扩展性。经过具体的分析,××软港举荐××证券采纳××新世纪券商千兆解决方案。本方案有如下特点:采纳三层硬分别结构,实现内外网完全隔离,网络千兆主干冗余,百兆上联冗余,百兆全交换到桌面,不存在单点故障,保证网络不会因为某个设备故障而导致整个网络崩溃。采纳先进NHAS系统(NovellHAServer),通过运用高性能的磁盘阵列柜,提高了Novell行情服务器的牢靠性和可用性,保障证券Novell服务器能7x24小时不间断地高速运作。采纳先进的LifeKeep技术(NCRLifeKeep),通过运用高性能的磁盘阵列柜,提高了交易服务器的牢靠性和可用性,保障证券交易服务器能7x24小时不间断地高速运作。工作站采纳IntelPro/100S可管理网卡,硬件级支持DES加密,底层完成爱护在局域网中传输的数据,并支持远程唤醒。下面,我们就对这个解决方案做详尽的阐述。二、需求分析1、建设背景××证券公司在近期将柳州营业部搬迁至新址,同时为了满意不断增长的业务,须要建立一个全新的高效的计算机网络系统,以增加自身的竞争实力。这个网络系统不仅是为证券交易业务供应一个强大稳定的平台,具备行情发布和柜台交易功能,而且还能供应办公自动化功能,提高××证券公司的办公效率。网络系统必需是高效、平安的,还应当具备很好的扩展性。2、系统需求网络主干要求达到千兆位带宽,桌面接入要求达到百兆位带宽;网络结构要求做到完全冗余,不存在单点故障,能不间断运作;网络系统要求至少供应1000个信息点的接入实力;主机系统能够满意目前以及将来的应用须要,具备高牢靠性和高扩展性。三、网络系统设计1、系统设计目标为营业部中各个部门的证券交易业务以及办公自动化业务一个平安稳定牢靠的运行限制和集成管理核心网络环境,为全部的信息点供应100M全交换的桌面接入;供应丰富的网络服务,实现广泛的软件、硬件资源共享,避开重复投资,发挥系统最大效益;主机系统应具有高度的牢靠性,能7x24小时不间断工作,并有容错措施;还应具备很高的平安性,以保证券商网络中机密数据的合法访问;具有广泛的软件支持,软件兼容性好,并支持多种传输协议;主机系统应享有较好的性价比和较低的总拥有成本,并具有良好的向后扩展实力和肯定的先进性;考虑到券商技术力气的限制,主机系统应易于运用和维护;2、系统设计原则本网络系统作为××证券业务的核心基础,应充分利用先进技术,通过组织和利用系统资源,以合理的代价,为用户供应平安、牢靠、有效、充分、友好的服务。为了满意××证券的业务对网络系统的要求,针对××证券的具体需求和业务特点,在网络系统的构架中应遵循以下原则:1)高平安性和牢靠性原则:整个系统必需具有高度的平安性、牢靠性和稳定性,保证网络系统能高牢靠的运作。在万一出现局部故障时应不影响网络其它部分的运行,并且故障便于诊断和解除。充分体现计算机网络的高可用性;2)成熟性和先进性原则:应采纳被实践证明为技术成熟且领先的技术方案,最大限度地满意现在业务和将来发展的需求;3)开放性和可扩展性原则:应考虑将来发展的须要,使系统与将来扩展的设备具有互联性和互操作性,又便于升级、换代,使整个系统可以随着科学技术的发展与进步,不断得到充溢、完善、改进和提高,并且能很便利地融于全球信息网络中;4)集成性和可管理性原则:充分考虑系统所涉及的各子系统的集成和信息共享,保证系统总体上的先进性和合理性,采纳集中管理、操作和分散限制的模式;5)经济性原则:系统应具有较高的性能价格比。3、系统总体设计要充分考虑到系统既要高起点地满意当前需求,又要满意将来可能的爆炸式的增长,就必需将系统建立在一个强健的、高度可伸缩的体系结构之上。我们建议的就是这样一个体系结构。我们采纳分层设计方法来设计××证券网络系统,其中核心网络由主干交换机组(核心层)和桌面接入交换机群(访问层)、路由器(边缘层)构成。系统总体逻辑结构如下:依据系统设计目标的对系统规模的要求,我们对系统进行了细致的设计和论证,我们将在下面绽开具体阐述。4、网络平台具体设计1)网络技术选择采纳完全交换式以太网技术完全交换式以太网技术,能有效提高整个网络的性能和牢靠性,主要表现在:1、采纳完全交换式以太网技术后,任何一个点的突发性事故不会对网络中其他部分造成影响,系统可以自动的屏蔽该点的故障,切断虚电路。2、在目前证券行业的计算机网络模式中,利用完全交换式以太网技术,可以有效的屏蔽广播包,同时可以利用交换机的背板带宽,提高重要工作站间的数据交换处理实力。3、采纳完全交换式以太网技术,可以利用802.X生成树协议(SpanningTree),对网络进行冗余、均衡配置,提高系统的可用性和平安性。采纳千兆交换式以太网技术采纳千兆以太网技术千兆网络技术已经成熟,千兆产品正在成为市场的主流。千兆网络可以轻松解决证券公司在行情火爆和交易量大时,出现的网络“瓶颈”问题。千兆网络便利以后证券交易网络的升级,可以爱护证券公司投资。千兆以太网技术的优势核心设备具有更强的处理实力;可与目前的以太网(10M)、快速以太网(100M)设备无缝连接;利用现有的以太网学问就可以管理、监视和维护千兆以太网;千兆以太网技术是组建网络主干的核心技术;基于RSVP和IEEE802.1Q/p标准实现CoS,从而供应不同的服务等级。采纳千兆铜缆以太网技术千兆铜缆技术能在一般双绞线实现千兆速度的数据传输。千兆铜缆设备可实现百兆和千兆的自适应,实现与原有的快速以太网设备无缝连接,爱护投资。千兆铜缆设备与千兆光纤设备相比具有更高的性价比。网络设备冗余与容错网络系统的牢靠性对于证券公司来说至关重要,甚至高于对性能的要求。网络牢靠性可采纳冗余的网络互连结构和故障快速复原技术来实现。要实现网络的牢靠性,消退交换机的单点故障,必需采纳硬件上的冗余,主要包括主干交换机冗余、二级交换机上行链路冗余和服务器网卡冗余。主干交换机冗余可采纳双主干交换机形式——两台交换机相互冗余形式或一台主交换机与一台备用交换机相结合形式。通过GEC(GigaEthernetChannel)技术还可实现负载均衡。二级交换机上行链路冗余通过SpanningTreeProtocol生成树协议,可采纳光纤或铜缆作为上行冗余链路。服务器网卡容错在服务器上安装两块服务器网卡,分别连接两台主干交换机,形成服务器与主干交换机之间连接的冗余,实现容错功能。通过以几方面的论述可以看出:我们的方案能够保证网络的牢靠性,做到中心交换机的故障不会导致整个网络瘫痪,并供应最快速的故障复原方案,从根本上消退证券公司面临的风险。2)网络设备厂商选择目前能够供应网络产品的厂商很多,Cisco、3Com和Intel等公司都有从路由器到交换机的全线网络产品,用户选择余地较大。然而这些公司的技术、产品、服务与价格存在一些差异,故网络厂商的选择时,应仔细分析这些公司的特点,并结合所建系统的具体特点。Cisco在高端产品市场优势明显,但价位较高。但其在网络解决方案方面,具有较高的领先性和良好的性价比。3Com在中学低端的网络产品市场,尤其在桌面市场占据肯定优势。Intel公司的近年来在网络方面发展很快,尤其在千兆铜缆产品方面,其在服务器网卡市场占有肯定的优势。特殊是其千兆服务器网卡,目前尚未有同类产品可以匹敌。这几个公司各有其特点,依据××证券公司网络系统的具体特征,举荐选用Cisco公司交换机产品、选用Intel公司的网卡来构建网络系统。3)网络拓扑结构我们在这里为××证券设计的网络方案,其网络拓扑图如下:4)网络平台设计详述网络平台采纳两台Cisco4006千兆企业级交换机作为网络主干交换机,两台480T千兆交换机之间采纳GEC光纤通道实现互为冗余容错,同时还能实现负载均衡,从而保证主干网络的牢靠性和稳定性以及提高性能,杜绝网络单点故障。内网的主干交换机采纳两台Cisco2948G企业级交换机通过多个百兆端口实现FEC通道来互为冗余备份,同时还能实现负载均衡。行情服务器通过安装的两块IntelPro/1000GigabitServerAdapter(千兆光纤网卡)进行AFT容错,实现网卡互为冗余备份,防止因网卡出错而导致系统工作中断。而且每台服务器都采纳冗余光纤链路分别连接到外网的两台4006主干交换机的千兆光纤口上。交易服务器也采纳两块IntelPro/1000GigabitServerAdapter(千兆光纤网卡)AFT容错方式,并通过冗余光纤链路分别连接到内网的两台2948G主交换机的GBIC千兆光纤口上。对于桌面接入交换机(二级交换机),我们采纳Cisco2924独立式百兆交换机,为桌面PC供应100M全交换接入。而且每台Cisco2924都采纳百兆冗余铜缆上行链路分别连接到两台4006的百兆铜缆口上。与国际互联网的连接通过ADSL设备来实现,并且采纳防火墙软件抵挡外部网络入侵。外部网络和内部网络之间采纳中间件来平安隔离,保证内部网络数据的平安性和牢靠性。5)网络设备产品简介CiscoCatalyst4006CiscoCatalyst4006能够在一个机箱中满意多达240个快速以太网端口的网络部件连接要求,背板带宽是60Gbps。Catalyst4006的热插拔模块的即插即用交换解决方案降低了困难性,可以简洁地支持当今网络不断变更的桌面环境。将来端口接口增加包括无线PC连接、千兆铜缆连接。Catalyst4006结合了高级工程技术和生产进步,以更加经济有效的价格供应更加强大、更加牢靠的企业交换解决方案。它重新定义了新的性价比值。Catalyst4006供应的自治愈网络智能,足以快速复原端口、设备及网络故障,而没有明显的桌面延迟。主要优点包括:性能--供应了先进的交换解决方案,它能随着您端口的添加而增大带宽。领先的ASIC技术更是使Catalyst4000系列解决方案如虎添翼,ASIC技术供应了线速第2层和第3层10/100或千兆位交换。其中,第2层交换由24Gbps、18Mpps引擎驱动,第3层交换则由可伸缩的8Gbps、6Mpps引擎驱动。投资爱护--敏捷的模块化体系结构对配线室中的动态桌面连接供应了经济高效的管理。Catalyst4006背板进一步供应了网络爱护实力,因为它支持60Gbps无堵塞容量,所以这种机箱更能适应将来须要。功能透亮板卡--Catalyst4000的结构优势扩大了Catalyst4000系列板卡的部署寿命。只要简洁地添加其它引擎模块,如新的第3层服务模块,Catalyst4000系统就能便利地将全部系统端口升级到更高层的交换功能。不须要更换现有板卡就能在系统端口上实现高层功能增加,这在常规交换产品中是很常见的。这样,新的Catalyst4006端口可以随时用于WAN、IP电话、第4层到第7层Web交换。模块化监控器引擎爱护--Catalyst4006机箱背板和监控器连接器可以支持将来的监控器引擎升级。将来改进的可能性包括将可伸缩交换机结构容量增加到64Gbps、运用线速第3层和第4层交换和基于将来技术的千兆位上行链路。CiscoIOS网络服务--Catalyst4000系列交换机供应了成熟的企业第2层和第3层特性,能够有效地增加公司网络的实力。这些特性满意大中型企业的高级联网要求,因为它们的推出干脆得益于多年的Cisco客户反馈看法。基于硬件的组播--协议独立组播(PIM)密集和稀疏模式、Internet组群组播协议(IGMP)、以及Cisco组群组播协议(CGMP)支持基于标准的、Cisco改进的高效多媒体联网。共享内存体系结构,没有线路头堵塞--集中式低等待延迟(1.4微秒)、共享内存交换结构供应了领先的实力,消退了全部可能的线路头部堵塞。桌面能够运用千兆位实力--Catalyst4000系列已经供应了丰富的1000Mbps千兆位和千兆位服务器交换解决方案。Catalyst4000系统的千兆位解决方案的运用范围可以便利地扩展到桌面。可管理性--利用每一种Catalyst4000系列交换解决方案供应的先进的管理实力以及每一个端口中内置的基于业界标准的管理功能,Catalyst4000系列的限制实力和平安性都得到了加强。您可以敏捷地选择是运用基于Web的图形用户接口(GUI)还是吩咐行接口(CLI)来完成管理任务,从而增加了您的网络操作实力。降低网络操作费用--因为Catalyst平台、体系结构和软件之间有更高的一样性,所以费用得到了很大降低。另外,端到端的Cisco管理和服务也降低了网络的总拥有成本。爱护关键任务应用的性能--集中式企业策略创建加上CiscoAssure支持和针对第2层CoS和第3层ToS的网络服务质量,这些可共同保证您能够从边缘到核心得到一样的应用性能。高可用性--Catalyst4000系列供应了自复原网络智能,它的速度足以从端口、设备、链路上发觉故障而在桌面上没有明显延迟。面对将来的网络--Cisco的接着开发和投资使CiscoCatalyst4000系列LAN解决方案成为一个具有战略意义的配线室和分支机构平台,它经验了多年的不断改进。Catalyst4000系列能轻松地应对网络发展,通过简洁地添加更多的端口,您可以有效地提高您网络的带宽。另外,功能上透亮的体系结构优势将扩大每个交换板卡的有效时间,允许您随着您的需求而添加更高级的功能,而不须要进行彻底升级。CiscoCatalyst2948GCatalyst2948G为一固定配置的其次层的以太网交换机,供应48个RJ-4510/100M端口和2个千兆以太网上联端口,带有模块化的千兆以太网转换器(GBIC)端口。Catalyst2948G支持Catalyst企业版的系统软件。该特点不仅使其与其它Catalyst交换机具有互操作性,还是供业界最丰富的其次层的特点。其主要支持的软件特点包括:先进扩展性(如FastEtherChannel,DynamicVLAN,802.1Qtrunking)带宽管理(QoS,协议过滤,链路负载平衡)网络的牢靠性(UplingFast,PortFast,Spanningtree)平安性(每端口的平安,验证,IPPermitLists)Catalyst2948G是企业级桌面交换机,其很高的性能,牢靠的软件,高性能非堵塞的结构为××证券的内网供应保障。Catalyst2948G具有24Gbps的带宽,可以同时支持48个10/100和千兆口同时以线速交换。Catalyst2948G高性能的结构将削减拥塞和供应整个网络的相应时间。Catalyst2948G支持各种容错特点,包括一个外置的冗余电源(单独购买),支持多条负载均衡的中继(FastEtherChannel),多个Spanningtree,快速收敛的软件工具如PortFast和UplinkFast。广泛的硬件和软件的容错工具使Catalyst2948G可以供应当今关键任务网络所须要的敏捷的平台和容错特性。CiscoCatalyst2924XLCiscoCatalyst2924XL交换机拥有24个10Base-T或100Base-TX端口,背板带宽是3.2Gbps。它还具备以下的杰出优点:12或24个10Base-T/100Base-TX自适应端口能够为要求苛刻的工作组和服务器供应最须要的功能,同时保留了传统的10Base-T连接(Catalyst2912XL和Catalyst2924XL)。24个10Base-T/100Base-TX自适应端口能够为要求苛刻的工作组和服务器供应最须要的功能,同时保留了传统的10Base-T连接。3.2-Gbps交换网和3Mpps的传送速度保证了全部10Base-T/100Base-TX端口具有最佳的性能。100Base-T端口的全双工功能使终端、服务器和交换机之间的带宽可以达到200Mbps。4-MB共享内存结构通过去除头部信息堵塞现象、最大地削减数据包丢失以及降低多点传送和广播传输的拥挤现象,保证了最高的吞吐量。快速以太通道技术实现的带宽集合提高了容错实力,能够为交换机、路由器、服务器之间的连接供应高达800Mbps的带宽。每个交换机可以拥有多达12个快速以太通道带宽集合群,这使每台Catalyst2900XL交换机能够通过标准的全双工10/100快速以太通道链路将多个网络设备聚集在一起。CGMP使交换机能够有选择和动态地将IP多点传送信息传送到目标多媒体终端,因而从整体上削减了网络流量。可配置的网络端口能够为骨干连接供应不受限制的媒体访问限制(MAC)地址支持实力。IntelPro/100S台式机网卡英特尔®PRO/100S台式机网卡是特地为服务器优化、可信任、可管理的10/100M网卡。主要特性■针对电子商业而优化的高性能局域网平安性■先进的特性缓和了服务器的瓶颈问题,同时最大程度地提高工作站的正常运行时间■英特尔singleDriver™技术降低了网络困难程度■支持3DES(168位高强度加密)新型英特尔®PRO/100S网卡利用基于标准的平安性来爱护局域网上的敏感数据,同时依旧保持精彩性能。英特尔®PRO/100S网卡将IPSec加密卸载与英特尔®PRO/100+网卡所具有的先进管理特性完备地结合在了一起。■ 英特尔®82594ED网络加密协处理器-从台式机的处理器上卸载加密工作,最大程度地提高网络性能,节约系统资源用于其它关键服务器任务。■ 智能限制器-英特尔®自适应技术可动态调整传输速率以削减冲突,并且能够实现网卡微代码的软件升级。■ 针对Windows*2000进行优化-英特尔®PRO/100S网卡是英特尔与微软合作开发的产品,特地针对Windows*2000进行细心设计,可在您的网络上实施加密,同时性能丝毫不受影响。++■ 先进的远程管理-支持WfM12.0、SNMP、DMI2.0,通过WakeonLAN和板上英特尔®BootAgent可实现远程服务器配置。■ 可扩充的吞吐实力和高可用性-总带宽高达800Mbps,运用任何英特尔服务器网卡的组合均可建立自动冗余连接。■ DES和3DES加密算法-运用应用最广泛的最高级别平安性,以爱护局域网上传输的数据。IntelPro/1000F千兆光纤服务器网卡高性能千兆位服务器网卡主要特性■高度集成的英特尔®限制器供应了业界领先的性能■通过网卡容错和PCL热插拔增加了服务器的可用性■自适应负载平衡和千兆位EtherChannel供应了可扩充的吞吐实力,支持1000BASE-SX的SC光纤连接器■ 顶级千兆位网卡-“其它没有一款网卡能够供应与之相媲美的1000Mbps吞吐量。”-引自1998年8月LANQuest试验室报告可扩充的吞吐实力和高可用性--高达8Gbps的集合带宽,并且可以利用任何英特尔®服务器网卡组合建立自动冗余连接。■ 支持工业标准--802.3z千兆位以太网 -用于高级通信管理的802.1QVLAN和802.3x数据流限制。■ 广泛的互操作性-与WindowsNT*、Novell*、UNIX*和Linux*环境中的工业标准交换机兼容。■ 在线维护实力-PCI热插拔技术补充了网卡容错特性,能够在不中断服务器运行的状况下更换故障网卡。■ 通过远程管理降低支持成本-支持联网管理(WfM)2.0、SNMP和DMI2.0。5、服务器系统具体设计1)服务器系统要求1、服务器系统技术要求服务器系统选用先进、好用、稳定、牢靠的系统,具有开放性结构,且服务器系统选型时应要考虑备份机制和容错功能。2、服务器系统平安性要求建立企业内部访问的平安限制机制,提高服务器系统数据的平安性和访问的平安性。3、服务器系统设备要求服务器系统应采纳国际知名品牌产品,具有较高的性价比,可扩展、易升级,应操作简便、易于管理。2)服务器系统设计原则服务器系统设计是系统建设的关键,其干脆影响投资规模和系统成败,因此要仔细作好这项工作。服务器系统设计基于以下原则:一、高牢靠性由于证券服务器系统牢靠性干脆关系到证券业务的正常进行,只有牢靠性高的产品才能做到无间断运行。服务器系统必需具有高平安性,能够有效的防止黑客的入侵。二、高可用性由于证券业务系统须要高可用性的特点,在设计时须要考虑采纳,可利用双机容错系统提高系统的可用性,削减宕机时间。三、高扩展性在投资范围内,追求最大的可扩展性,为以后扩展升级打下基础,爱护客户投资。四、高性价比在有限的预算前提下,选用性能价格比较高的产品,用最少的投资获得最大的效益。五、高质量和高效的售后服务国际闻名服务器厂商的产品无论在质量上、服务上,还是在技术支持上都有卓著的声誉,产品的持续支持实力也能得到保证。3)服务器系统设计服务器系统是在整个网络的运行以及各种网络应用服务中是起着关键的作用。对网络性能的实现和今后网络的升级都特别重要。目前在证券行业中服务器大都是采纳COMPAQ服务器,而且COMPAQ服务器在多年来的证券应用中口碑很好。(1)行情服务器设计考虑到有近1000个工作站,而且工作站须要做成无盘WIN98工作站,服务器的负载比较大,因此Novell行情服务器建议采纳一台康柏ProLiant8000做主服务器,用另一台康柏ProLiant8000做备份服务器。为了提高整个NovellNetware系统牢靠性和稳定性,采纳NOVELLHASERVER技术,并为两台服务器配备先进的DFT-5008磁盘阵列柜系统,保证整个网络的牢靠性和稳定性。NovellHAServer是Novell公司的独立版权产品,它集合了以往StandBy、SFTIII等产品的全部优点,专为目前Client/Server局域网供应的一种通用的高可用性、高扩充性的解决方案,它运用工业标准化商品部件,通过一条共享SCSI总线或光纤通道,将局域网中的两台Novell服务器连接,从而支持关键业务环境、支持不断增长的存储需求,最大程度地降低服务器的down机时间,具备特别优异的容错性能。客户机在访问全部的群集资源,诸如共享磁盘,文件共享和数据库应用程序时,都不必知道群集系统中单一服务器的名称。当一台服务器系统发生故障时,另一台服务器会马上担当发生故障服务器的工作,将共享卷、NDS权限、Netware用户数和文件共享等进行迁移,从而保证整个群集系统作业运行的连续性。在NHAS系统中,我们选用DFT-5008U2磁盘阵列柜配备4个18.2GbWideUltra3SCSI硬盘(COMPAQ10K),实现RAID5+1模式。为两台NOVELL服务器供应高性能、不间断的共享磁盘服务。HAServer的技术要点主从服务器的硬件配置不必完全一样,可充分利用原有设备。NovellHAServer供应两种切换机制,失效切换和手工切换。失效切换确保服务器失效时全自动实施切换,手工切换和系统暂停机制,便利正常系统维护工作。支持多条冗余的心跳路径以有效避开系统误切换,还可以通过冗余的数据通道来供应更高水平的可用性。支持工业化标准的互连(ODI、IPcompliant)、对称多处理器(SMP)。支持运用共享SCSI技术或FiberChannel光纤通道技术的磁盘阵列柜。HAServer配置敏捷、运用简洁、维护便利。HAServer支持多台服务器群集,支持分布式应用。HAServer所带来的好处运用磁盘阵列柜的NovellHAServer群集系统,一方面能大大提高硬盘的读写速度,明显改善诸如证券行业中行情分析软件的反应速度,还可以将两套分析软件分别在两台服务器上运行以有效均衡服务器负载;另一方面,由于运用硬件实施系统的容错,因此可大大提高这个系统的平安容错级别。在今日,“数据与主机电气分别”观念已经快速成为当前IT技术的新潮流。运用磁盘阵列柜的NovellHAServer群集系统为最终用户供应了如下的好处:高度可用性,确保作业的连续性NovellHAServer群集系统中某个服务器由于硬件或软件失败而导致崩溃,群集系统中的备用服务器可以予以接管,以保证处理过程的接着,群集也可以对某些单独组件,如磁盘或适配器,或是单独的应用程序的失败作出反应,通过隔离失败节点的错误,其它节点可以接着运行,保证整个群集系统的功能。速度上的明显提升NovellHAServer群集系统中磁盘阵列柜基于80Mbyte/S的UltraWide宽带SCSI技术或基于100Mbyte/S的光纤通道技术,并且阵列柜内部配有CPU及大冗量缓存做读写预处理(与以太网络相比,100Base-T以太网只相当于12.5Mbyte/S带宽<计算方法:100Mbit/8bit=12.5Mbyte>)。以上结构使得阵列数据读写速度远高于主机内部硬盘,而且不需主机CPU分时,又进一步提高了主机系统的处理速度,使得传统的外存I/O瓶颈大改善,这种NovellHAServer群集系统较之早期的纯软件网络备份容错及主机内部加装阵列卡的方式在速度上有了质的飞跃。提升数据的平安容错级别至99.99%NovellHAServer群集系统中的磁盘阵列柜配置主要包括:限制器(其上自带CPU、缓存)、电源、风扇、磁盘存储子系统,其运用全硬件冗余方式保证数据的平安性,从而消退了NovellHAServer群集系统的单点故障。双通道双路在线限制器磁盘阵列柜一般可以配置2个限制器,作为冗余,而且每个限制器运用2个独立的主机通道、2个独立的磁盘通道,除了提升磁盘阵列的I/O外,也保证了工作限制器或限制器上的某一个通道出现故障时,备用限制器或限制器通道的在线热切换,加强了系统的高可用性支持。两组热插拔容错电源,双散热风扇冗余电源保证当一个电源及电源通路出现故障时,RAIDArray的可用性,冗余的风扇功能使得当一个风扇出现故障时RAIDArray的散热仍旧得到保障。支持RAID0,1,0+1,3,5校验,并支持热插拔和热备件的自动故障复原工能。RAID级别保证随意硬盘故障时其上数据不会丢失,而且许可运用一块硬盘作为阵列上RAID集的备用盘,当RAID集中的任一硬盘出现故障时,备用硬盘可以自动替换故障硬盘。极大的降低了系统的风险并减轻维护人员的负担。独立的用于电池或UPS的电源接口。磁盘阵列柜一般都配有电池,用来爱护系统掉电时对磁盘阵列缓存的爱护,以实现数据的完整性,另外,磁盘阵列柜还具有内部UPS接口,以实现对限制器及缓存的更充分的爱护。双Active,服务器负载均衡应用软件可与群集软件协同工作以平衡群集系统中各服务器的工作负载。例如,行情服务器可以并行工作在多个节点上,同时从共享磁盘中获得数据,从而充分发挥容错系统中各个结点的资源,实现服务器负载均衡和缓解行情服务器的网络压力,从而提高客户端的访问速度。(2)交易服务器设计行情服务器也建议采纳一台康柏ProLiantML570做主服务器,用另一台康柏ProLiantML570做备份服务器。由于交易服务器在整个证券业务中是很重要的,为了保证交易服务器的牢靠性和冗余热备份,我们采纳NCRLifeKeep技术,通过心跳线使两台服务器互为冗余备份,保证整个交易系统的牢靠性和稳定性。LifeKeeperForWindowsNT软件是NCR公司推出的全球第一套基于NT操作系统,并支持16台服务器集群的容错软件,也是市场上第一套可供应OSI七层参考模型的高可用性软件,自九十年头出推出以来,备受用户称誉。美国NCRLifeKeeper可以广泛应用于证券、金融、政府、交通、邮电、医院、税收、公安、民航、军工、商业等采纳WindowsNTServer平台的行业,LifeKeeper能满意这些行业作业系统数据平台高度稳定、平安牢靠的应用需求。规划说明:双(或多)主机通过一条TCP/IP网络线以及一条RS232电缆线相连。双(或多)主机通过一条SCSI电缆线与磁盘阵列柜相连。主服务器故障后,备份服务器自动接管主服务器的作业和数据。备份服务器同时自动接管主服务器的主机名(Host)及网络地址(IP)主服务器修复好以后,再将备份服务器上的作业和数据切换到主服务器。建议主、备份服务器内存大小基本一样。(3)报盘服务器设计考虑到报盘服务器在证券交易业务中的重要性,我们不举荐采纳一般服务器(例如一般PC机),建议采纳康柏ML530服务器作为报盘服务器,以保证稳定性,确保报盘工作稳定牢靠。(4)中间件服务器设计由于中间件服务器作为连接外、内网的网关,处于一个特别重要的位置,所以我们不举荐采纳一般服务器,应当采纳专业服务器,确保内外网通讯稳定牢靠。为了爱护××证券原有的设备投资,我们建议将××证券原有的康柏Proliant7000服务器作为中间件服务器,并给其配置双网卡。4)主机系统产品简介CompaqProliant8000康柏ProLiant8000,具有大量内部存储和容错性能的超大容量8路服务器保持业界领先地位意味着您须要尽可能地实现各种优势,以提高企业的计算实力并维护您珍贵的IT资源随着新型应用不断出现、对性能的要求日益苛刻、数据和用户越来越多--您的IT系统始终压力重重。现在,康柏ProLiant8000服务器将为您供应取得胜利所需的强劲性能标准配置:双PIIIXeon700MhzCPU(1M二级高速缓存)1GbECC内存(可扩至8Gb)18.2GbWideUltra2SCSI硬盘(一万转)12个1英寸热插拔WideUltra2SCSI驱动器集成的双通道Wide-Ultra2SCSI适配器内置100MPCI服务器专用网卡双冗余电源CompaqProliantML570ProLiantML570基于ProLiant5500、6000和6500的强大功能而构建,将最新的性能和高度可用性引入富含功能的四处理器服务器平台中ProliantML570具有卓越的牢靠性和容错实力,供应了企业级系统可用性和218.4GB最大内置存储器容量客户们可以依靠这款高度可管理性服务器降低拥有成本,并供应更平安、牢靠的计算环境标准配置:双PIIIXeon700MhzCPU(1M二级高速缓存)512MbECC内存(可扩至8Gb)18.2GbWideUltra2SCSI硬盘(一万转)12个1英寸热插拔WideUltra2SCSI驱动器集成的双通道Wide-Ultra2SCSI适配器内置100MPCI服务器专用网卡双冗余电源CompaqProliantML530ProLiantML530是新一代ProLiant3000两路服务器,在两路服务器中供应了扩展性、可用性和性能的完备组合针对那些要求获得最高的性能、硬盘和内存扩展性来运行须要双路处理支持应用的公司,这款服务器供应了卓越的价值标准配置:PIIIXeon933MhzCPU(256K二级高速缓存)512MbECC内存(可扩至8Gb)18.2GbWideUltra2SCSI硬盘(一万转)12个1英寸热插拔WideUltra2SCSI驱动器集成的双通道Wide-Ultra2SCSI适配器内置100MPCI服务器专用网卡双冗余电源DFT-5008U2磁盘阵列柜DFT-5008U2:64位PowerPCRISCCPU,64位SCSI总线,速率可达80-160MB/SEC,单机容量可达TBG,300w*2冗余双电源,双风扇,塔式/5U标准工业机箱,它拥有以下特性:高数据传输性能DFT-5008U2支持并发访问恳求,能完成从主机到硬盘的高速并行数据传输。为了达到最高的数据吞吐量,阵列内部全部环节均采纳LVD接口,包括并发I/O,吩咐队列特性等都已在DFT-5008U2限制器内部完成.限制器采纳高性能的64位PowerPCRISCCPU以使I/O任务智能化.高速缓存可以完成智能的read-ahead和write-back.有了高性能的设计,DFT-5008U2供应了一个基于SCSI计算机的广泛存储方案,以应用单用户工作站、高端PC服务器、UNIX中心主机等环境当中。高数据容错实力DFT-5008U2供应RAID0、1(0+1),3、5,3+spare、5+spare可供选择.这些RAID功能给用户数据的高牢靠性供应了保证。例如自动侦测失效盘,热备用硬盘,坏盘数据重建,在线更换硬盘,后台自动重建等高扩充性和敏捷性利用扩展模块,DFT-5008U2可获得更多的SCSI通道。最多可达8个SCSI通道。DFT-5008U2支持8个逻辑硬盘,每个逻辑硬盘支持8个分区。每个SCSI通道,可定义主机或设备通道,实现多主机连接。当读写硬盘的时候,DFT-5008U2能够校验处理坏扇区,从同一逻辑盘中的其他硬盘获的坏盘数据,并对坏扇区重置。全部这些对主机来说,都是透亮的DFT-5000限制器主机/硬盘接口2个主机通道,2个磁盘通道(可扩充为6个)RAIDLevel0,1(0+1),3,5,30,50,JBOD基本的SCSI通道2-8个Ultra2WideorUltra3WideSCSI通道硬盘位6,8,12,16四种标准配置高速缓存32Mto1Gbytes,标准配置64M后备电池可选,DFT-9070c电源300W*2/400W*2(可选)容错总线(falutbus)支持(DFT专有)国际认证FCC,CE,Y2KMTBF500000尺寸17.5"(H)x8.75"(W)x21.5"(D)26.75"(H)x9.75"(W)x25.5"(D)
6、操作系统平台选择网络操作系统是网络软件系统的核心。因此选择网络操作系统成为组网过程中特别重要的一步。在选择好主机系统硬件之后,还必需选择能充分发挥网络整体性能的操作系统。目前在证券行业中被广泛采纳的操作系统主要有两种:NOVELL公司的NETWARE操作系统和Microsoft公司WINDOWSNT操作系统。不同的网络操作系统建立在不同的网络体系基础之上的,WINDOWSNT网络操作系统是建立在TCP/IP网络体系之上的,而NETWARE网络操作系统则主要是以NOVELLIPX/SPX为基础。目前在证券行业中的行情服务器大都是采纳NETWARE操作系统,它采纳的一系列先进技术以保证操作系统的整体性能具有较高的水平,并且牢靠性和平安性都比较不错。因此我们采纳NETWARE4.11作为行情服务器的网络操作系统。而WINDOWSNT操作系统是一种纯32位的网络操作操作系统,它是一种面对分布式图形应用程序的操作平台,主要是作为数据库以及交易系统的底层平台。因此在交易服务器中选用的是Microsoft的WINDOWSNTSERVER网络操作系统。四、平安体系设计新世纪的商务运作与电脑网络休戚相关,胜利的商业机构必需有快速牢靠的网络。对证券行业而言,计算机网络业已成为证券营业部业务运作不行缺少的工具。与此同时,网络平安也成为刻不待时急待解决的问题。可以说,我们今日所面对的平安问题已不再局限于系统本身。对外,我们将面对一群具有高知慧、高实力、高手段而且对网络系统和编程语言都有着深刻了解的“黑客”,他们无时无刻不在窥探着你的网络,你却没有丝毫的觉察。他们能在你的眼皮底下偷走或修改你的数据,能让你在正常操作中丢失你的管理员密码,能删掉你的重要数据,更能让你的服务器在开市时宕机……;对内,系统则会时刻受到在你身边而不为你察觉的内网用户的攻击威逼。面对这些乍听起来让人觉得很“遥远”但的确在静静发生的事实,您是否已做好打算了呢?平安是在网络建设中须要仔细分析、综合考虑的关键问题。下面我们将从三个方面来探讨保障网络平安的若干措施。1、主机平安采纳网段分别技术,把网络上相互间没有干脆关系的系统主机分布在不同的网段,由于各网段间不能干脆互访,从而削减各系统被正面攻击的机会。网段分别可以采纳物理方式以及逻辑方式来实现。在物理上,我们将网络分为行情发布子网(外网)和交易处理子网(内网)两网段;在逻辑上运用虚拟专用网技术(VLAN),将应用服务器和工作站依据具体状况分别放在不同的网段和虚拟子网上。另外,在平安方面有一个最基本的原则:系统的平安性与它被暴露的程度成反比。因此,建议将行情发布的服务器与交易处理服务器隔离,由于将数据库和交易处理主机封闭在系统内部,增加了系统的平安性。同时运用中间件技术,不允许干脆访问业务主机,全部的应用连接都通过代理来完成,这不仅仅增加了业务主机的隐藏性,也提高了业务处理效率。2、数据平安在网络上运行的软件须要通过网络收发数据,要确保数据平安就必需采纳一些平安保障方式。1)在工作站上采纳支持IPSec加密实力的网卡网络内部人员的平安破坏行为超过了网络外部入侵者(两者的比例分别为55:30)。像防火墙这样的传统局域网平安爱护措施可以爱护网络的“前门”。但是,依据FBI的调查,大多数平安破坏行为发生在局域网内部,未经授权的访问、欺诈、窃取和其它违反运用规章的行为。英特尔®PRO/100S网卡通过供应IPSec(互联网协议平安)加密实力,可帮助爱护局域网上的敏感数据。IPSec是一种能够运行于任何TCP/IP网络(包括企业级局域网)之上的工业标准。IPSec具有以下实力:■对用户进行身份验证,帮助防止未经授权的数据访问。■防止恶意的攻击和篡改,有助于保持传输过程的数据完整性。■对数据包进行加密,有助于确保数据的机密性。但是,加密和解密数据的过程会降低服务器的运行速度,这就须要平衡平安性和运行速度。英特尔与微软合作,开发了一款能够同时为您带来平安性和高性能的解决方案:即IntelPro/100S平安网卡,它可以将加密解密过程卸载至网卡板上的英特尔®82594ED网络加密协处理器,从而将CPU从这项工作中解脱出来,并最终达到最佳的运行速度。IPSec基于标准的平安性与英特尔®服务器网卡业界领先的高性能相结合,是创建可信任的平安工作组的关键。2)用户口令加密存储和传输目前,绝大多数应用仍采纳口令来确保平安,口令须要通过网络传输,并且作为数据存储在计算机硬盘中。假如用户口令仍以原码的形式存储和传输,一旦被读取或窃听,入侵者将能以合法的身份进行非法操作,绝大多数的平安防范措施将会失效。所以用户口令须要实行加密方式存储和传输。3)分设操作员分设操作员的方式在很多单机系统中早已运用。在网络系统中,应增加管理员、一般运用员等多种操作员类型,以便对用户的网络行为进行限制。4)日志记录和分析完整的日志不仅要包括用户的各项操作,而且还要包括网络中数据接收的正确性、有效性及合法性的检查结果,为日后网络平安分析供应依据。对日志的分析还可用于预防入侵,提高网络平安。例如,假如分析结果表明某用户某日失败注册次数高达20次,就可能是入侵者正在尝试该用户的口令。3、网络平安在内部网络设计中主要考虑的是网络的牢靠性和性能,而如何确保网络平安也是一个不容忽视的问题。为进一步保证系统平安,还要在网络中对入侵防范等方面做特殊考虑。NetCop网警入侵检测系统是北京中洲基业软件技术有限公司作为Novell公司Netware平台、NDS书目服务平台应用产品研发中心开发出的国内第一套成熟的证券网络平安防护系统。该软件已获得Novell公司认证并已通过公安部平安产品检验中心检验。NetCop系统拥有设备指纹验证、网络登录规则审查、关键数据爱护三层平安防护功能,弥补了诸如网络地址假冒、超级用户特权利用、隐藏用户或隐藏权限、自带PC机上网等证券网络平安应用方面的主要不足,为网络入侵设置了多重屏障。同时系统的图形操作界面可以实时监控网络连接与登录的全过程、实时处理网络入侵、实时监控对关键数据修改、实时报告工作站设备联机状况,大大提高了对网络平安管理的易操作性,有助于建立正确的平安服务理念,从而在整体上加强网络平安建设的质量。1)证券网络平安面临挑战计算机网络平安涉及很多方面,对网络的入侵也是形形色色,手段更是多种多样。从入侵者身份来区分,可以把对证券营业部计算机网络的入侵分为两类:外部人员入侵和内部人员入侵。外部人员入侵指由非营业部工作人员发起的入侵,其入侵方式主要有:(1)自带笔记本计算机自行接入营业部网络或篡改网络布线系统接入网络。(2)利用营业部的无盘站,非法加入硬盘或软驱,获得对网络的自由访问。(3)干脆利用营业部的无盘站,中断批处理,夺取对网络的自由访问实力。(4)利用系统和应用程序的漏洞获得对网络的自由访问等。从入侵手段上看,可能会(1)窃取管理员的口令(2)利用无口令用户(3)假冒网卡MAC地址(4)利用隐藏目标或隐藏权限躲避网络管理员的检查等外部入侵所能产生的危害程度可轻可重:有的无关痛痒,有的干扰网络的正常运行,严峻的会更改或删除系统/应用关键数据,甚至使整个系统瘫痪。外部入侵者一般驾驭较高级的网络平安技术,一旦他们突破了营业部的平安防线,会留下平安后门,为以后的入侵做好打算。外部人员的入侵过程一般不易一次完成,通常须要多次摸索,逐步深化,最终达到入侵的目的。另外一种方式是内部人员入侵。内部人员入侵指营业部内部工作人员发起的网络入侵,其侵入的方式有:利用工作之便,修改应用程序和数据、利用超级用户权限,非法修改系统数据和应用数据、变更系统配置和权限配置,为外部人员入侵创建条件等等。对内部人员的入侵防范应侧重于对员工教化和有效的平安规章制度。2)“网警入侵检测系统”的设计思想”网警”入侵检测系统V2.1是在“网络巡警”V1.1的基础之上开发和设计的网络平安产品。针对证券营业部目前在计算机网络平安方面存在的问题,它能够解决对机器身份的真伪识别(防止地址假冒、自带PC机上网、对现有的无盘站进行改动等),同时供应更加有效的网络登录平安检查和对关键数据的爱护(防超级用户特权利用、防隐藏用户或隐藏权限等),是一种有效的帮助用户对营业部内部的设备运用进行规范化管理、制定合理的平安防范制度的网络平安管理解决方案。形象地说,网警系统象是一名真正的网络警察,它对任何网络的连接和登录恳求进行附加的登录平安规则检查,并加以记录,备案待查。同时,它也是一名“数据警察”,它查看任何对关键数据的写操作的初始恳求,并依据数据平安规则允许或拒绝该操作(即使是超级用户)。3)“网警入侵检测系统”的平安防范(1)平安防范层次“网警入侵检测系统”是基于原有NetWareNDS书目服务的平安基础,以外挂式的形式对网络的登录和数据访问进行附加的平安处理。运用”网警入侵检测系统”时,网络平安防范分成几个层次:1)原有NetWare系统的登录管理,口令管理,文件权限管理。2)由”网警入侵检测系统”进行登录合法性的附加管理,对客户机设备的真伪进行识别。3)由”网警入侵检测系统”实施对服务器网络数据的附加权限管理。(2)多重防范手段设备的注册和管理要运用”网警入侵检测系统”,首先要对网络系统的合法设备(主要是工作站)进行注册。全部的连网客户机只有在注册后才被认可为合法的设备。经注册的设备会在NDS库中以”Computer”类的目标实体方式保存一份唯一标识其身份的验证指纹,这样,合法的工作站设备每次在连接Server时,NDS库中的验证指纹会对其身份的合法性进行“设备验证”。登录规则的制定登录规则的制定是指在设备验证的基础之上再行规划每台NetWare服务器的登录细则。管理员可以依据位置(此位置可以包含多台设备)或某具体设备的名称、登录的用户或组织、登录的时间、登录网段等多方面因素的组合来设定具体的登录检查规则。”网警入侵检测系统”在服务器将对登录进行规则匹配,并按规则实施行动(禁止或允许登录)。数据保安关键数据写规则制定由于证券营业部对系统性能的要求较高,因此只制定一些简洁的规则,否则会影响系统的整体性能。在关键数据写规则的判定中,假如有同一网卡地址多次登录服务器,则只许第一个登录的客户机连接进行写操作。在实际应用中,可以用此手段爱护营业部向上交所和深交所提交的交易数据(报盘数据)。例如:将文件卷指定为报盘数据所在的卷,将书目名分别指定为与上交所和深交所交换的.DBF文件所在的书目,将网卡地址指定为专用报盘机的MAC地址。这样,系统能保证只有专用报盘机才可以写这些数据,而其它机器则不能写报盘数据,即使是超级用户。4)“网警入侵检测系统”的运行机制(1)“网警入侵检测系统”依据以下机制运行:★全部的客户机在运用前必需预先注册到系统中。★全部的客户机依据登录规则以合法的用户在合法的时间和网段上登录。★假如要求进行设备真伪验证,每个客户机要在网络登录前运行设备验证程序,标明设备的身份。★任何违反登录规则的网络登录将被视为网络入侵,服务器将产生报警信息。依据服务器的清除模式,确定是否真的清除这个非法连接/登录。服务器每次事务(合法/非法)处理的记录以日志文件的形式保存在服务器上。★任何对关键数据写操作的初始恳求(例如创建,打开写,改名等)都应当是从合法的机器上发出的,否则该操作将被视为非法操作,并加以记录。★假如有监视台与服务器连接,服务器向监视台传送实时日志信息。监视台显示所连接服务器上发生的事务(连接/登录时间、设备维护时间、服务器管理事务,关键文件违规写事务)信息,并对网络入侵事务进行声音报警。★限制台上可以了解更多的信息。例如服务器全部在线登录工作站的状况,全部注册设备的运用历史状况。限制台还能做全部的管理工作。★一台服务器可连接多个监视台;一个监视台可监视多个服务器。由于服务器记录信息或监控信息较多,可以有选择地进行记录和监视。服务器有敏捷的选项,以满意不同用户对软件功能的定制。(2)系统对入侵事务处理当网络发生非法登录事务时,系统将产生报警信息,管理员收到报警后可以进行如下响应:★了解非法登录的设备信息和服务器连接信息。★了解和推断事务的缘由。★依据日志和在线信息调查过去的相关历史状况。★定位非法工作站(已注册者干脆定位,未注册者定位至网段)。当出现关键数据有非法写恳求时,系统将否定该恳求,产生报警信息。管理员可以进行如下响应:★了解非法恳求的操作类型,发出恳求的连接,机器名称以及登录的用户名。★快速定位非法恳求的工作站,查明具体操作缘由。5)“网警入侵检测系统”综合作用“网警入侵检测系统”最大的技术特点就是弥补了既有网络平安技术尤其是在证券网络平安方面应用的主要不足(例如防止地址假冒、超级用户特权利用、自带PC机上网、隐藏用户或隐藏权限等等);同时提高了对网络平安管理的易操作性。有了”网警入侵检测系统”这些弥补性的功能后,在应付外来网络入侵的手段方面,只要网络环境配置得当,网络平安的技术保障基本上能满意网络平安的须要。从实践上来看,平安事故一旦出现,须要对事故的缘由进行
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年医学整形美容服务协议
- 2025年员工福利和解合同
- 2025年在线教育运营合同
- 2025年公司融资投资人增资协议
- 2025年代理合作签约协议
- 二零二五年度婴幼儿奶粉产品追溯系统建设合作协议3篇
- 2025年项目建议书编制委托人工智能+大数据合同模板2篇
- 2025年度健康养生产品居间营销合同模板4篇
- 跟着2025年新番走:《动漫欣赏》课件带你领略动漫魅力2篇
- 2025年度智能牧场羊代放牧与物联网服务合同
- 反骚扰政策程序
- 运动技能学习与控制课件第十一章运动技能的练习
- 射频在疼痛治疗中的应用
- 四年级数学竖式计算100道文档
- “新零售”模式下生鲜电商的营销策略研究-以盒马鲜生为例
- 项痹病辨证施护
- 职业安全健康工作总结(2篇)
- 怀化市数字经济产业发展概况及未来投资可行性研究报告
- 07FD02 防空地下室电气设备安装
- 教师高中化学大单元教学培训心得体会
- 弹簧分离问题经典题目
评论
0/150
提交评论