高可靠性远程过程调用

1/1高可靠性远程过程调用第一部分分布式系统的网络通讯与消息机制 2第二部分高可靠传输协议与冗余机制 4第三部分重传策略、保活机制和故障处理 6第四部分负载均衡和故障转移技术 8第五部分缓存、消息队列和分布式事件总线 11第六部分服务注册与发现机制 14第七部分服务降级与熔断机制 17第八部分基于微服务架构的高可靠RPC实现 20

第一部分分布式系统的网络通讯与消息机制关键词关键要点【分布式系统中的网络通信】

1.网络协议的选择

-TCP协议：可靠、面向连接，适用于要求数据可靠传输和顺序交付的应用。

-UDP协议：不可靠、无连接，适用于对时延和吞吐量要求较高的应用，如视频流和游戏。

2.网络拓扑的优化

-总线拓扑：所有节点连接到一条共享总线，简单易用，但存在单点故障风险。

-星型拓扑：所有节点连接到一个中心节点，可靠性较高，但中心节点故障会导致整个网络瘫痪。

-环形拓扑：节点连接成一个环形，故障节点不会影响其他节点的通信，但存在环路风暴风险。

【消息机制】

分布式系统的网络通讯与消息机制

在分布式系统中，网络通讯至关重要，因为它允许分布在不同节点上的组件相互通信并交换数据。为了实现可靠、高效和可扩展的网络通讯，需要采用合适的协议和机制。

网络协议

网络协议定义了不同实体之间交换数据的规则和格式。在分布式系统中，常用的网络协议包括：

*传输控制协议(TCP)：一种可靠的面向连接的协议，保证数据传输的可靠性和顺序性。

*用户数据报协议(UDP)：一种无连接的协议，提供速度优势，但数据传输不可靠。

*远程过程调用(RPC)：一种应用程序层协议，允许远程调用过程，就像本地调用一样。

消息机制

消息机制用于在分布式系统组件之间传递数据和事件。常见的机制包括：

*同步消息传递：消息发送方等待接收方收到并处理消息后才继续执行。

*异步消息传递：消息发送方将消息发送至队列，而无需等待接收方处理。

*发布/订阅模型：发布者将消息发布到主题，而订阅者订阅该主题以接收相关消息。

*点对点(P2P)通信：组件直接相互通信，无需集中服务器或队列。

分布式系统中的网络通讯面临的挑战

在分布式系统中进行网络通讯时，需要考虑以下挑战：

*高可靠性：必须确保数据传输的可靠性，即使在网络故障或其他异常情况下。

*低延迟：通讯延迟应尽量低，以提高系统的响应能力和交互性。

*可扩展性：通讯机制应可扩展，以支持大量节点和高吞吐量。

*负载均衡：通讯机制应能够处理不均衡的负载，防止单点故障或性能瓶颈。

*安全：必须确保通讯的安全性，防止未经授权的访问、数据泄露和中间人攻击。

解决网络通讯挑战的方法

为了解决这些挑战，可以采用以下方法：

*冗余和容错：使用冗余网络连接、故障转移机制和自动故障检测来增强可靠性。

*协议优化：调整网络协议参数，例如窗口大小和重传策略，以优化延迟和吞吐量。

*分布式架构：使用分布式架构，例如微服务和云原生技术，提高可扩展性和容错能力。

*负载均衡器：使用负载均衡器将流量分配到可用节点，以平衡负载和提供故障转移。

*安全协议：使用加密、身份验证和授权机制，以及网络防火墙和入侵检测系统，来保障通讯的安全。

通过仔细考虑网络通讯和消息机制，并采用适当的措施来解决挑战，可以设计和构建可靠、高效和可扩展的分布式系统。第二部分高可靠传输协议与冗余机制高可靠传输协议与冗余机制

高可靠传输协议（HRTP）

HRTP是一种专为远程过程调用（RPC）的高可靠性传输协议而设计。它提供以下特性：

*保证传输：采用TCP或SCTP作为底层传输协议，确保消息的可靠传输。

*流控制：防止发送方淹没接收方。

*重传机制：自动重传丢失或损坏的消息。

*拥塞控制：通过滑动窗口机制调整发送速率，避免网络拥塞。

冗余机制

为了进一步提高可靠性，HRTP采用了以下冗余机制：

*消息冗余：同一消息通过多条路径发送，以增加到达目的地的概率。

*回执冗余：接收方发送多条回执，以增加发送方收到回执的概率。

*定时器冗余：发送方和接收方使用多重定时器，以防止单点故障。

*多重服务器：部署多个服务器，以在其中一台服务器出现故障时提供冗余。

*多宿主：将多个服务实例分布在不同的物理主机上，以避免单点故障。

冗余机制的实施

这些冗余机制通常通过以下方式实施：

*Multicast：用于消息冗余，将消息广播到多个目的地。

*UDP：用于回执冗余，发送小而高效的无连接回执。

*心跳机制：用于定时器冗余，定期发送消息以检测故障。

*负载均衡器：用于多重服务器，根据预定义的算法将请求分发到多个服务器。

*虚拟机（VM）：用于多宿主，将不同的服务实例部署在不同的VM上。

效果

通过结合HRTP和冗余机制，高可靠性RPC能够显著提高消息传输和处理的可靠性。这种提高的可靠性对于需要高可用性和传输数据的完整性的关键任务应用程序至关重要。

示例

以下是高可靠性RPC在实际应用中的一些示例：

*分布式数据库：HRTP可用于在多个数据库服务器之间传递事务，确保数据一致性。

*云计算：HRTP可用于在云服务器之间可靠地传递消息，即使出现故障或停机情况。

*金融交易：HRTP可用于在金融机构之间安全可靠地进行交易。

总之，高可靠传输协议和冗余机制对于设计和实现可靠的远程过程调用至关重要。它们提供了保证传输、流控制、消息冗余、回执冗余、定时器冗余、多重服务器和多宿主等特性，从而显著提高了消息可靠性和应用程序可用性。第三部分重传策略、保活机制和故障处理重传策略

重传策略是RPC系统在数据包丢失或网络故障时恢复消息可靠性的关键机制。在高可靠性RPC中，通常采用以下重传策略：

*指数退避重传：初始重传间隔短，随着重传次数的增加而指数级增长。这可以减少在网络拥塞期间的重复重传，同时确保在网络恢复后尽快重传丢失的消息。

*超时重传：如果重传间隔超过预定义的超时时间，则放弃重传，并报告发送失败。超时时间应根据网络状况和应用程序容忍延迟的程度进行调整。

*幂等性：重传的消息必须是幂等的，这意味着多次接收同一消息不会产生不同的效果。这可以防止由于重复重传而造成数据不一致。

保活机制

保活机制用于检测连接是否处于活动状态，并防止因长时间闲置而关闭。常见保活机制包括：

*心跳消息：远程端会定期向服务端发送心跳消息，以指示其仍处于连接状态。服务端收到心跳消息后，将对其连接进行保活。

*轮询请求：服务端会定期向远程端发送轮询请求，以检查其是否仍然可达。远程端接收到轮询请求后，将发送响应以确认其连接仍处于活动状态。

*连接超时：如果长时间未收到远程端的任何消息，则服务端将关闭连接并认为其不可达。连接超时时间应根据网络状况和应用程序的容错性进行调整。

故障处理

故障处理是处理和恢复RPC故障的重要方面。高可靠性RPC系统通常包含以下故障处理机制：

*重试：客户端在遇到故障时会自动重试RPC调用。重试次数和重试间隔取决于重传策略。

*熔断：如果客户端在一定时间内连续重试多次都失败，则触发熔断机制，暂停RPC调用一段时间。熔断时间应该足够长，以便失败的服务器或网络问题得到解决。

*降级：在熔断期间，客户端可能会降级到使用备用服务器或以较低质量执行RPC调用。降级机制可以防止应用程序完全不可用。

*错误处理：客户端必须正确处理RPC故障，并向应用程序提供有意义的错误消息。应用程序应针对不同的错误类型采取适当的措施，例如重试、降级或报告错误。

其他考虑因素

除了重传策略、保活机制和故障处理外，高可靠性RPC系统还应考虑以下因素：

*负载均衡：使用负载均衡器可以将请求分布到多个服务器，提高可用性和容错性。

*故障转移：在出现故障时，RPC系统应该能够将请求透明地转移到备用服务器。

*监控和警报：系统应提供监控和警报功能，以检测和响应故障。

*日志和审计：系统应记录所有RPC调用和故障事件，以进行故障排除和审计。第四部分负载均衡和故障转移技术关键词关键要点负载均衡技术

1.通过分布服务请求，减少单个服务实例的负载，提高整体性能和可扩展性。

2.常用算法包括轮询、最小连接数、加权轮询和最少响应时间算法，选择最合适的算法取决于具体场景的需求。

3.实现方式包括硬件负载均衡器、软件负载均衡器和云服务提供的负载均衡服务。

故障转移技术

负载均衡和故障转移技术

负载均衡

负载均衡是一种在不同的服务器或应用程序之间分配网络流量的技术，以最大限度地提高性能、响应时间和可用性。在高可靠性远程过程调用(RPC)系统中，负载均衡对于有效管理服务请求至关重要。

负载均衡算法

常用的负载均衡算法包括：

*轮询：将请求按顺序分配给服务器。

*加权轮询：根据服务器的容量或性能为服务器分配不同的权重。

*随机：随机选择一台服务器处理请求。

*最小连接：将请求分配到当前连接最少的服务器。

*DNS轮询：通过修改DNS记录来分配请求。

故障转移

故障转移是在发生服务器或应用程序故障时切换到备用服务器或应用程序的技术。在高可靠性RPC系统中，故障转移对于确保服务的高可用性至关重要。

故障转移机制

常用的故障转移机制包括：

*主动-主动：多台服务器同时运行，积极主动地处理请求。如果一台服务器发生故障，其他服务器会立即接管。

*主动-被动：一台服务器作为主服务器处理请求，而其他服务器作为备份服务器处于待机状态。如果主服务器发生故障，备用服务器将接管。

*心跳监视：通过定期发送心跳信号来检测服务器是否正常运行。如果检测到服务器故障，将触发故障转移。

*DNS故障转移：将故障的服务器从DNS记录中删除，只将请求路由到活动的服务器。

负载均衡和故障转移的结合

负载均衡和故障转移技术可以结合使用，以提供高可用性和可扩展的RPC系统。负载均衡可以确保平均分配请求，而故障转移可以在发生故障时提供无缝的服务切换。

高可靠性RPC系统中的最佳实践

在高可靠性RPC系统中，实现负载均衡和故障转移需要遵循最佳实践，包括：

*选择合适的负载均衡算法和故障转移机制。

*定期监视服务器性能和故障情况。

*定期进行故障演练以验证故障转移机制的有效性。

*采用冗余设计，尽可能消除单点故障。

*使用自动化工具来管理负载均衡和故障转移配置。

具体实现方法

负载均衡

*Nginx：用于Web服务器，提供负载均衡和反向代理服务。

*HAProxy：用于TCP和HTTP应用程序，提供高级负载均衡和故障转移功能。

*AWSElasticLoadBalancer(ELB)：用于AWS云环境，提供自动扩展和故障转移。

故障转移

*Keepalived：用于Linux系统，提供故障转移守护程序和虚拟IP管理。

*Corosync：用于分布式系统，提供群集管理和故障转移功能。

*Pacemaker：用于RedHatEnterpriseLinux(RHEL)系统，提供高级群集管理和故障转移解决方案。

结论

负载均衡和故障转移技术对于实现高可靠性RPC系统至关重要。通过结合这些技术，可以最大限度地提高性能、响应时间和可用性，并确保在发生故障时无缝服务切换。遵循最佳实践并使用成熟的解决方案，可以有效地实施这些技术，提高RPC系统的可靠性和可用性。第五部分缓存、消息队列和分布式事件总线关键词关键要点缓存

1.缓存用于存储数据副本，以减少对原始数据源的访问，从而提高性能。

2.缓存可以通过不同的机制（如LRU、LFU）进行优化，以确保最佳数据存储和检索策略。

3.分布式缓存系统（如Redis、Memcached）可以跨多个服务器分布数据，提供高可用性和可扩展性。

消息队列

1.消息队列充当生产者和消费者之间的中介，允许异步通信。

2.不同的消息队列技术（如Kafka、RabbitMQ）提供各种功能，如持久性、有序传递和负载均衡。

3.消息队列可以通过解耦系统并管理消息流，提高应用程序的容错性和弹性。

分布式事件总线

1.分布式事件总线是一种事件驱动的通信机制，其中发布者发布事件，订阅者订阅这些事件。

2.事件总线通过为应用程序组件提供一个中央事件交换平台，简化通信并提高松耦合。

3.事件总线可以利用云服务（如AWSEventBridge、AzureEventGrid）来构建全面且可扩展的事件驱动架构。缓存

在高可靠性远程过程调用(RPC)系统中，缓存被用于提高性能和可用性。缓存存储了最近执行的RPC调用的结果，当后续请求需要相同数据时，可以从缓存中快速检索，而无需重新执行RPC。

*优点：

*提高性能：减少了重复RPC调用的开销，从而提高了响应时间。

*提高可用性：即使RPC服务不可用，仍然可以通过缓存提供数据。

*缺点：

*数据一致性：缓存中的数据可能不是最新的，需要定期刷新。

*占用资源：缓存需要占用一定的内存空间和处理资源。

消息队列

消息队列是一个中间件组件，用于在不同的服务或应用程序之间传输消息。在高可靠性RPC系统中，消息队列可用于异步处理RPC请求，并提高系统容错率。

*操作方式：

1.客户端向消息队列发送RPC请求消息。

2.消息队列将请求消息传递到RPC服务。

3.RPC服务处理请求并向消息队列发送响应消息。

4.消息队列将响应消息传递回客户端。

*优点：

*异步处理：客户端无需等待RPC服务的响应，可以继续执行其他任务。

*容错性：如果RPC服务不可用，消息队列会将请求消息缓存起来，并在服务可用时重新发送。

*可扩展性：消息队列可以水平扩展，以处理越来越多的RPC请求。

*缺点：

*复杂性：消息队列的集成和维护可能会增加系统的复杂性。

*延迟：消息传递需要时间，可能会增加RPC调用的总延迟。

分布式事件总线

分布式事件总线是一种事件驱动的中间件，用于在不同的服务或应用程序之间发布和订阅事件。在高可靠性RPC系统中，分布式事件总线可用于通知客户端RPC服务的状态变化。

*操作方式：

1.RPC服务向分布式事件总线发布事件，例如服务启动、停止或故障。

2.客户端订阅了这些事件，以便及时了解RPC服务的状态。

*优点：

*实时通知：客户端可以实时收到RPC服务状态的变化通知。

*松耦合：客户端与RPC服务之间是松耦合的，无需直接通信。

*可扩展性：分布式事件总线可以水平扩展，以处理越来越多的事件。

*缺点：

*复杂性：分布式事件总线集成和维护可能会增加系统的复杂性。

*延迟：事件传递需要时间，可能会增加RPC调用的总延迟。第六部分服务注册与发现机制关键词关键要点【服务注册与发现机制】：

1.服务注册：服务提供者将自己的信息（如地址、端口、提供的方法等）注册到服务注册中心，以便其他服务消费者能够发现和使用。

2.服务发现：服务消费者通过查询服务注册中心，获取所需服务的信息，并建立连接，调用远程服务。

3.动态更新：服务注册中心支持动态更新，当服务提供者或消费者发生变化时，会自动更新服务信息，确保高可用性。

【服务注册中心类型】：

服务注册与发现机制

在分布式系统中，服务注册与发现机制至关重要。它使服务能够动态加入和离开系统，同时确保客户端能够可靠地找到所需服务。在高可靠性远程过程调用（RPC）系统中，以下几种服务注册与发现机制广为使用：

中央注册表

中央注册表是一个集中式服务器，其中包含所有可用服务的元数据，包括服务名称、地址、端口和健康状况。客户端向注册表查询服务信息，而服务则定期向注册表注册和更新其状态。

优点：

*简单易用：客户端和服务端只需要与一个中央组件进行交互。

*可靠性：注册表充当单一的事实来源，确保客户端始终获得最新的服务信息。

缺点：

*单点故障：如果注册表出现故障，整个系统将无法使用。

*可扩展性差：随着服务数量的增加，中央注册表可能会成为性能瓶颈。

*延迟：向集中式注册表查询服务信息可能会引入延迟。

分布式注册表

分布式注册表将服务信息存储在多个服务器上，以提高可扩展性和可靠性。客户端向任何可用的服务器查询服务信息，而服务则向所有服务器注册和更新其状态。

优点：

*可扩展性：分布式注册表可以通过添加更多服务器来轻松地扩展。

*容错性：即使部分服务器出现故障，系统仍然可以正常运行。

*低延迟：客户端可以在本地服务器上查找服务信息，减少延迟。

缺点：

*复杂性：分布式注册表比集中式注册表更复杂，需要实现分布式一致性机制。

*数据不一致：在故障或网络分区的情况下，不同的注册表服务器上的服务信息可能不一致。

点对点服务发现

点对点服务发现使用分布式哈希表（DHT）或类似技术来存储和检索服务信息。每个节点存储有关一小部分服务的元数据，并且客户端通过向多个节点查询来查找所需的服务。

优点：

*去中心化：不存在单点故障，系统高度可靠。

*可扩展性：DHT可以随着节点数量的增加而自动扩展。

*低延迟：客户端可以从附近的节点获取服务信息，减少延迟。

缺点：

*复杂性：点对点服务发现需要实现分布式一致性机制，这会增加复杂性。

*不一致：与分布式注册表类似，在故障或网络分区的情况下，服务信息可能会不一致。

在选择服务注册与发现机制时，需要考虑以下因素：

*系统规模：中央注册表适用于小型系统，而分布式注册表或点对点服务发现适用于大型系统。

*可靠性要求：分布式注册表或点对点服务发现提供更高的可靠性，适合于高可用性系统。

*延迟要求：点对点服务发现提供最低的延迟，适合于对响应时间敏感的系统。

*复杂性：点对点服务发现最复杂，而中央注册表最简单。

其他注意事项：

除了上述机制外，还可以使用以下技术来增强服务注册与发现：

*健康检查：定期检查服务健康状况，并从注册表中删除不健康的服务。

*负载均衡：根据服务负载将客户端请求路由到不同的服务实例。

*服务发现API：提供一个易于使用的API，允许客户端轻松地发现和使用服务。

这些技术相结合，可以实现高可靠性、可扩展性和高性能的服务注册与发现机制，这对于高可靠性RPC系统至关重要。第七部分服务降级与熔断机制关键词关键要点服务降级

-识别非关键服务和功能：确定哪些服务在系统出现故障时仍能保持可用性，然后对这些服务进行降级，使其在资源受限时以较低的质量运行。

-实施分级响应：根据系统故障的严重程度，建立不同级别的降级策略，从性能降低到完全不可用，以最大程度地减少对关键业务的影响。

-自动触发和恢复：利用监控机制，在检测到系统故障时自动触发降级，并在条件恢复后自动恢复正常服务。

熔断机制

-快速故障隔离：当服务出现连续故障时，熔断机制会自动将其与系统隔离，防止故障蔓延并影响其他服务。

-基于时间的恢复：隔离后，熔断机制会等待一段时间，然后尝试重新连接服务。如果重新连接成功，熔断将被移除；否则，熔断将保持，直到超过预定义的时间限制。

-可配置的阈值和延迟：熔断器可以配置，以指定触发熔断所需的连续故障次数以及在重试之前等待的延迟时间，从而适应不同服务的特性。服务降级与熔断机制

1.服务降级

服务降级是一种主动措施，当系统检测到服务即将崩溃或响应时间过长时，主动降低服务的可用性或功能，以保证系统整体的稳定性。

*目的：降低服务负载，释放系统资源，防止系统因超载而崩溃。

*策略：

*限制并发请求：当并发请求过多时，拒绝新的请求。

*降级服务功能：关闭非必要的服务功能，释放系统资源。

*返回默认值：在超出处理能力时，返回预定义的默认值或错误消息。

2.熔断机制

熔断机制是一种自动化的服务降级策略，当连续调用服务出现失败时，自动将该服务熔断，停止访问，直到服务恢复正常。

*目的：防止级联故障，避免失败服务不断请求，浪费系统资源。

*原理：

*健康检查：定期对服务进行健康检查，监测其响应时间和错误率。

*熔断条件：当连续调用服务失败达到一定阈值时，触发熔断。

*熔断状态：在熔断状态下，停止对服务的所有请求。

*恢复机制：经过一定时间（冷却时间）后，再次尝试访问服务，如果调用成功则恢复服务，否则继续熔断。

3.服务降级与熔断机制的协同工作

服务降级和熔断机制通常协同工作，以提高系统的鲁棒性和可用性。

*服务降级作为熔断的预警：服务降级可以作为熔断的预警，当服务出现性能下降时，可以主动触发降级，以缓解服务负载。

*熔断防止服务降级失效：当服务降级失效，无法有效降低负载时，熔断机制可以及时将服务熔断，防止系统崩溃。

*熔断恢复后触发服务降级：当熔断恢复后，服务可能仍处于不稳定状态，此时可以触发服务降级，以逐步恢复服务能力。

4.服务降级与熔断机制的优化

*阈值设置：合理的阈值设置至关重要，既要防止误触发，又要及时响应服务异常。

*冷却时间：冷却时间应根据服务的恢复能力和系统容错要求进行设置。

*健康检查策略：健康检查策略应考虑服务响应时间、错误率等多方面因素，并采用适当的算法进行判断。

*监控机制：完善的监控机制可以及时检测服务降级和熔断事件，并及时通知运维人员进行处理。

5.服务降级与熔断机制的应用

服务降级与熔断机制广泛应用于高可靠的分布式系统中，如电商系统、支付系统等。通过合理的设计和配置，可以有效提高系统的稳定性和可用性，避免级联故障和服务瘫痪。第八部分基于微服务架构的高可靠RPC实现关键词关键要点基于Mesh的服务间通信

1.利用服务网格实现服务之间的可靠通信，隔离底层复杂性，降低开发和运维成本。

2.使用EnvoyProxy等成熟的代理技术，提供丰富的流量管理、熔断、重试等功能。

3.实现蓝绿部署、滚动更新等高级特性，提高服务的可维护性和可扩展性。

故障容错和熔断机制

1.采用熔断机制、限流算法等技术，在故障发生时迅速隔离受影响的服务，防止故障扩散。

2.建立完善的监控系统，及时检测和响应服务故障，缩短故障恢复时间。

3.利用分布式协调框架，如ZooKeeper或Consul，实现服务注册和故障转移，增强系统稳定性。

异步消息与流式处理

1.使用RabbitMQ或Kafka等消息队列进行异步通信，解耦不同服务之间的依赖关系，提高系统吞吐量。

2.利用流式处理框架，如Flink或SparkStreaming，实时处理大规模数据流，实现高效的数据分析和处理。

3.考虑事件源模式，实现数据驱动的架构，提高系统的响应速度和灵活性。

基于Kubernetes的服务编排

1.利用Kubernetes等容器编排平台，自动部署、管理和扩展微服务，降低运维复杂度。

2.使用自定义资源（CRD）和操作符，扩展Kubernetes的功能，支持微服务特定的需求。

3.集成服务网格和故障容错机制，在Kubernetes环境中实现高可靠性的RPC通信。

微服务性能优化

1.采用轻量级RPC框架，如gRPC或Thrift，减少网络开销，提高通信性能。

2.利用分布式追踪系统，如Jaeger或Zipkin，分析和优化微服务的调用链路，发现性能瓶颈。

3.使用缓存机制，如Redis或Memcached，降低对数据库的访问频率，提高系统响应速度。

安全与访问控制

1.采用TransportLayerSecurity（TLS）加密通信，确保数据传输的机密性和完整性。

2.实施身份认证和授权机制，控制不同用户和服务对RPC服务的访问权限。

3.考虑采用零信任安全模型，加强对RPC服务的访问控制和防护。基于微服务架构的高可靠RPC实现

简介

远程过程调用(RPC)是一种允许应用程序通过网络调用远程计算机上方法的技术。在微服务架构中，RPC对于实现分布式系统的功能和可靠性至关重要。为了确保高可靠性，RPC实现必须应对网络中断、服务器故障和高负载等常见挑战。

可靠RPC的挑战

在设计可靠的RPC实现时，必须考虑以下挑战：

*网络中断：由于网络故障，请求可能会丢失或延迟。

*服务器故障：服务器可能会崩溃或暂时不可用。

*高负载：RPC系统在高负载下可能难以维持可靠性。

高可靠性RPC实现

为了克服上述挑战，可以采用以下策略来实现高可靠性的RPC：

1.重试和超时：

*在遇到网络中断时，RPC实现应自动重试请求。

*应设置超时限制以防止无限重试。

2.负载均衡：

*通过将请求分配给多个服务器，负载均衡可以提高系统可扩展性和可用性。

*当一个服务器出现故障时，请求可以