容器化分布式缓存的弹性管理

1/1容器化分布式缓存的弹性管理第一部分容器化缓存的弹性属性 2第二部分分布式环境中的弹性管理策略 5第三部分缓存池的动态伸缩与负载均衡 8第四部分缓存数据的高可用性保障 11第五部分故障恢复与灾难恢复机制 13第六部分容器编排平台的弹性管理支持 15第七部分缓存性能监测与动态调整 17第八部分容器化缓存弹性管理最佳实践 20

第一部分容器化缓存的弹性属性关键词关键要点弹性扩缩容

1.根据应用负载动态调整缓存节点数量，实现资源优化和成本控制。

2.自动化的扩缩容机制，无需人工干预，减少运维复杂度。

3.弹性伸缩策略可根据请求量、缓存命中率等指标定制，满足不同应用场景需求。

高可用性

1.集群模式部署，故障隔离，确保缓存服务不间断。

2.自动故障转移机制，节点故障时自动将数据迁移至健康节点，保证数据完整性。

3.多副本数据复制，冗余存储，增强数据耐用性。

性能优化

1.利用容器轻量化和隔离特性，优化资源分配，提升缓存性能。

2.容器内资源限制和监控，确保缓存服务稳定运行。

3.缓存策略优化，如LRU、LFU等，提高命中率，降低访问延迟。

网络隔离

1.容器化部署提供网络隔离，保障缓存服务安全。

2.访问控制机制，限制外部对缓存服务的访问。

3.容器内网络配置，优化网络性能，减少延迟。

云原生集成

1.基于Kubernetes等云原生平台管理，实现缓存服务的自动化部署和管理。

2.与其他云原生组件集成，如服务网格、容器编排系统，增强缓存服务的可扩展性和灵活性。

3.容器编排提供的容错和弹性机制，增强缓存服务的稳定性。

成本优化

1.按需部署和资源调配，有效控制缓存服务成本。

2.弹性扩缩容机制，避免资源浪费，优化云资源利用率。

3.容器化支持横向扩展，避免昂贵的垂直扩展。容器化缓存的弹性属性

容器化的分布式缓存带来了许多优势，其中最重要的优势之一是其弹性。弹性是指系统在面临故障或负载波动时保持可用和响应的能力。容器化缓存通过各种机制实现了弹性，包括：

1.自动扩展：

容器化缓存能够根据负载和资源利用情况自动扩展或缩减。例如，Kubernetes可以使用水平Pod自动扩缩功能，根据CPU利用率或其他指标自动调整容器实例的数量。这确保了缓存能够在高峰期处理额外的负载，并在需求较低时释放资源。

2.高可用性：

容器化缓存通常部署在多个节点上，以实现高可用性。如果一个节点发生故障，其他节点将继续提供服务，从而最小化停机时间。容器编排工具（如Kubernetes）可以管理节点的故障转移和重新调度，确保缓存服务的持续可用性。

3.滚动更新：

容器化缓存支持滚动更新，允许管理员一次更新一小部分容器，而不会导致服务中断。这使管理员能够在不影响整体可用性的情况下，安全地部署软件更新和配置更改。

4.自愈：

容器化缓存可以使用自我修复机制来检测和修复故障。例如，Kubernetes的重启策略可以自动重新启动失败的容器，而故障检测探针可以监控容器的健康状况并采取纠正措施。这有助于确保缓存服务的高可用性和可靠性。

5.故障隔离：

容器化缓存中的每个容器都是独立运行的，拥有自己的资源限制和隔离环境。这种隔离有助于防止故障从一个容器传播到另一个容器，提高了系统的整体弹性。

6.弹性数据存储：

容器化缓存通常与弹性数据存储（如RedisSentinel或MemcachedSentinel）配合使用。这些数据存储提供了冗余和故障转移功能，确保缓存数据即使在发生节点故障或数据损坏时也能保持完整性和可用性。

7.跨区域复制：

容器化缓存可以跨多个可用区域或数据中心复制数据。这提高了缓存服务的容错能力，因为如果一个区域发生故障，其他区域仍可以提供服务。

8.灾难恢复：

容器化缓存可以作为灾难恢复计划的一部分。如果发生区域性灾难或大规模故障，容器化缓存可以快速部署到另一个区域或数据中心，以便迅速恢复服务。

结论：

容器化分布式缓存提供了多种弹性属性，使缓存服务能够在各种条件下保持可用、响应和可靠。通过利用自动扩展、高可用性、滚动更新、自愈、故障隔离、弹性数据存储、跨区域复制和灾难恢复等机制，容器化缓存为关键业务应用程序和服务提供了坚实的基础。第二部分分布式环境中的弹性管理策略关键词关键要点自动伸缩

-通过监控缓存负载和性能，自动调整缓存实例的数量，以满足应用程序需求。

-利用弹性伸缩云服务，根据预定义的触发条件（如CPU利用率或请求吞吐量）进行伸缩。

-确保缓存始终具有足够的容量和性能，避免资源不足或浪费。

容错和灾难恢复

-在分布式环境中，缓存数据需要冗余存储，以防止单点故障。

-实现多副本、跨区域或云服务融合等容错机制，确保缓存数据的高可用性。

-制定灾难恢复计划，包括备份、恢复和故障转移程序，以应对大规模中断。

健康检查和监控

-定期执行健康检查，监视缓存实例的健康状况和性能指标。

-使用监控工具和告警系统，识别潜在问题并及时通知运维人员。

-利用日志分析和度量收集来深入了解缓存行为并优化配置。

缓存清理和数据管理

-实施缓存清理策略，主动删除过期的或不常用的数据，优化缓存利用率和性能。

-考虑淘汰算法、TTL设置和LRU策略，以平衡数据保留和性能要求。

-针对大数据存储场景，探索分布式文件系统或对象存储等替代方案。

分布式事务

-在分布式环境中，确保跨多个缓存实例的事务一致性和原子性至关重要。

-利用分布式事务协调器或其他机制来管理数据一致性，防止数据不一致。

-考虑使用两阶段提交协议、乐观并发控制或其他事务模型。

安全性和合规性

-保护缓存数据免遭未经授权的访问和修改至关重要。

-实施加密、身份验证和访问控制机制，确保缓存数据的机密性和完整性。

-遵守行业标准和法规，例如GDPR和PCIDSS，以满足数据保护和隐私要求。分布式环境中的弹性管理策略

简介

在分布式环境中管理容器化缓存时，弹性管理至关重要，因为它可以确保缓存系统在面对变化的工作负载和故障时保持可用性和响应能力。本文介绍几种弹性管理策略，以帮助管理员优化分布式缓存的性能和稳定性。

弹性伸缩

*水平伸缩（ScalingOut）：当缓存负载增加时，向集群中添加更多缓存节点，以增加缓存容量和处理能力。

*垂直伸缩（ScalingUp）：为现有缓存节点分配更多资源（例如，CPU、内存），以提高单个节点的处理能力。

故障转移和容错

*主备复制：创建主缓存节点和多个备用节点。如果主节点发生故障，备用节点将接管服务。

*分片：将缓存数据分片并在多个节点上存储。如果一个节点发生故障，其他节点将继续提供服务，减少数据丢失的风险。

*容错机制：实施故障检测和恢复机制，以自动检测和解决故障节点，确保服务不中断。

负载均衡

*DNS负载均衡：使用DNS将请求定向到集群中的多个缓存节点，以分散负载和提高可用性。

*硬件负载均衡器：使用专用硬件设备将流量分配到缓存节点，提供高吞吐量和低延迟。

*软件负载均衡器：部署软件负载均衡器，例如Envoy或Nginx，以动态管理请求并优化缓存节点之间的流量。

监控和警报

*性能监控：持续监控缓存系统的性能指标，例如命中率、响应时间和内存使用情况。

*警报机制：建立警报阈值并设置警报，以便在性能问题或故障发生时及时通知管理员。

*日志记录和跟踪：启用日志记录和跟踪，以提供详细的系统信息和故障诊断。

容量规划和预配置

*容量规划：根据预期的负载和增长率，规划缓存容量和节点数量。

*预配置：预先配置缓存节点，以满足特定负载要求，并减少在负载突然增加时进行伸缩所需的开销。

灾难恢复

*异地复制：将缓存数据复制到不同地理位置的另一个集群，以防止单个数据中心的故障。

*快照和备份：定期创建缓存数据的快照和备份，以在灾难事件发生时恢复数据。

*故障演练：定期进行故障演练，以测试恢复计划并识别任何改进领域。

其他考虑因素

除了上述策略外，以下因素还对分布式缓存的弹性管理至关重要：

*自动化：自动化伸缩、故障恢复和监控任务，以减少人为错误和提高响应时间。

*可观察性：提供全面的可观察性工具，以便管理员轻松诊断和解决问题。

*团队合作：建立一支跨职能团队，负责缓存系统的弹性管理。

结论

通过实施这些弹性管理策略，管理员可以确保分布式缓存系统在面对不断变化的工作负载和故障时保持可用性、响应能力和可扩展性。通过主动监控、故障转移、负载均衡和容量规划，组织可以最大限度地减少停机时间、提高性能并增强缓存系统的整体可靠性。第三部分缓存池的动态伸缩与负载均衡关键词关键要点缓存池的动态伸缩

1.需求感知响应：基于缓存访问模式和负载数据，动态调整缓存池大小，以满足实际需求，避免资源浪费或性能瓶颈。

2.算法优化：采用先进算法，如LRU（最近最少使用）或LFU（最近最常使用），根据缓存使用频率和命中率确定伸缩方向。

3.弹性伸缩策略：灵活配置伸缩策略，设定触发阈值和扩展/缩减步长，保证缓存池在扩容和缩减时的平稳过渡。

负载均衡

1.跨节点数据分布：将缓存数据分布在多个节点上，通过一致性哈希或分区等策略，实现负载均衡，提高系统吞吐量。

2.多级缓存层级：采用多级缓存层级，例如内存缓存和持久化缓存，根据数据访问频率和访问模式进行合理划分，优化数据存取效率。

3.容错性和弹性：节点故障或负载激增时，系统自动迁移数据并重新分配负载，保证服务可用性和性能稳定性。缓存池的动态伸缩与负载均衡

引言

容器化分布式缓存是实现高性能、高可用和可扩展缓存解决方案的关键技术。为了应对不断变化的工作负载和服务需求，动态伸缩和负载均衡对于优化缓存性能至关重要。

动态伸缩

动态伸缩是指根据实际流量或负载，自动调整缓存池中容器的数量。它可以通过以下方式实现：

*横向伸缩：增加或减少容器的数量以满足负载需求。

*纵向伸缩：增加或减少每个容器的资源（例如，CPU、内存），以处理更高的负载。

伸缩策略

动态伸缩策略决定了何时以及如何扩展或缩减缓存池。常见的策略包括：

*基于指标的伸缩：监控缓存指标（例如，命中率、响应时间）并根据预定义的阈值触发伸缩操作。

*预测性伸缩：使用机器学习或时间序列分析模型预测未来负载，并提前进行伸缩。

*事件驱动的伸缩：当发生特定事件（例如，峰值流量）时触发伸缩操作。

负载均衡

负载均衡是将请求均匀分布到缓存池中所有可用容器的技术。它确保了所有容器得到充分利用，并防止任何一个容器过载。

负载均衡算法

常用的负载均衡算法包括：

*轮询：按顺序将请求分配给容器。

*最少连接：将请求分配给连接数最少的容器。

*加权轮询：根据每个容器的权重（例如，资源容量）分配请求。

*一致哈希：将请求分配给根据请求密钥计算出的容器。

负载均衡策略

负载均衡策略定义了何时以及如何重新平衡负载。常见的策略包括：

*主动负载均衡：定期重新平衡负载，无论是否需要。

*被动负载均衡：仅在检测到不平衡时重新平衡负载。

*会话亲和性负载均衡：将来自同一用户的请求分配给同一容器，以保持会话状态。

伸缩与负载均衡的集成

伸缩与负载均衡相互关联，共同确保缓存池的高效运行。伸缩机制根据负载触发伸缩操作，而负载均衡机制将请求分配给扩展后的容器池。

最佳实践

*根据工作负载特征选择适当的伸缩和负载均衡策略。

*使用自动化工具监视缓存指标并触发伸缩操作。

*定期测试伸缩和负载均衡机制以确保可用性和性能。

*考虑使用多级缓存架构来进一步优化性能和可扩展性。

结论

动态伸缩和负载均衡是容器化分布式缓存弹性管理的关键方面。通过实施有效的策略，可以优化缓存性能，应对不断变化的负载需求，并确保高可用性和可扩展性。第四部分缓存数据的高可用性保障关键词关键要点【数据副本机制】

1.通过复制缓存数据到多个副本，确保数据的冗余，即使个别副本故障也不会影响缓存服务。

2.副本分布在不同节点或机架上，提高数据可用性，减少单点故障风险。

3.副本保持同步，保障数据一致性，并支持数据一致性读写。

【数据分片管理】

缓存数据的高可用性保障

分布式缓存系统作为现代应用程序架构中的关键组件，对应用程序的性能和可靠性至关重要。确保缓存数据始终可用对于维持应用程序平稳运行和用户满意度至关重要。

冗余机制

冗余是实现缓存数据高可用的首要机制。通过在多个节点或不同位置复制缓存数据，即使部分节点发生故障，也可以确保数据可用性。常见的冗余机制包括：

*主从复制：主节点持有原始缓存数据，并在从节点上复制数据。主节点发生故障时，从节点可以接管，继续提供服务。

*副本集：多个节点以相同的数据集配置，任何节点都可以处理读写请求，提高了容错能力。

故障检测和切换

为了确保故障及时检测并采取相应的措施，分布式缓存系统需要实现有效的故障检测和切换机制：

*心跳机制：节点定期发送心跳消息，表明其状态正常。如果节点停止发送心跳消息，则将被标记为故障。

*健康检查：定期检查节点的可用性和响应时间，如果节点不满足预定义的阈值，将被标记为不健康。

*自动切换：当节点被检测到故障或不健康时，系统将自动切换到备用节点，以确保服务不中断。

数据一致性

在冗余机制下，保证缓存数据一致性至关重要。分布式缓存系统通过以下策略实现数据一致性：

*最终一致性：数据在一段时间后最终将在所有节点同步，但可能存在短暂的不一致性窗口。

*强一致性：写入操作在所有节点同步完成之前不会完成，确保所有读取操作都能看到最新的数据。

灾难恢复

为了应对大规模故障或灾难，分布式缓存系统需要制定有效的灾难恢复计划：

*异地复制：将缓存数据复制到不同地理位置，以避免单点故障。

*数据备份：定期备份缓存数据，以便在发生数据丢失时快速恢复。

*灾难恢复演练：定期进行灾难恢复演练，以验证灾难恢复计划的有效性和提高团队应对能力。

其他考虑因素

除了上述机制外，实现缓存数据高可用性还应考虑以下因素：

*监控和告警：密切监控缓存系统的健康状况，并设置告警阈值，以便在出现潜在问题时及时通知。

*容量规划：确保缓存系统有足够的容量处理峰值负载，避免因缓存抖动或缓存过期而导致响应延迟。

*安全措施：实施适当的安全措施，防止未授权访问和数据泄露，确保缓存数据安全性。第五部分故障恢复与灾难恢复机制关键词关键要点【故障恢复机制】

1.自动化故障检测和修复：利用监控和自动化工具，实时检测故障，并触发预定义的修复措施，如故障切换或节点重启。

2.故障隔离和容错：将分布式缓存部署在多个节点上，并通过故障隔离机制防止单个节点故障影响整个集群。使用容错算法，例如投票或复制，确保数据的一致性和可用性。

3.自我修复：通过自动检测和修复机制，允许分布式缓存集群在发生故障时自动恢复，无需人工干预。

【灾难恢复机制】

故障恢复与灾难恢复机制

容器化分布式缓存的弹性管理离不开故障恢复和灾难恢复机制。这些机制旨在确保缓存服务在发生故障或灾难时保持可用性和数据完整性。

故障恢复

故障恢复机制处理单节点或组件故障。常见的故障恢复技术包括：

*自动重启：容器编排平台（如Kubernetes）可以自动重启故障容器，确保服务可用。

*自动故障转移：当主节点故障时，缓存系统可以将请求自动转移到备用节点。

*数据复制：通过将数据复制到多个节点，当一个节点故障时，其他节点仍可提供服务。

*心跳检查：定期检查节点健康状态，并在检测到故障时触发恢复操作。

灾难恢复

灾难恢复机制处理更大范围的灾难，例如数据中心故障或自然灾害。常见的灾难恢复技术包括：

*地理冗余：将缓存集群部署在不同的数据中心或地区，以确保在发生灾难时服务可用。

*快照备份：定期创建缓存数据的快照，以便在发生灾难时恢复数据。

*热备份：创建一个备份缓存集群，并将其与主集群保持同步。在发生灾难时，可以快速将请求转移到备份集群。

*灾难恢复计划：制定一个灾难恢复计划，概述在发生灾难时的恢复步骤和责任。

实施故障恢复和灾难恢复机制的最佳实践

实施有效故障恢复和灾难恢复机制时应考虑以下最佳实践：

*自动化程度：尽可能自动化恢复过程，以减少人工干预。

*定期测试：定期测试恢复机制，以确保其正常运行。

*监控和警报：设置监控和警报系统，以检测和响应故障和灾难。

*灾难恢复演练：进行灾难恢复演练，以测试恢复计划并识别需要改进的地方。

*沟通和协调：确保相关团队之间的沟通和协调，以有效响应故障和灾难。

通过实施周全的故障恢复和灾难恢复机制，容器化分布式缓存系统可以提高可用性、数据完整性和弹性，从而满足企业对可靠和容错缓存服务不断增长的需求。第六部分容器编排平台的弹性管理支持关键词关键要点【容器编排平台的弹性管理支持】

主题名称：容器伸缩

*根据资源利用率或自定义指标，自动调整容器数量。

*确保系统在负载变化下保持响应性和高可用性。

*支持手动或自动触发伸缩规则，如基于CPU使用率或请求数量。

主题名称：滚动更新

容器编排平台的弹性管理支持

Kubernetes

*水平自动扩缩容（HPA）：根据资源利用率或自定义指标自动调整Pod的数量。

*垂直自动扩缩容（VPA）：根据容器资源请求和限制调整节点的资源分配。

*污点和容忍度：允许或拒绝Pod在特定节点上运行，以实现故障隔离和优先级调度。

*亲和性和反亲和性：将Pod优先放置在或远离其他Pod，以提高性能或可靠性。

*滚动更新：逐步更新Pod，并根据健康检查结果回滚故障更新。

DockerSwarm

*服务调度器：管理服务副本并在节点间分配。

*自动缩放：根据规则自动调整服务副本数量，例如基于CPU或内存利用率。

*故障检测和修复：监控服务健康状况并自动重启或重新部署失败的容器。

*节点污点：标记节点以限制或允许特定任务在特定节点上运行。

*滚动更新：逐步更新服务副本，并监控升级过程。

Mesos

*ZooKeeper：分布式协调服务，用于管理资源分配和故障恢复。

*框架：管理任务调度和与资源管理器交互。

*资源管理器：将资源分配给任务和管理节点可用性。

*故障容错：自动重新调度失败的任务并重新平衡资源。

*动态资源分配：根据需求分配资源并随着负载的变化自动调整。

通用弹性管理特征

*自动缩放：根据负载动态调整资源，以优化性能和成本。

*故障恢复：自动检测和恢复故障的容器或节点。

*故障隔离：将故障容器隔离到不同的节点或隔离区，以限制影响。

*优先级调度：根据业务优先级分配资源和调度任务。

*滚动更新：逐步更新容器，以降低停机时间和风险。

*自定义指标：支持使用自定义指标来触发自动缩放或其他弹性操作。

*集中式管理：通过单一界面管理所有容器化应用程序和基础设施。

容器编排平台提供的弹性管理支持对于确保分布式缓存的可靠性、可伸缩性和可用性至关重要。通过自动化资源分配、故障恢复和滚动更新等任务，这些平台简化了缓存的管理，并降低了维护和故障排除的复杂性。第七部分缓存性能监测与动态调整关键词关键要点【缓存性能监测】

1.实时监控缓存命中率、响应时间、错误率等指标，以了解缓存性能状况。

2.利用可视化工具和仪表板，直观呈现缓存运行情况，便于运维人员快速定位性能瓶颈。

3.根据指标基线，建立预警机制，当性能指标低于阈值时及时告警，避免缓存性能问题影响业务。

【缓存容量动态调整】

缓存性能监测与动态调整

引言

在现代分布式系统中，缓存发挥着至关重要的作用，可以显著提高系统性能。然而，要充分利用缓存的潜力，需要对其性能进行持续监测和动态调整。本文将深入探讨容器化分布式缓存的性能监测与动态调整策略。

缓存性能指标

监测缓存性能需要关注以下关键指标：

*命中率：命中率衡量的是缓存命中次数与请求次数之比。高命中率表明缓存有效地存储了频繁访问的数据，从而减少了对底层数据源的访问次数。

*响应时间：响应时间衡量的是缓存处理请求所需的时间。较低的响应时间对于确保应用程序的响应性和用户体验至关重要。

*吞吐量：吞吐量衡量的是缓存每秒处理的请求数量。高吞吐量对于处理高负载流量至关重要。

*内存使用率：内存使用率衡量的是缓存使用的内存量。优化内存使用率对于最大限度地利用系统资源和避免内存溢出至关重要。

性能监测工具

有许多工具可以用来监测容器化分布式缓存的性能，包括：

*Prometheus：一个流行的开源监控系统，可以通过其exporter收集缓存指标。

*Grafana：一个可视化工具，可以用于创建仪表盘和图表，从而直观地展示缓存性能指标。

*缓存服务本身的监控工具：许多缓存服务（如Redis、Memcached）提供内置的监控工具，可以提供有关其性能的详细信息。

动态调整策略

根据性能监测数据，可以实施动态调整策略来优化缓存性能：

*自动扩容和缩容：当缓存达到预定义的负载阈值时，可以通过自动扩容和缩容来调整容器数量，以满足不断变化的负载需求。

*缓存淘汰策略：缓存淘汰策略决定了当缓存达到容量限制时如何淘汰数据。常见的淘汰策略包括LRU（最近最少使用）和LFU（最近最常使用）。

*内存管理：可以调整缓存的内存分配来优化内存使用率。例如，可以通过使用内存分片或使用外部存储来管理缓存数据。

*数据分区：当缓存数据量变得庞大时，可以通过对数据进行分区并将其分配到不同的容器来优化性能。

最佳实践

在管理容器化分布式缓存的性能时，建议遵循以下最佳实践：

*定期监测：持续监测缓存性能，以识别潜在的问题并及时进行调整。

*基线建立：在不同负载条件下建立缓存性能基线，以便在遇到性能异常时进行比较。

*容量规划：根据预期负载和增长预测进行容量规划，以避免资源不足。

*自动化：尽可能自动化性能监测和动态调整任务，以减少手动干预并提高效率。

*持续优化：定期检视和优化缓存配置和策略，以适应不断变化的系统需求。

结论

缓存性能监测与动态调整对于确保容器化分布式缓存的最佳性能至关重要。通过监测关键指标、使用适当的工具和实施动态调整策略，可以优化缓存性能、提高应用程序响应性和用户满意度，并最大限度地利用可用的系统资源。第八部分容器化缓存弹性管理最佳实践容器化缓存弹性管理最佳实践

容器化分布式缓存的弹性管理至关重要，因为它确保了在高可用性、可扩展性和容错性方面的卓越性能。以下是一些最佳实践，可帮助您优化缓存的弹性：

1.启用自动伸缩

实现自动伸缩，使缓存能够根据工作负载动态调整其容量。这可以通过设置基于指标（如请求率或内存使用率）的规则来实现。自动伸缩确保在高负载情况下提供充足的缓存容量，同时在低负载情况下避免资源浪费。

2.使用持久卷（PVs）

将缓存数据存储在容器之外的持久卷中。这确保了在容器重新启动或重新调度的情况下，缓存数据不会丢失。持久卷还支持跨多个容器的缓存数据共享，从而提高可用性。

3.采用反亲和性

配置缓存容器以在不同主机或可用性域上运行，以提高容错性。反亲和性确保在发生故障时，缓存副本不会同时受到影响。

4.实施自我修复机制

实现自我修复机制，以自动检测并解决缓存故障。这可以通过使用健康检查来监控缓存的运行状况，并在故障发生时触发重新启动或重新调度等修复操作。

5.启用节点终止处理

优雅地终止缓存节点非常重要，以确保缓存数据得到持久化并避免数据丢失。配置缓存容器在终止之前执行特定操作，例如刷新缓存内容到持久卷。

6.配置副本

创建缓存实例的副本以提高可用性。副本可以配置为同步或异步，这取决于对一致性和性能的要求。

7.监控和告警

持续监控缓存的性能和健康状况。设置告警以在关键指标达到预定义阈值时触发，以便及时采取纠正