消息中间件在大型分布式系统的应用

消息中间件在大型分布式系统的应用马震(锋寒)@淘宝网2023-11-26个人简介2023年——至今淘宝网技术专家负责消息中间件的研发之前在Ericsson和金蝶中间件工作感兴趣领域：并发和网络编程大型分布式系统的构建海量数据的分析和处理微博：://weibo/mz1999Outline淘宝消息中间件概览消息中间件应用场景分布式事务数据复制日志同步delayqueue播送通知总结消息中间件应用程序或组件之间的一种通讯方式可靠性异步松散耦合发送者和接收者不必了解对方，只需要认识消息发送者和接收者不必同时在线MessagingModelsPoint-to-Point(PTP)每个消息只有一个消费者发送者和接收者没有时间依赖接收者确认消息处理成功Publish/Subscribe每个消息可以有多个订阅者客户端只有订阅后才能收到消息淘宝消息中间件NotifyPush模式，消息存储转发支持分布式事务订阅者集群支持多种平安级别的存储淘宝消息中间件Metamorphosis开源MQ-kafka的Java版本消息都是持久的，保存在磁盘客户端pull，利用sendfile系统调用，零拷贝吞吐量第一支持消息顺序淘宝消息中间件Broker:Sharednothingarchitecture发布者、订阅者都支持集群PublisherPublisherPublisherBrokerBrokerSubscriberSubscriberSubscriber集群集群集群ConfigServerZooKeeperNotify——分布式事务通用的消息中间件支持XA分布式事务优点跨越多个资源ACID的保证编程模型简单一致缺点性能和可用性都不高故障难于恢复Notify——分布式事务PublisherBrokerStorageT1发送half消息T3业务操作T4提交/回滚T2存储half消息T5提交:更新数据库

标识消息可发送回滚：删除消息S1定期检查未提交的消息S2提交/回滚本地事务域本地事务域业务操作S3提交:更新数据库

标识消息可发送回滚：删除消息Notify——订阅者集群订阅者集群：消息的一个逻辑上的订阅者是有多个物理节点组成的一个集群BrokerPublisherA1A2A3应用AB1B2B3应用BNotify——消息存储多种平安级别的存储FileOracle+小型机+存储MySQLMySQL+Replication同步写入两个存储节点支持存储节点的动态变化Meta——跟kafka有什么不同?用java替换scalaConsumerAPI没有采用kafka的stream方式，而是同时实现同步获取和异步订阅两种方式存储结构上采用自定义结构，更简洁紧凑客户端的连接复用实现HA复制实现发送的软负载支持本地和XA事务支持协议数据迁移、扩容对用户透明Outline淘宝消息中间件概览消息中间件应用场景分布式事务数据复制日志同步delayqueue播送通知总结场景〔一〕分布式事务为面向效劳架构〔SOA〕提供分布式事务支持保证全局数据的一致性交易中心Broker商品管理物流CRM…付款成功消息storestorestorestore场景〔二〕数据复制利用消息中间件将数据从源头复制到多个目的地满足搜索、离线分析和分表规那么变化等需求DBDBSyncbinlogBrokerSearchhadoopDB场景〔三〕日志同步应用通过可靠异步方式将日志同步到消息中间件可以对日志做实时或离线分析BrokerAppAppAppHBaseStormAppApp场景〔四〕delayqueue把消息中间件当做可靠的延迟队列分布式环境下的定时器BrokerPublisherSubscriberrecover延迟投递场景〔五〕播送通知可靠的集群内播送通知用于通知cache失效等事件BrokerAppA