RabbitMQ 实战教程

该文档是：RabbitMQ实战教学...

博客连接：https://www.loveuluo.cn

日期：2021-01-31

1.MQ引言

1.1 什么是MQ

MQ(Message Quene) : 翻译为 消息队列,通过典型的 生产者和消费者模型,生产者不断向消息队列中生产消息，消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的，而且只关心消息的发送和接收，没有业务逻辑的侵入,轻松的实现系统间解耦。别名为 消息中间件 通过利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。

1.2 MQ有哪些

当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发RocketMQ等。

1.3 不同MQ特点

# 1.ActiveMQ
        ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。它是一个完全支持JMS规范的的消息中间件。丰富的API,多种集群架构模式让ActiveMQ在业界成为老牌的消息中间件,在中小型企业颇受欢迎!

# 2.Kafka
        Kafka是LinkedIn开源的分布式发布-订阅消息系统，目前归属于Apache顶级项目。Kafka主要特点是基于Pull的模式来处理消息消费，
        追求高吞吐量，一开始的目的就是用于日志收集和传输。0.8版本开始支持复制，不支持事务，对消息的重复、丢失、错误没有严格要求，
        适合产生大量数据的互联网服务的数据收集业务。

# 3.RocketMQ
        RocketMQ是阿里开源的消息中间件，它是纯Java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起
        源于Kafka，但并不是Kafka的一个Copy，它对消息的可靠传输及事务性做了优化，目前在阿里集团被广泛应用于交易、充值、流计算、消
        息推送、日志流式处理、binglog分发等场景。

# 4.RabbitMQ
        RabbitMQ是使用Erlang语言开发的开源消息队列系统，基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由（包括点对点和
        发布/订阅）、可靠性、安全。AMQP协议更多用在企业系统内对数据一致性、稳定性和可靠性要求很高的场景，对性能和吞吐量的要求还在
        其次。

RabbitMQ比Kafka可靠，Kafka更适合IO高吞吐的处理，一般应用在大数据日志处理或对实时性（少量延迟），可靠性（少量丢数据）要求稍低的场景使用，比如ELK日志收集。

2.RabbitMQ 的引言

2.1 RabbitMQ

基于AMQP协议，erlang语言开发，是部署最广泛的开源消息中间件,是最受欢迎的开源消息中间件之一。

image-20190925215603036

官网: https://www.rabbitmq.com/

官方教程: https://www.rabbitmq.com/#getstarted

 # AMQP 协议
         AMQP（advanced message queuing protocol）`在2003年时被提出，最早用于解决金融领不同平台之间的消息传递交互问题。顾名思义，AMQP是一种协议，更准确的说是一种binary wire-level protocol（链接协议）。这是其和JMS的本质差别，AMQP不从API层进行限定，而是直接定义网络交换的数据格式。这使得实现了AMQP的provider天然性就是跨平台的。以下是AMQP协议模型:

image-20200311182438041

2.2 RabbitMQ 的安装

2.2.1 下载

官网下载地址: https://www.rabbitmq.com/download.htmlimage-20190925220115235

最新版本: 3.7.18

2.2.2 下载的安装包

image-20210131102725299

注意:这里的安装包是centos7安装的包

2.2.3 安装步骤

# 1.将rabbitmq安装包上传到linux系统中
    erlang-22.0.7-1.el7.x86_64.rpm
    rabbitmq-server-3.7.18-1.el7.noarch.rpm
    socat-1.7.3.2-2.el7.x86_64.rpm

# 2.安装Erlang依赖包和socat依赖包
    rpm -ivh erlang-22.0.7-1.el7.x86_64.rpm
    rpm -ivh socat-1.7.3.2-2.el7.x86_64.rpm

# 3.安装RabbitMQ安装包(需要联网)
    yum install -y rabbitmq-server-3.7.18-1.el7.noarch.rpm
        注意:默认安装完成后配置文件模板在:/usr/share/doc/rabbitmq-server-3.7.18/rabbitmq.config.example目录中,需要    
                将配置文件复制到/etc/rabbitmq/目录中,并修改名称为rabbitmq.config    

# 4.复制配置文件
    cp /usr/share/doc/rabbitmq-server-3.7.18/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config

# 5.查看配置文件位置
    ls /etc/rabbitmq/rabbitmq.config

# 6.修改配置文件 为了开放来宾账户，用于进入后台管理界面，来宾用户拥有所有权限(参见下图:)
    vim /etc/rabbitmq/rabbitmq.config

image-20190925222230260

将上图中配置文件中红色部分去掉%%,以及最后的,逗号 修改为下图:

image-20190925222329200

# 7.执行如下命令,启动rabbitmq中的插件管理
    rabbitmq-plugins enable rabbitmq_management (启动RabbitMQ后台管理界面插件)

    出现如下说明:
        Enabling plugins on node rabbit@localhost:
    rabbitmq_management
    The following plugins have been configured:
      rabbitmq_management
      rabbitmq_management_agent
      rabbitmq_web_dispatch
    Applying plugin configuration to rabbit@localhost...
    The following plugins have been enabled:
      rabbitmq_management
      rabbitmq_management_agent
      rabbitmq_web_dispatch
      
    set 3 plugins.
    Offline change; changes will take effect at broker restart.
    
# 8.启动RabbitMQ的服务
    systemctl start rabbitmq-server (启动rabbitmq)
    systemctl restart rabbitmq-server (重启)
    systemctl stop rabbitmq-server (停止)

# 9.查看服务状态(见下图:)
    systemctl status rabbitmq-server (查看服务状态)
  ● rabbitmq-server.service - RabbitMQ broker
     Loaded: loaded (/usr/lib/systemd/system/rabbitmq-server.service; disabled; vendor preset: disabled)
     Active: active (running) since 三 2019-09-25 22:26:35 CST; 7s ago
   Main PID: 2904 (beam.smp)
     Status: "Initialized"
     CGroup: /system.slice/rabbitmq-server.service
             ├─2904 /usr/lib64/erlang/erts-10.4.4/bin/beam.smp -W w -A 64 -MBas ageffcbf -MHas ageffcbf -
             MBlmbcs...
             ├─3220 erl_child_setup 32768
             ├─3243 inet_gethost 4
             └─3244 inet_gethost 4
      .........

image-20190925222743776

# 10.关闭防火墙服务 (15672端口是Web管理界面的端口，用阿里云直接开放15672端口)
    systemctl disable firewalld
    Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
    Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
    systemctl stop firewalld   

# 11.访问web管理界面
    http://10.15.0.8:15672/

image-20190926194738708

# 12.登录管理界面
    username:  guest
    password:  guest

image-20190926194954822

3. RabiitMQ 配置

3.1RabbitMQ 管理命令行

# 1.服务启动相关
    systemctl start|restart|stop|status rabbitmq-server

# 2.管理命令行  用来在不使用web管理界面情况下命令操作RabbitMQ
    rabbitmqctl  help  可以查看更多命令

# 3.插件管理命令行
    rabbitmq-plugins enable(开启插件)|list(查看插件)|disable(关闭插件)|set(重启插件)

3.2 web管理界面介绍(实际常用)

3.2.1 overview概览

image-20191126162026720

  • connections：无论生产者还是消费者，都需要与RabbitMQ建立连接后才可以完成消息的生产和消费，在这里可以查看连接情况
  • channels：通道，建立连接后，会形成通道，消息的投递获取依赖通道。
  • Exchanges：交换机，用来实现消息的路由
  • Queues：队列，即消息队列，消息存放在队列中，等待消费，消费后被移除队列。

3.2.2 Admin用户和虚拟主机管理

小提示：这里有一个来宾用户guest，它拥有所有权限。

1. 添加用户

image-20191126162617280

上面的Tags选项，其实是指定用户的角色，可选的有以下几个：

  • 超级管理员(administrator)

可登陆管理控制台，可查看所有的信息，并且可以对用户，策略(policy)进行操作。

  • 监控者(monitoring)

可登陆管理控制台，同时可以查看rabbitmq节点的相关信息(进程数，内存使用情况，磁盘使用情况等)

  • 策略制定者(policymaker)

可登陆管理控制台, 同时可以对policy进行管理。但无法查看节点的相关信息(上图红框标识的部分)。

  • 普通管理者(management)

仅可登陆管理控制台，无法看到节点信息，也无法对策略进行管理。

  • 其他

无法登陆管理控制台，通常就是普通的生产者和消费者。

2. 创建虚拟主机
# 虚拟主机
    为了让各个用户可以互不干扰的工作，RabbitMQ添加了虚拟主机（Virtual Hosts）的概念。其实就是一个独立的访问路径，不同用户使用不同路径，各自有自己的队列、交换机，互相不会影响。

image-20191126163023153

3. 绑定虚拟主机和用户

创建好虚拟主机，我们还要给用户添加访问权限：

点击添加好的虚拟主机：

image-20191126163506795

进入虚拟机设置界面:

image-20191126163631889

4.RabbitMQ 的五种模型实例

4.0 AMQP协议的回顾

一般一个项目或者一个业务绑定一个虚拟主机，一般会为虚拟主机绑定一个特定的用户。所谓的虚拟主机就类似于数据库中的库，用来和我们的项目做一一的映射，日后不同的项目建立不同的虚拟主机。

image-20210131121640413

4.1 RabbitMQ支持的消息模型

image-20210131122251065

image-20210131210651509

4.2 准备工作

1、用maven创建一个webapp或者quickstart工程。

2、引入依赖：

<dependency>
    <groupId>com.rabbitmq</groupId>
    <artifactId>amqp-client</artifactId>
    <version>5.7.2</version>
</dependency>

3、用RabbitMQ建立一个虚拟主机，并且建立一个账户ems为它绑定ems这个虚拟主机。

image-20210131124120751

image-20210131124046540

4.3 第一种模型(直连)*

这个模型一次只允许一个消费者去消费，这个模型其实适用于登录或者注册的时候。比如我们注册成功之后，可能要在注册过程中发短信，可以把注册的业务代码放在当前的业务系统。把发短信放到消息队列里边由其他的短信的系统去完成短信发送的服务。

image-20191126165840602

在上图的模型中，有以下概念：

  • P：生产者，也就是要发送消息的程序
  • C：消费者：消息的接受者，会一直等待消息到来。
  • queue：消息队列，图中红色部分。类似一个邮箱，可以缓存消息；生产者向其中投递消息，消费者从其中取出消息。
1. 开发生产者
public class Provider {
    @Test
    public void testSendMassage() throws IOException, TimeoutException {
        //创建连接mq的连接工厂对象
        ConnectionFactory connectionFactory = new ConnectionFactory();
        //设置连接rabbitmq主机
        connectionFactory.setHost("47.99.209.199");
        //设置端口号(不要忘记开放端口)
        connectionFactory.setPort(5672);
        //设置连接到哪个虚拟主机
        connectionFactory.setVirtualHost("/ems");
        //设置访问虚拟主机的用户名和账户密码
        connectionFactory.setUsername("ems");
        connectionFactory.setPassword("123");

        //通过工厂生产出连接对象
        Connection connection = connectionFactory.newConnection();

        /*建立连接后，连接通过通道去传送消息。通道要与queue(消息队列)产生连接，通道所传递的消息要放到对应的queue中。
          通道和队列之间一定要有一个 声明/绑定 。只有把通道和消息队列对应上，通道才知道要把这个消息发给哪个对应的消息队列。*/
        Channel channel = connection.createChannel(); //通道对象

        //用通道对象，通过代码 声明(生成)/绑定 队列 ，队列在不存在的情况下会自动创建
        //参数1: 队列的名字(可以通过网页端生成，也可以在这里生成)
        //参数2: 队列的特性是否持久化,如果为true代表持久化，在rabbitmq 重启/关闭 后会把队列存到磁盘中，flase 在mq下一次重新启动时该队列就会被删除
        //参数3: 是否独占队列，true代表当前的队列只能被当前的通道所绑定，不能被其他的连接绑定。
        //参数4: 是否在消费者完成消费后自动删除队列。
        //参数5: 其他属性,对队列的额外配置
        channel.queueDeclare("hello",true,false,false,null);

        // 发布消息（真正发布消息的是取决于我们的basicPublish发布消息到具体的哪个队列，并不是说通道绑定了哪个队列，它才可以往那个队列去发送消息）
        // 参数1：交换机名称，这里是直连没有交换机，如果不设置交换机，默认会有一个交换机
        // 参数2：当交换机名为""也就是没有设置的时候，这个值为"hello"就代表和默认交换机的"hello"队列绑定了。如果有设置交换机，这个值代表路由key。
        // 参数3：发布消息时的一些属性
        // 参数4：发布消息的具体内容
        channel.basicPublish("","hello", null,"hello rabbitmq".getBytes());
        
        //关闭连接
        channel.close();
        connection.close();
    }
}

测试一下这个程序，这里运行3次看看效果（这里的队列是由代码生成的，原先是没有的）：

image-20210131132531790

2. 开发消费者

一般来说我们希望Customer是一个一直运行的状态，不断的去接收队列中的消息。

public class Customer {
    //这里得用main函数而不能用Test，因为这个消费者我们是不关闭的，一直开着监听队列的消息，而@Test方法会杀死其他线程
    public static void main(String[] args) throws IOException, TimeoutException {
        //创建连接工厂对象
        ConnectionFactory connectionFactory = new ConnectionFactory();
        connectionFactory.setHost("47.99.209.199");
        connectionFactory.setPort(5672);
        connectionFactory.setVirtualHost("/ems");
        connectionFactory.setUsername("ems");
        connectionFactory.setPassword("123");

        //创建连接对象
        Connection connection = connectionFactory.newConnection();

        //创建通道
        Channel channel = connection.createChannel();

        //通道 绑定队列/声明使用的是哪个队列（这里的参数要和生产者那边创建的队列的参数一模一样）
        channel.queueDeclare("hello",true,false,false,null);

        //消费消息
        //参数1：消费哪个队列的消息 队列名称
        //参数2：开始消息的自动确认机制
        //参数3：消费时的回调接口(这里我们传入匿名内部的接口的实现类)
        channel.basicConsume("hello",true,new DefaultConsumer(channel){
            @Override
            //重写该方法，最后一个参数：消息队列中取出的消息
            public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
                System.out.println(new String(body));
            }
        });
//        这里我们不关闭通道和连接，让该消费者一直监听队列的消息
//        channel.close();
//        connection.close();
    }
}

测试程序，直接运行：

image-20210131144951544

image-20210131144335752

此时再运行一次刚才的生产者看看这个还在监听队列的消息的消费者能否不断的接收队列中的消息并消费：

image-20210131144446320

3. 优化代码中的冗余

例如获取连接之类的，对冗余的代码进行一个封装：

public class RabbitMQUtil {
    private static ConnectionFactory connectionFactory;
    private RabbitMQUtil(){}

    static {
        connectionFactory = new ConnectionFactory();
        connectionFactory.setHost("47.99.209.199");
        connectionFactory.setPort(5672);
        connectionFactory.setVirtualHost("/ems");
        connectionFactory.setUsername("ems");
        connectionFactory.setPassword("123");
    }

    public static Connection getConnection(){
        try {
            Connection connection = connectionFactory.newConnection();
            return connection;
        } catch (Exception e) {
            e.printStackTrace();
        }
        return null;
    }
    public static void closeConnectionAndChanel(Channel channel,Connection connection){
        try {
            if (channel!=null){channel.close();}
            if (connection!=null){connection.close();}
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}
4. 由谁来创建队列？

那么谁应该负责创建这个queue呢？是Consumer(消费者)，还是Producer(生产者)？

如果队列不存在，当然消费者不会得到任何的Message。那么生产者的Message会被丢弃。所以，还是为了数据不丢失，生产者和消费者都都应该尝试去声明队列，使用队列已经存在就绑定不存在就声明的方法！反正不管怎么样，这个接口都不会出问题。

5. API参数细节
//用通道对象，通过代码 声明(生成)/绑定 队列 ，队列在不存在的情况下会自动创建
//参数1: 队列的名字(可以通过网页端生成，也可以在这里生成)
//参数2: 队列的特性是否持久化,如果为true代表持久化，在rabbitmq 重启/关闭 后会把队列存到磁盘中。flase 在mq下一次 重启/关闭 时该队列就会被删除。不过这仅仅这是让队列持久化，其中的消息在 重启/关闭 后还是会丢失。想要让消息持久化，要在发布消息中设置参数。
//参数3: 是否独占队列，true代表当前的队列只能被当前的通道所绑定，不能被其他的连接绑定。一般都是false，多个连接共用同一个队列
//参数4: 当前队列中的消息被消费者消费完成之后，消费者彻底和队列断开连接后(也就是消费者关闭)，是否要自动删除队列。
//参数5: 其他属性,对队列的额外配置
channel.queueDeclare("hello",true,false,false,null);

// 发布消息（真正发布消息的是取决于我们的basicPublish发布消息到具体的哪个队列，并不是说通道绑定了哪个队列，它才可以往那个队列去发送消息）
// 参数1：交换机名称，这里是直连没有交换机，如果不设置交换机，默认会有一个交换机
// 参数2：当交换机名为""也就是没有设置的时候，这个值为"hello"就代表和默认交换机的"hello"队列绑定了。如果有设置交换机，这个值代表路由key。
// 参数3：发布消息时的一些属性，想要让消息持久化到硬盘，得设置 MssageProperties.PERSISTENT_TEXT_PLAIN
// 参数4：发布消息的具体内容
channel.basicPublish("","hello", MessageProperties.PERSISTENT_TEXT_PLAIN,"hello rabbitmq".getBytes());

4.4 第二种模型(work quene)*

Work queues，也被称为（Task queues），任务模型。当消息处理比较耗时的时候，可能生产消息的速度会远远大于消息的消费速度。长此以往，消息就会堆积越来越多，无法及时处理。此时就可以使用work 模型：让多个消费者绑定到一个队列，共同消费队列中的消息。队列中的消息一旦消费，就会消失，因此任务是不会被重复执行的。

image-20200314221002008

角色：

  • P：生产者：任务的发布者
  • C1：消费者-1，领取任务并且完成任务，假设完成速度快
  • C2：消费者-2：领取任务并完成任务，假设完成速度较慢
1.开发生产者
public class Provider {
    public static void main(String[] args) throws IOException {
        //用工具类获取连接
        Connection connection = RabbitMQUtil.getConnection();
        //获取通道对象
        Channel channel = connection.createChannel();
        //用通道对象声明队列
        channel.queueDeclare("work",true,false,false,null);
        //循环发布10条消息
        for (int i = 0; i < 10; i++) {
            channel.basicPublish("","work",null,(i+"=>hello work quene").getBytes());
        }
        //用工具类关闭连接
        RabbitMQUtil.closeConnectionAndChanel(channel,connection);
    }
}
2.开发消费者-1
//获取通道对象
Channel channel = connection.createChannel();
//用通道对象 绑定队列/声明使用的是哪个队列
channel.queueDeclare("work",true,false,false,null);
//消费队列中的消息
channel.basicConsume("work",true,new DefaultConsumer(channel){
    @Override
    //重写该方法，最后一个参数：消息队列中取出的消息
    public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
        System.out.println("消费者1: "+new String(body));
    }
});
3.开发消费者-2

此处用线程睡眠模拟执行业务的速度慢。

//获取通道对象
Channel channel = connection.createChannel();
//用通道对象 绑定队列/声明使用的是哪个队列
channel.queueDeclare("work",true,false,false,null);
//消费队列中的消息
channel.basicConsume("work",true,new DefaultConsumer(channel){
    @Override
    //重写该方法，最后一个参数：消息队列中取出的消息
    public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
        try {
            Thread.sleep(2000);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        System.out.println("消费者2: "+new String(body));
    }
});
4.测试结果

照样还是平均分发消息，不会因为某个快慢而多收到消息,因为消费者-1和消费者-2拿到了消息会自动向rabbitmq确认消息消费(下边会讲什么意思)，只是消费者-2执行的比较慢。

image-20210131162247001

image-20210131162310814

总结:默认情况下，RabbitMQ将按顺序将每个消息发送给下一个使用者。平均而言，每个消费者都会收到相同数量的消息。这种分发消息的方式称为循环。这种情况有个问题，那就是如果有一个消费者处理业务的速度较慢，例如代码中的睡眠2秒，也会导致消息的堆积。因为消费者-1瞬间就执行完了分发给它的五条消息，然后它就闲着了。而消费者-2只能两秒处理一条消息直到处理完五条消息，它不会把它没干完的活去给消费者-1干。

5.消息自动确认机制

image-20210131170734034

存在的问题：

  • 1、这里的basicAck的第三个参数如果设置为true，那就是自动确认消息。这种情况会有一个问题，它不关心你的业务有没有处理完，它只要拿到这些平均分配的消息，它就告诉队列这些消息我已经消费完了，实际上这些业务要经过漫长的时间去执行。
  • 2、例如它拿到了5个完整的消息，而消费到第3个的时候宕机了，还剩2个消息，由于自动确认消息机制，2个消息就丢失了。一般不建议使用自动确认，我们希望的是如果一个消费者宕机了，那么会将消息给另一个消费者去做。

解决方案：

  • 1、channel.basicConsume()的第二个参数设置为false，关闭自动确认消息。
  • 2、不能一次性的把这些消息都给消费者，让消费者在消费消息的时候，当前的一个通道里边只能消费一个消息。
  • 3、当消费者真正执行具体操作的时候，执行完这个业务处理之后，因为关闭了自动确认，要手动确认一下。告诉RabbitMQ消息的确认，只要消息没被确认它就会在队列中保留。所以一定不要忘记手动确认消息。

消费者1的代码：

//获取通道对象
Channel channel = connection.createChannel();
//用通道对象 绑定队列/声明使用的是哪个队列
channel.queueDeclare("work",true,false,false,null);
//一次只接受一条未确认的消息
channel.basicQos(1);
//消费队列中的消息
channel.basicConsume("work",false,new DefaultConsumer(channel){
    @Override
    public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
        System.out.println("消费者1: "+new String(body));
        //手动确认消息
        // 参数1：队列中那么多消息，要传一个标志确认是队列中具体哪个消息
        // 参数2：是否开启多个消息同时确认，因为我们设置了一个通道里只能消费一条消息，所以这里都可以。
        channel.basicAck(envelope.getDeliveryTag(),false);
    }
});

消费者2的代码：

//获取通道对象
Channel channel = connection.createChannel();
//用通道对象 绑定队列/声明使用的是哪个队列
channel.queueDeclare("work",true,false,false,null);
//一次只接受一条未确认的消息
channel.basicQos(1);
//消费队列中的消息
channel.basicConsume("work",false,new DefaultConsumer(channel){
    @Override
    public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
        try {
            Thread.sleep(1000);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        System.out.println("消费者2: "+new String(body));
        //手动确认消息
        // 参数1：队列中那么多消息，要传一个标志确认是队列中具体哪个消息
        // 参数2：是否开启多个消息同时确认，因为我们设置了一个通道里只能消费一条消息，所以这里都可以。
        channel.basicAck(envelope.getDeliveryTag(),false);
    }
});

最终测试结果：

image-20210131171043986

image-20210131171105101

成功实现了谁能力强就多执行点，能力弱就少执行点。

4.5 第三种模型(fanout) *

fanout 扇出 也称为广播，适用于例如注册后，一个消费者处理发短信的业务，一个消费者处理发邮箱的业务，一个消费者负责增加积分等等...又或者购物车模块，它要与订单模块交互还有库存模块交互...

image-20191126213115873

在广播模式下，消息发送流程是这样的：

  • 可以有多个消费者
  • 每个消费者有自己的queue（队列），这里的队列为临时队列(消费者执行的时候会创建，消费者断开后会自动消失)
  • 每个队列都要绑定到Exchange（交换机）
  • 生产者发送的消息，只能发送到交换机，交换机来决定要发给哪个队列，生产者无法决定。
  • 交换机把消息发送给绑定过的所有队列
  • 队列的消费者都能拿到消息。实现一条消息被多个消费者消费
1. 开发生产者

不需要再在生产者中声明队列了，因为每个消费者都有自己的队列，在消费者中创建临时队列。

public class Provider {
    public static void main(String[] args) throws IOException {
        //获取连接
        Connection connection = RabbitMQUtil.getConnection();
        //获取通道
        Channel channel = connection.createChannel();
        //声明交换机
        //参数1：代表交换机的名称
        //参数2：代表交换机的类型，这里fanout代表广播类型
        channel.exchangeDeclare("logs","fanout");
        //发布消息
        //参数1：根据交换机的名字绑定交换机
        //参数2：此时这里的参数代表路由key，但是在广播类型中这个没有意义，可以空着
        channel.basicPublish("logs","",null,"hello".getBytes());
        //关闭连接
        RabbitMQUtil.closeConnectionAndChanel(channel,connection);
    }
}

image-20210131194745559

2. 开发消费者-1
//创建临时队列 返回的是临时队列的名字
String queue = channel.queueDeclare().getQueue();
//将临时队列绑定exchange(交换机)
//参数1：临时队列的名字
//参数2：交换机的名字
//参数3：参数是路由key，没有意义
channel.queueBind(queue,"logs","");
//处理消息
channel.basicConsume(queue,true,new DefaultConsumer(channel){
    @Override
    public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
        System.out.println("消费者1: "+new String(body));
    }
});
3. 开发消费者-2
String queue = channel.queueDeclare().getQueue();
channel.queueBind(queue,"logs","");
channel.basicConsume(queue,true,new DefaultConsumer(channel){
    @Override
    public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
        System.out.println("消费者2: "+new String(body));
    }
});
4.开发消费者-3
String queue = channel.queueDeclare().getQueue();
channel.queueBind(queue,"logs","");
channel.basicConsume(queue,true,new DefaultConsumer(channel){
    @Override
    public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
        System.out.println("消费者3: "+new String(body));
    }
});
5. 测试结果

image-20210131195732759

image-20210131195747716

image-20210131195755430

image-20210131195805069

4.6 第四种模型(Routing)*

4.6.1 Routing 之订阅模型-Direct(直连)

在Fanout模式中，一条消息，会被所有订阅的队列都消费。但是，在某些场景下，我们希望不同的消息被不同的队列消费。这时就要用到Direct类型的Exchange。或者说我希望我发的消息所有消费者都可以消费，但是之后也有这样一种情况就是我发的消息只有部分消费者可以消费。

在Direct模型下：

  • 队列与交换机的绑定，不能是任意绑定了，而是要指定一个RoutingKey（路由key）
  • 消息的发送方(生产者)在 向 Exchange发送消息时，也必须指定消息的 RoutingKey。
  • Exchange不再把消息交给每一个绑定的队列，而是根据消息的Routing Key进行判断，只有队列的Routingkey与消息的 Routing key完全一致，才会接收到消息

流程:

这里可以把C2(消费者-2)想象成控制台打印的业务，把C1(消费者-1)想象成磁盘持久化的。当生产者出现error信息的时候，error既要持久化又要在控制台打印。如果是其它的日志类型，仅仅是在控制台展示。

image-20210131202758825

图解：

  • P：生产者，向Exchange发送消息，发送消息时，会指定一个routing key。
  • X：Exchange（交换机），接收生产者的消息，然后把消息递交给 与routing key完全匹配的队列
  • C1：消费者，其所在队列(临时队列)指定了需要routing key 为 error 的消息
  • C2：消费者，其所在队列(临时队列)指定了需要routing key 为 info、error、warning 的消息
1. 开发生产者
//声明交换机  参数1:交换机名称 参数2:交换机类型 基于指令的Routing key转发
channel.exchangeDeclare("logs_direct","direct");
//发布消息
String rotingkey = "info";
channel.basicPublish("logs_direct",rotingkey,null,("指定的route key"+rotingkey+"的消息").getBytes());
2.开发消费者-1
//创建临时队列
String queue = channel.queueDeclare().getQueue();
//绑定队列和交换机
channel.queueBind(queue,"logs_direct","error");
channel.queueBind(queue,"logs_direct","info");
channel.queueBind(queue,"logs_direct","warn");

//消费消息
channel.basicConsume(queue,true,new DefaultConsumer(channel){
  @Override
  public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
    System.out.println("消费者1: "+new String(body));
  }
});
3.开发消费者-2
//创建临时队列
String queue = channel.queueDeclare().getQueue();
//绑定队列和交换机
channel.queueBind(queue,"logs_direct","error");
//消费消息
channel.basicConsume(queue,true,new DefaultConsumer(channel){
  @Override
  public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
    System.out.println("消费者2: "+new String(body));
  }
});
4.测试结果

测试生产者发送Route key为 info/error/warn 消息按顺序都发送时：

image-20210131205141571

image-20210131205150247

4.6.2 Routing 之订阅模型-Topic

Topic类型的Exchange与Direct相比，都是可以根据RoutingKey把消息路由到不同的队列。只不过Topic类型Exchange可以让队列在绑定Routing key 的时候使用通配符！这种模型Routingkey 一般都是由一个或多个单词组成，多个单词之间以”.”分割，例如： item.insert

image-20191127121900255

# 统配符
        * (star) can substitute for exactly one word.    匹配不多不少恰好1个词
        # (hash) can substitute for zero or more words.  匹配一个或多个词
# 如:
        audit.#    匹配audit.irs.corporate或者 audit.irs 等
        audit.*    只能匹配 audit.irs
       *.audit.*   只能匹配 save.audit.irs
1.开发生产者
//生命交换机和交换机类型 topic 使用动态路由(通配符方式)
channel.exchangeDeclare("topics","topic");
String routekey = "user.save";//动态路由key
//发布消息
channel.basicPublish("topics",routekey,null,("这是路由中的动态订阅模型,route key: ["+routekey+"]").getBytes());
2.开发消费者-1

Routing Key中使用*通配符方式

//创建临时队列
String queue = channel.queueDeclare().getQueue();
//绑定队列与交换机并设置获取交换机中动态路由
channel.queueBind(queue,"topics","user.*");

//消费消息
channel.basicConsume(queue,true,new DefaultConsumer(channel){
  @Override
  public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
    System.out.println("消费者1: "+new String(body));
  }
});
3.开发消费者-2

Routing Key中使用#通配符方式

//创建临时队列
String queue = channel.queueDeclare().getQueue();
//绑定队列与交换机并设置获取交换机中动态路由
channel.queueBind(queue,"topics","user.#");

//消费消息
channel.basicConsume(queue,true,new DefaultConsumer(channel){
  @Override
  public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
    System.out.println("消费者2: "+new String(body));
  }
});
4.测试结果

image-20200316113935785

image-20200316114000459

5. SpringBoot中使用RabbitMQ

5.0 搭建初始环境

用Spring Intializr创建一个SpringBoot项目，勾选Web。

1. 引入依赖
<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
2. 配置配置文件
spring:
  application:
    name: springboot_rabbitmq #给当前SpringBoot的应用起一个名字，在这里没有实际意义
  rabbitmq:
    host: 10.15.0.9
    port: 5672
    username: ems
    password: 123
    virtual-host: /ems

RabbitTemplate 用来简化操作 使用时候直接在项目中注入即可使用

5.1 helloworld模型

在helloword模式中，生产端，指定的routingKey:helllo。这里指定的是路由规则，并不是hello队列。队列是在消费方生成的，在生产端没有指定交换机只有routingKey和Object，也就是说这个消费方产生hello队列，放在默认的交换机(AMQP default)上。而默认的交换机有一个特点，只要你的routerKey与这个交换机中有同名的队列，他就会自动路由上。 生产端routingKey 叫hello ，消费端生产hello队列。他们就路由上了

  1. 开发生产者
    @Autowired
private RabbitTemplate rabbitTemplate;

@Test
public void testHello(){
  //参数1：路由规则
  //参数2：要发送的消息
  rabbitTemplate.convertAndSend("hello","hello world");
}
  2. 开发消费者
    @Component
//代表着队列的监听，指定它去接收哪个队列的消息，
//如果只是使用queues属性：代表绑定队列，但没有的话不会声明
//使用queuesToDeclare属性：代表没有队列的话声明队列，有的话就绑定这个消费者监听这个队列
//durable:是否持久化
//autoDelete:是否自动删除....
@RabbitListener(queuesToDeclare = @Queue(value = "hello",durable = "true",autoDelete = "false"))
public class HelloCustomer {

    @RabbitHandler
    public void receive1(String message){
        System.out.println("message = " + message);
    }
}

5.2 work模型

  1. 开发生产者
    @Autowired
private RabbitTemplate rabbitTemplate;

@Test
public void testWork(){
  for (int i = 0; i < 10; i++) {
    rabbitTemplate.convertAndSend("work","hello work!");
  }
}
  2. 开发消费者
    @Component
public class WorkCustomer {
    //消费者1
    //这个注解也可以加载方法上，代表这个@RabbitListener所监听的队列的回调，如果在这里有@RabbitListener就不需要@RabbitHandler了
    @RabbitListener(queuesToDeclare = @Queue("work"))
    public void receive1(String message){ //这里的参数要和发送的参数一致
        System.out.println("work message1 = " + message);
    }

    //消费者2
    @RabbitListener(queuesToDeclare = @Queue("work"))
    public void receive2(String message){
        System.out.println("work message2 = " + message);
 }
}

说明:默认在Spring AMQP实现中Work这种方式就是公平调度,如果需要实现能者多劳需要额外配置

5.3 Fanout 广播模型

  1. 开发生产者
    @Autowired
private RabbitTemplate rabbitTemplate;

@Test
public void testFanout() throws InterruptedException {
  //参数1：指定交换机
  //参数2：路由规则
  //参数3：发送的消息
  rabbitTemplate.convertAndSend("logs","","这是日志广播");
}
  2. 开发消费者
    @Component
public class FanoutCustomer {

    //@QueueBinding：代表把队列和交换机绑定在一起
    //bindings：给这个消费者绑定了临时队列和交换机
    @RabbitListener(bindings = @QueueBinding(
            value = @Queue,//这里@Queue可以指定名字，不指定代表生成一个临时队列
            exchange = @Exchange(name="logs",type = "fanout")//绑定/声明 交换机，参数1为交换机名字，参数2为类型
    ))
    public void receive1(String message){
        System.out.println("message1 = " + message);
    }

    @RabbitListener(bindings = @QueueBinding(
            value = @Queue,
            exchange = @Exchange(name="logs",type = "fanout")
    ))
    public void receive2(String message){
        System.out.println("message2 = " + message);
    }
}

5.4 Route 路由模型

  1. 开发生产者
    @Autowired
private RabbitTemplate rabbitTemplate;

@Test
public void testDirect(){
    //交换机名字，路由key，xiao'x
  rabbitTemplate.convertAndSend("directs","error","error 的日志信息");
}
  2. 开发消费者
    @Component
public class DirectCustomer {

    @RabbitListener(bindings ={
            @QueueBinding(
                    value = @Queue(),
                    key={"info","error"},//路由key 可以指定多个
                    exchange = @Exchange(type = "direct",name="directs")
            )})
    public void receive1(String message){
        System.out.println("message1 = " + message);
    }

    @RabbitListener(bindings ={
            @QueueBinding(
                    value = @Queue(),
                    key={"error"},
                    exchange = @Exchange(type = "direct",name="directs")
            )})
    public void receive2(String message){
        System.out.println("message2 = " + message);
    }
}

5.5 Topic 订阅模型(使用配置类的方法)

在项目启动时就把交换机队列声明出来然后进行绑定，再在消费者中也进行声明和绑定，如果已经存在了消费者就会是绑定操作，如果不存在就是声明，防止消息的丢失。

定义RabbitConfig配置类，配置Exchange、Queue、及绑定交换机：

@Configuration
public class RabbitmqConfig {

    //声明交换机
    @Bean("topic.exchange")
    public Exchange exchange(){
        //durable(true) 持久化，mq重启之后交换机还在
        return ExchangeBuilder.topicExchange("topic.exchange").durable(true).build();
    }

    //声明email队列
    /*
     *   new Queue(QUEUE_EMAIL,true,false,false)
     *   durable="true" 持久化 rabbitmq重启的时候不需要创建新的队列
     *   auto-delete 表示消息队列没有在使用时将被自动删除 默认是false
     *   exclusive  表示该消息队列是否只在当前connection生效,默认是false
     */
    @Bean("queue_email")
    public Queue emailQueue(){
        return new Queue("queue_email");
    }
    //声明sms队列
    @Bean("queue_sms")
    public Queue smsQueue(){
        return new Queue("queue_sms");
    }

    //ROUTINGKEY_EMAIL队列绑定交换机，指定routingKey
    @Bean
    public Binding bindingEmail(@Qualifier("queue_sms") Queue queue,
                                @Qualifier("topic.exchange") Exchange exchange){
        return BindingBuilder.bind(queue).to(exchange).with("topic.#.email.#").noargs();
    }
    //ROUTINGKEY_SMS队列绑定交换机，指定routingKey
    @Bean
    public Binding bindingSMS(@Qualifier("queue_sms") Queue queue,
                              @Qualifier("topic.exchange") Exchange exchange){
        return BindingBuilder.bind(queue).to(exchange).with("topic.#.sms.#").noargs();
    }

}

生产者：

为了方便测试，直接把生产者代码放工程测试类：发送routing key是"topic.sms.email"的消息，那么mq-rabbitmq-consumer下那些监听的（与交换机(topic.exchange)绑定，并且订阅的routingkey中匹配了"topic.sms.email"规则的） 队列就会收到消息。

@SpringBootTest
@RunWith(SpringRunner.class)
public class Send {

    @Autowired
    RabbitTemplate rabbitTemplate;

    @Test
    public void sendMsgByTopics(){

        /*
         * 参数：
         * 1、交换机名称
         * 2、routingKey
         * 3、消息内容
         */
        for (int i=0;i<5;i++){
            String message = "恭喜您，注册成功！userid="+i;
            rabbitTemplate.convertAndSend("topic.exchange","topic.sms.email",message);
            System.out.println(" [x] Sent '" + message + "'");
        }
    }
}

运行测试类发送5条消息：

image-20210201110719432

web管理界面： 可以看到已经创建了交换机以及queue_email、queue_sms 2个队列，并且向这两个队列分别发送了5条消息

image-20210201110811675

消费者：

@Component
public class ReceiveHandler {

    //监听邮件队列
    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(value = "queue_email", durable = "true"),
            exchange = @Exchange(
                    value = "topic.exchange",
                    ignoreDeclarationExceptions = "true",
                    type = ExchangeTypes.TOPIC
            ),
            key = {"topic.#.email.#","email.*"}))
    public void rece_email(String msg){
        System.out.println(" [邮件服务] received : " + msg + "!");
    }

    //监听短信队列
    @RabbitListener(bindings = @QueueBinding(
            value = @Queue(value = "queue_sms", durable = "true"),
            exchange = @Exchange(
                    value = "topic.exchange",
                    ignoreDeclarationExceptions = "true",
                    type = ExchangeTypes.TOPIC
            ),
            key = {"topic.#.sms.#"}))
    public void rece_sms(String msg){
        System.out.println(" [短信服务] received : " + msg + "!");
    }
}

属性说明：

  • @Componet：类上的注解，注册到Spring容器

  • @RabbitListener：方法上的注解，声明这个方法是一个消费者方法，需要指定下面的属性：

    • bindings：指定绑定关系，可以有多个。值是@QueueBinding的数组。@QueueBinding包含下面属性：

      • value：这个消费者关联的队列。值是@Queue，代表一个队列
      • exchange：队列所绑定的交换机，值是@Exchange类型
      • key：队列和交换机绑定的RoutingKey，可指定多个

启动测试：

image-20210201115228294

6. SpringBoot使用MQ小案例

6.1 场景1：模拟用户注册

(1)项目准备

父pom文件：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
                   xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
                   xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>com.Luo</groupId>
<artifactId>sp_rabbitMQ</artifactId>
    <packaging>pom</packaging>
    <version>1.0-SNAPSHOT</version>
    <modules>
        <module>mq_producer</module>
        <module>sms_consumer</module>
        <module>emailconsumer</module>
    </modules>

    <parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>2.0.0.RELEASE</version>
</parent>

<dependencies>
    <!-- springboot-web组件 -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <!-- 添加springboot对amqp的支持 -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-amqp</artifactId>
    </dependency>
    <dependency>
        <groupId>org.apache.commons</groupId>
        <artifactId>commons-lang3</artifactId>
    </dependency>
    <!--fastjson -->
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
        <version>1.2.54</version>
    </dependency>

    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
    </dependency>
</dependencies>
</project>

image-20210319132858927

(2)生产者

yml配置文件：

spring:
  rabbitmq:
    ####连接地址
    host: 127.0.0.1
    ####端口号
    port: 5672
    ####账号
    username: guest
    ####密码
    password: guest
    ### 地址
    virtual-host: /meiteVirtualHosts
server:
  port: 8080

生产者配置类：

@Configuration
//队列交换机之类的不需要提前创建，如果不存在的话SpringBoot会帮我们进行创建
public class RabbitMQConfig {

    private static final String FANOUT_EMAIL_QUEUE="luo_email_queue";
    private static final String FANOUT_SMS_QUEUE="luo_sms_queue";
    private static final String EXCHANGE_SPRINGBOOT_NAME="/luo_ex";

    @Bean
    //定义邮件队列
    /*
     *   new Queue(QUEUE_EMAIL,true,false,false)
     *   durable="true" 持久化 rabbitmq重启的时候不需要创建新的队列
     *   auto-delete 表示消息队列没有在使用时将被自动删除 默认是false
     *   exclusive  表示该消息队列是否只在当前connection生效,默认是false
     */
    public Queue emailQueue(){
        return new Queue(FANOUT_EMAIL_QUEUE);
    }

    @Bean
    //定义短信队列
    public Queue smsQueue(){
        return new Queue(FANOUT_SMS_QUEUE);
    }

    @Bean
    //定义交换机
    //也可以 return ExchangeBuilder.topicExchange("topic.exchange").durable(true).build(); - durable(true) 持久化，mq重启之后交换机还在
    public FanoutExchange fanoutExchange(){
        return new FanoutExchange(EXCHANGE_SPRINGBOOT_NAME);
    }

    @Bean
    //将交换机和队列进行绑定
    public Binding bindingFanoutEmailExchange(Queue emailQueue,FanoutExchange fanoutExchange){
        //从ioc容器中得到队列和交换机 并用BindingBuilder进行绑定
        return BindingBuilder.bind(emailQueue).to(fanoutExchange);
    }

    @Bean
    //将交换机和队列进行绑定
    public Binding bindingFanoutSmsExchange(Queue smsQueue,FanoutExchange fanoutExchange){
        //从ioc容器中得到队列和交换机 并用BindingBuilder进行绑定
        return BindingBuilder.bind(smsQueue).to(fanoutExchange);
    }
}

发送消息用的实体类：

@Data
@AllArgsConstructor
@NoArgsConstructor
//不要忘记实现Serializable接口
public class MsgEntity implements Serializable {
    //消息唯一表示
    private String msgId;
    //发送消息的用户id
    private String userId;
    //手机号码
    private String phone;
    //邮件
    private String email;
}

生产者类：

@RestController
@Slf4j
public class ProcuderService {

    @Autowired
    private AmqpTemplate amqpTemplate;

    @PostMapping("/addMember")
    public String addMember(@RequestBody(required = false) MsgEntity msgEntity){
        //模拟业务操作插入会员数据....
        log.info("向数据库插入一条消息...");
        String msgId= UUID.randomUUID().toString();
        msgEntity = new MsgEntity(msgId, "1234", "181111111", "227@qq.com");
        //投递消息...
        log.info("投递消息...");
        sendMessage(msgEntity);
        return "用户注册成功！";
    }

    @GetMapping("/sendMessage")
    public void sendMessage(MsgEntity msgEntity){
        /*
         * 参数1 交换机名称
         * 参数2 路由key
         * 参数3 发送内容 ：
         *   1.不建议使用把对象转成json串传过去然后消费者得到json串再转换为对象，但也是可行的
         *   2.可以直接传对象，让对象实现Serializable接口，rabbit底层帮我们做了序列化和反序列化操作
         */
        amqpTemplate.convertAndSend("/luo_ex","",msgEntity);
    }

}

(3)消费者

两个消费者yml配置文件：

spring:
  rabbitmq:
    ####连接地址
    host: 127.0.0.1
    ####端口号
    port: 5672
    ####账号
    username: guest
    ####密码
    password: guest
    ### 地址
    virtual-host: /meiteVirtualHosts

server:
  port: 8000
spring:
  rabbitmq:
    ####连接地址
    host: 127.0.0.1
    ####端口号
    port: 5672
    ####账号
    username: guest
    ####密码
    password: guest
    ### 地址
    virtual-host: /meiteVirtualHosts

server:
  port: 8001

实体类：

image-20210319134050573

两个消费者类：

@Slf4j
@Component
//当监听到队列 luo_email_queue 中有消息时则会进行接收并处理
//@RabbitListener 标注在类上面表示当有收到消息的时候，就交给 @RabbitHandler 的方法处理，具体使用哪个方法处理，根据 MessageConverter 转换后的参数类型
@RabbitListener(queues = "luo_email_queue")
public class FanoutEmailConsumer {

    //加上这个注解则可以接受到消息
    @RabbitHandler
    //MsgEntity实体类全路径要和生产者的一样，否则可能会产生序列化问题
    public void process(MsgEntity msgEntity){
        log.info("调用接口发送邮件:MsgEntity:{}",msgEntity);
        //业务操作根据邮箱发送邮件....
    }

}
@Component
@RabbitListener(queues = "luo_sms_queue")
@Slf4j
public class FanoutSmsConsumer {

    @RabbitHandler
    public void process(MsgEntity msgEntity){
        log.info("调用接口发送短信:MsgEntity:{}",msgEntity);
        //业务操作根据手机号发送短信....
    }
}

消费结果：

image-20210319134631038

6.2 场景2：下订单之根据订单id获取消息结果

image-20210319150721706

生产者类：

@Component
@Slf4j
public class OrderProducer implements RabbitTemplate.ConfirmCallback {
    
    @Autowired
    private RabbitTemplate rabbitTemplate;

    @Override
    public void confirm(CorrelationData correlationData, boolean b, String s) {
        String id = correlationData.getId();
        log.info("id:" + id);
    }

    /**
     * 使用mq发送消息
     *
     * @param orderName
     * @param orderId
     */
    public void sendMsg(String orderName, String orderId) {
        OrderEntity orderEntity = new OrderEntity(orderName, orderId);
        rabbitTemplate.convertAndSend("/mayikt_order", "", orderEntity, message -> {
            return message;
        });
//        CorrelationData correlationData = new CorrelationData();
//        correlationData.setId(JSONObject.toJSONString(orderEntity));
//        rabbitTemplate.convertAndSend("/mayikt_order", "", orderEntity,correlationData);
    }

}

Controller类：

@Slf4j
@RestController
public class OrderService {

    @Autowired
    private OrderMapper orderMapper;
    @Autowired
    private OrderProducer orderProducer;

    @RequestMapping("/sendOrder")
    public String sendOrder() {
        // 生成全局id
        String orderId = System.currentTimeMillis() + "";
        log.info("orderId:{}", orderId);
        String orderName = "课程报名";
        orderProducer.sendMsg(orderName, orderId);
        return orderId;
    }


    /**
     * 前端主动根据orderId定时查询
     *
     * @param orderId
     * @return
     */
    @RequestMapping("/getOrder")
    public Object getOrder(String orderId) {
        OrderEntity order = orderMapper.getOrder(orderId);
        if (order == null) {
            return "该订单没有被消费或者订单号错误!";
        }
        return order;
    }

}

6.3 场景3：死信队列

(1)产生死信队列的原因

  1. 消息投递到MQ中存放 消息已经过期 消费者没有及时的获取到我们消息，消息如果存放到mq服务器中过期之后，会转移到备胎死信队列存放。
  2. 队列达到最大的长度 （队列容器已经满了）
  3. 消费者消费多次消息失败，就会转移存放到死信队列中

image-20210319154749879

(2)死信队列的架构原理

死信队列和普通队列区别不是很大

普通与死信队列都有自己独立的交换机和路由key、队列和消费者。

区别：

1.生产者投递消息先投递到我们普通交换机中，普通交换机在将该消息投到普通队列中缓存起来，普通队列对应有自己独立普通消费者。

2.如果生产者投递消息到普通队列中，普通队列发现该消息一直没有被消费者消费的情况下，在这时候会将该消息转移到死信（备胎）交换机中，死信（备胎）交换机对应有自己独立的 死信（备胎）队列 对应独立死信（备胎）消费者。

(3)死信队列应用场景

30分钟订单超时设计：
方法A. Redis过期key 。
方法B. 死信延迟队列实现：
采用死信队列，创建一个普通队列没有对应的消费者消费消息，在30分钟过后就会将该消息转移到死信备胎消费者实现消费。
备胎死信消费者会根据该订单号码查询是否已经支付过，如果没有支付的情况下则会开始回滚库存操作。

(4)代码实现

配置类：

@Component
public class DeadLetterMQConfig {
    /**
     * 订单交换机
     */
    @Value("${mayikt.order.exchange}")
    private String orderExchange;

    /**
     * 订单队列
     */
    @Value("${mayikt.order.queue}")
    private String orderQueue;

    /**
     * 订单路由key
     */
    @Value("${mayikt.order.routingKey}")
    private String orderRoutingKey;
    /**
     * 死信交换机
     */
    @Value("${mayikt.dlx.exchange}")
    private String dlxExchange;

    /**
     * 死信队列
     */
    @Value("${mayikt.dlx.queue}")
    private String dlxQueue;
    /**
     * 死信路由
     */
    @Value("${mayikt.dlx.routingKey}")
    private String dlxRoutingKey;

    /**
     * 声明死信交换机
     *
     * @return DirectExchange
     */
    @Bean
    public DirectExchange dlxExchange() {
        return new DirectExchange(dlxExchange);
    }

    /**
     * 声明死信队列
     *
     * @return Queue
     */
    @Bean
    public Queue dlxQueue() {
        return new Queue(dlxQueue);
    }

    /**
     * 声明订单业务交换机
     *
     * @return DirectExchange
     */
    @Bean
    public DirectExchange orderExchange() {
        return new DirectExchange(orderExchange);
    }

    /**
     * 声明订单队列，声明普通队列的时候绑定一个死信(备胎)的交换机
     *
     * @return Queue
     */
    @Bean
    public Queue orderQueue() {
        // 订单队列绑定我们的死信交换机
        Map<String, Object> arguments = new HashMap<>(2);
        arguments.put("x-dead-letter-exchange", dlxExchange);
        arguments.put("x-dead-letter-routing-key", dlxRoutingKey);
        return new Queue(orderQueue, true, false, false, arguments);
    }

    /**
     * 绑定死信队列到死信交换机
     *
     * @return Binding
     */
    @Bean
    public Binding binding() {
        return BindingBuilder.bind(dlxQueue())
                .to(dlxExchange())
                .with(dlxRoutingKey);
    }


    /**
     * 绑定订单队列到订单交换机
     *
     * @return Binding
     */
    @Bean
    public Binding orderBinding() {
        return BindingBuilder.bind(orderQueue())
                .to(orderExchange())
                .with(orderRoutingKey);
    }
}

生产者：

@RestController
public class OrderProducer {
    @Autowired
    private RabbitTemplate rabbitTemplate;
    /**
     * 订单交换机
     */
    @Value("${mayikt.order.exchange}")
    private String orderExchange;
    /**
     * 订单路由key
     */
    @Value("${mayikt.order.routingKey}")
    private String orderRoutingKey;

    @RequestMapping("/sendOrder")
    public String sendOrder() {
        String msg = "我是消息";
        rabbitTemplate.convertAndSend(orderExchange, orderRoutingKey, msg, message -> {
            /* 设置消息过期时间 10秒过期(消息投递到订单队列之后缓存的时间为10秒，
            如果消息在10秒内没有被订单消费者消费，订单队列就会把该过期消息转移到死信队列) */
            message.getMessageProperties().setExpiration("10000");
            return message;
        });
        return "success";
    }
}

订单消费者(代码注释掉模拟没有进行消费,10秒后会交给死信消费者)：

///**
// * 订单消费者
// */
//@Component
//@Slf4j
//public class OrderConsumer {
//
//    /**
//     * 监听队列回调的方法
//     *
//     * @param msg
//     */
//    @RabbitListener(queues = "mayikt_order_queue")
//    public void orderConsumer(String msg) {
//        log.info(">>正常订单消费者消息MSG:{}<<", msg);
//    }
//}

死信消费者：

@Slf4j
@Component
public class OrderDlxConsumer {

    /**
     * 死信队列监听队列回调的方法
     *
     * @param msg
     */
    @RabbitListener(queues = "mayikt_order_dlx_queue")
    public void orderConsumer(String msg) {
        log.info(">死信队列消费订单消息:msg{}<<", msg);
    }
}

6.4 场景4：消息幂等问题(消息重试机制)

(1)RabbitMQ消息自动重试机制

1.当我们消费者处理执行我们业务代码的时候，如果抛出异常的情况下在这时候mq会自动触发重试机制，默认的情况下rabbitmq是无限次数的重试。需要人为指定重试次数限制问题

image-20210319164126581

image-20210319164307236

2.在什么情况下消费者需要实现重试策略？

A.消费者获取消息后，调用第三方接口，但是调用第三方接口失败呢？是否需要重试？

  • 该情况下需要实现重试策略，网络延迟只是暂时调用不通，重试多次有可能会调用通。（例如调用失败直接抛出异常，rabbitMQ就会自动帮我们重试）

B. 消费者获取消息后，因为代码问题抛出数据异常，是否需要重试？

  • 该情况下是不需要实现重试策略，就算重试多次，最终还是失败的。

  • 可以将日志存放起来，后期通过定时任务或者人工补偿形式。

    • image-20210319165458250
  • 如果是重试多次还是失败消息，需要重新发布消费者版本实现消费

  • 可以使用死信队列

    • image-20210319165625351

小总结：如果消费者处理消息时，因为代码原因抛出异常是需要从新发布版本才能解决的，那么就不需要重试，重试也解决不了该问题的。存放到死信队列或者是数据库表记录、后期人工实现补偿。

3.Mq在重试的过程中，有可能会引发消费者重复消费的问题

Mq消费者需要解决 幂等性问题

幂等性 保证数据唯一

方式1：

生产者在投递消息的时候，生成一个全局唯一id，放在我们消息中。

image-20210319171419126

消费者获取到我们该消息，可以根据该全局唯一id实现去重复。

全局唯一id 根据业务来定的 订单号码作为全局的id

实际上还是需要再db层面解决数据防重复(例如多个请求同时访问查询id那一行可能会不安全)。

  • 业务逻辑是在做insert操作 使用唯一主键约束
  • 业务逻辑是在做update操作 使用乐观锁

总结：

  1. 当消费者业务逻辑代码中，抛出异常自动实现重试 （默认是无数次重试）
  2. 应该对RabbitMQ重试次数实现限制，比如最多重试5次，每次间隔3s；重试多次还是失败的情况下，存放到死信队列或者存放到数据库表中记录后期人工补偿

(2)Rabbitmq如何设置重试策略

spring:
  rabbitmq:
    ####连接地址
    host: 127.0.0.1
    ####端口号
    port: 5672
    ####账号
    username: guest
    ####密码
    password: guest
    ### 地址
    virtual-host: /meite_rabbitmq
    listener:
      simple:
        retry:
          ####开启消费者（程序出现异常的情况下会）进行重试
          enabled: true
          ####最大重试次数
          max-attempts: 5
          ####重试间隔次数
          initial-interval: 3000

(3)开启手动ack模式

配置文件：

spring:
  rabbitmq:
    ####连接地址
    host: 127.0.0.1
    ####端口号
    port: 5672
    ####账号
    username: guest
    ####密码
    password: guest
    ### 地址
    virtual-host: /meiteVirtualHosts
    listener:
      simple:
        retry:
          ####开启消费者（程序出现异常的情况下会）进行重试
          enabled: true
          ####最大重试次数
          max-attempts: 5
          ####重试间隔次数
          initial-interval: 3000
        ####手动ack模式
        acknowledge-mode: manual
  datasource:
    url: jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=UTF-8
    username: root
    password: root
    driver-class-name: com.mysql.jdbc.Driver

消费者类：

image-20210318204619133

开启手动ack模式之后，如果不手动确认，消息是不会从队列中删除的。

@Slf4j
@Component
@RabbitListener(queues = "fanout_order_queue")
public class FanoutOrderConsumer {

    @Autowired
    private OrderManager orderManager;
    @Autowired
    private OrderMapper orderMapper;

    @RabbitHandler
    public void process(OrderEntity orderEntity, Message message, Channel channel) throws IOException {
//        try {
        log.info(">>orderEntity:{}<<", orderEntity.toString());
        String orderId = orderEntity.getOrderId();
        if (StringUtils.isEmpty(orderId)) {
            log.error(">>orderId is null<<");
            return;
        }
        OrderEntity dbOrderEntity = orderMapper.getOrder(orderId);
        if (dbOrderEntity != null) {
            log.info(">>该订单已经被消费过，无需重复消费!<<");
            // 无需继续重试，这里也需要删除消息
            channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);
            return;
        }
        int result = orderManager.addOrder(orderEntity);

        log.info(">>插入数据库中数据成功<<");
if (result >= 0) {
            // 消费消息成功，发一个手动ack给mq服务端，然它把消息从队列中移除
            channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);
        }
//        int i = 1 / 0;
//        } catch (Exception e) {
//            // 将失败的消息记录下来，后期采用人工补偿的形式
//        }
    }
}

7. MQ的应用场景

6.1 异步处理

场景说明：用户注册后，需要发注册邮件和注册短信,传统的做法有两种 1.串行的方式 2.并行的方式

  • 串行方式: 将注册信息写入数据库后,发送注册邮件,再发送注册短信,以上三个任务全部完成后才返回给客户端。 这有一个问题是,邮件,短信并不是必须的,它只是一个通知,而这种做法让客户端等待没有必要等待的东西.

这里写图片描述

  • 并行方式: 将注册信息写入数据库后,发送邮件的同时,发送短信,以上三个任务完成后,返回给客户端,并行的方式能提高处理的时间。

这里写图片描述

  • 消息队列:假设三个业务节点分别使用50ms,串行方式使用时间150ms,并行使用时间100ms。虽然并行已经提高的处理时间,但是,前面说过,邮件和短信对我正常的使用网站没有任何影响，客户端没有必要等着其发送完成才显示注册成功,应该是写入数据库后就返回. 消息队列: 引入消息队列后，把发送邮件,短信不是必须的业务逻辑异步处理

img

由此可以看出,引入消息队列后，用户的响应时间就等于写入数据库的时间+写入消息队列的时间(可以忽略不计),引入消息队列后处理后,响应时间是串行的3倍,是并行的2倍。

6.2 应用解耦

场景：双11是购物狂节,用户下单后,订单系统需要通知库存系统,传统的做法就是订单系统调用库存系统的接口.

这里写图片描述

这种做法有一个缺点:

当库存系统出现故障时,订单就会失败。 订单系统和库存系统高耦合. 引入消息队列

这里写图片描述

  • 订单系统:用户下单后,订单系统完成持久化处理,将消息写入消息队列,返回用户订单下单成功。
  • 库存系统:订阅下单的消息,获取下单消息,进行库操作。 就算库存系统出现故障,消息队列也能保证消息的可靠投递,不会导致消息丢失.

6.3 流量削峰

场景: 秒杀活动，一般会因为流量过大，导致应用挂掉,为了解决这个问题，一般在应用前端加入消息队列。

作用:

​ 1.可以控制活动人数，超过此一定阀值的订单直接丢弃(我为什么秒杀一次都没有成功过呢^^)

​ 2.可以缓解短时间的高流量压垮应用(应用程序按自己的最大处理能力获取订单)

这里写图片描述

1.用户的请求,服务器收到之后,首先写入消息队列,加入消息队列长度超过最大值,则直接抛弃用户请求或跳转到错误页面.

2.秒杀业务根据消息队列中的请求信息，再做后续处理.

8. RabbitMQ的集群

7.1 集群架构

7.1.1 普通集群(副本集群)

All data/state required for the operation of a RabbitMQ broker is replicated across all nodes. An exception to this are message queues, which by default reside on one node, though they are visible and reachable from all nodes. To replicate queues across nodes in a cluster --摘自官网

默认情况下:RabbitMQ代理操作所需的所有数据/状态都将跨所有节点复制。这方面的一个例外是消息队列，默认情况下，消息队列位于一个节点上，尽管它们可以从所有节点看到和访问

  1. 架构图

image-20200320094147471

​ 核心解决问题: 当集群中某一时刻master节点宕机,可以对Quene中信息,进行备份

  1. 集群搭建
    # 0.集群规划
node1: 10.15.0.3  mq1  master 主节点
node2: 10.15.0.4  mq2  repl1  副本节点
node3: 10.15.0.5  mq3  repl2  副本节点

# 1.克隆三台机器主机名和ip映射
vim /etc/hosts加入:
 10.15.0.3 mq1
 10.15.0.4 mq2
 10.15.0.5 mq3
node1: vim /etc/hostname 加入:  mq1
node2: vim /etc/hostname 加入:  mq2
node3: vim /etc/hostname 加入:  mq3

# 2.三个机器安装rabbitmq,并同步cookie文件,在node1上执行:
scp /var/lib/rabbitmq/.erlang.cookie root@mq2:/var/lib/rabbitmq/
scp /var/lib/rabbitmq/.erlang.cookie root@mq3:/var/lib/rabbitmq/

# 3.查看cookie是否一致:
node1: cat /var/lib/rabbitmq/.erlang.cookie 
node2: cat /var/lib/rabbitmq/.erlang.cookie 
node3: cat /var/lib/rabbitmq/.erlang.cookie 

# 4.后台启动rabbitmq所有节点执行如下命令,启动成功访问管理界面:
rabbitmq-server -detached 

# 5.在node2和node3执行加入集群命令:
1.关闭       rabbitmqctl stop_app
2.加入集群    rabbitmqctl join_cluster rabbit@mq1
3.启动服务    rabbitmqctl start_app

# 6.查看集群状态,任意节点执行:
rabbitmqctl cluster_status

# 7.如果出现如下显示,集群搭建成功:
Cluster status of node rabbit@mq3 ...
[{nodes,[{disc,[rabbit@mq1,rabbit@mq2,rabbit@mq3]}]},
{running_nodes,[rabbit@mq1,rabbit@mq2,rabbit@mq3]},
{cluster_name,<<"rabbit@mq1">>},
{partitions,[]},
{alarms,[{rabbit@mq1,[]},{rabbit@mq2,[]},{rabbit@mq3,[]}]}]

# 8.登录管理界面,展示如下状态:

image-20200320095613586

# 9.测试集群在node1上,创建队列

image-20200320095743935

# 10.查看node2和node3节点:

image-20200320095827688

image-20200320095843370

# 11.关闭node1节点,执行如下命令,查看node2和node3:
    rabbitmqctl stop_app

image-20200320100000347

image-20200320100010968

---

7.1.2 镜像集群

This guide covers mirroring (queue contents replication) of classic queues --摘自官网

By default, contents of a queue within a RabbitMQ cluster are located on a single node (the node on which the queue was declared). This is in contrast to exchanges and bindings, which can always be considered to be on all nodes. Queues can optionally be made mirrored across multiple nodes. --摘自官网

镜像队列机制就是将队列在三个节点之间设置主从关系，消息会在三个节点之间进行自动同步，且如果其中一个节点不可用，并不会导致消息丢失或服务不可用的情况，提升MQ集群的整体高可用性。

  1. 集群架构图

image-20200320113423235

  1. 配置集群架构
    # 0.策略说明
rabbitmqctl set_policy [-p <vhost>] [--priority <priority>] [--apply-to <apply-to>] <name> <pattern>  <definition>
-p Vhost： 可选参数，针对指定vhost下的queue进行设置
Name:     policy的名称
Pattern: queue的匹配模式(正则表达式)
Definition：镜像定义，包括三个部分ha-mode, ha-params, ha-sync-mode
            ha-mode:指明镜像队列的模式，有效值为 all/exactly/nodes
                 all：表示在集群中所有的节点上进行镜像
                 exactly：表示在指定个数的节点上进行镜像，节点的个数由ha-params指定
                 nodes：表示在指定的节点上进行镜像，节点名称通过ha-params指定
          ha-params：ha-mode模式需要用到的参数
         ha-sync-mode：进行队列中消息的同步方式，有效值为automatic和manual
         priority：可选参数，policy的优先级
         
          
# 1.查看当前策略
rabbitmqctl list_policies

# 2.添加策略
rabbitmqctl set_policy ha-all '^hello' '{"ha-mode":"all","ha-sync-mode":"automatic"}' 
说明:策略正则表达式为 “^” 表示所有匹配所有队列名称  ^hello:匹配hello开头队列

# 3.删除策略
rabbitmqctl clear_policy ha-all

# 4.测试集群

----

最后修改：2021 年 03 月 19 日 07 : 26 PM
© 允许规范转载
如果觉得我的文章对你有用，请随意赞赏