您的位置 首页 java

JavaWeb项目架构之Redis分布式日志队列

摘要

架构、分布式、日志队列,标题自己都看着唬人,其实就是一个日志收集的功能,只不过中间加了一个 redis 做消息队列罢了。 为什么需要消息队列? 当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候,就需要消息队列,作为抽象层,弥合双方的差异。

架构、分布式、日志队列,标题自己都看着唬人,其实就是一个日志收集的功能,只不过中间加了一个Redis做消息队列罢了。

为什么需要消息队列?

当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候,就需要消息队列,作为抽象层,弥合双方的差异。

比如我们系统中常见的邮件、短信发送,把这些不需要及时响应的功能写入队列,异步处理请求,减少响应时间。

如何实现?

成熟的JMS消息队列中间件产品市面上有很多,但是基于目前项目的架构以及部署情况,我们采用Redis做消息队列。

为什么用Redis?

Redis中list数据结构,具有“双端队列”的特性,同时redis具有持久数据的能力,因此redis实现分布式队列是非常安全可靠的。

它类似于JMS中的“Queue”,只不过功能和可靠性(事务性)并没有JMS严格。Redis本身的高性能和”便捷的”分布式设计(replicas,sharding),可以为实现”分布式队列”提供了良好的基础。

提供者端

项目采用第三方redis插件 Spring -data-redis,不清楚如何使用的请自行谷歌或者百度。

redis.properties:

redis配置:

切面日志配置( 伪代码 ):

消费者端

Redis配置:

监听接口:

监听实现:

Q&A

【问题一】为什么使用Redis?

上面其实已经有做说明,尽管市面上有许多很稳定的产品,比如可能大家会想到的Kafka、 RabbitMQ 以及RocketMQ。但是由于项目本身使用了Redis做 分布式缓存 ,基于省事可行的原则就选定了Redis。

【问题二】日志数据如何存储?

原则上是不建议存储到 关系数据库 的,比如 MySql ,毕竟产生的日志数量是巨大的,建议存储到Elasticsearch等 非关系型数据库

【问题三】切面日志收集是如何实现的?

切面日志需要引入spring-aspects相关Jar包,并且配置使Spring采用CGLIB代理 。

分享是快乐的,也见证了个人成长历程,文章大多都是工作经验总结以及平时学习积累,基于自身认知不足之处在所难免,也请大家指正,共同进步。

文章来源:智云一二三科技

文章标题:JavaWeb项目架构之Redis分布式日志队列

文章地址:https://www.zhihuclub.com/192157.shtml

关于作者: 智云科技

热门文章

网站地图