[斗鱼]没人比我更懂微服务–Go微服务框架Jupiter

作者:aerox@斗鱼
项目开源地址:https://github.com/douyu/jupiter

Jupiter 是斗鱼开源的,面向服务治理的Golang微服务框架,以开发效率和治理效率为核心目标,从统一开发规范、
完善监控埋点、降低开发难度等多个维度来帮助Gopher开发高性能、高可靠性的微服务框架。

Jupiter在斗鱼内部经过三年打磨、几百个服务的线上验证,在多种应用场景中适配、历经多次基础架构迭代,
有效地保障了服务应用的快速迭代、精确监控,并在异地多活、容器云、混沌工程等基础建设中,支撑服务的平滑迁移、平稳变更。近期,Jupiter Go v0.5.0 正式发布,与之同步发布的还有治理平台Juno。两者相得益彰,
帮助开发者快速落地、并具备服务治理能力的微服务架构。我们致力于将Go微服务框架标准化,统一错误码、日志、监控、注册、流控的Schema。做到微服务的各个模块可观测、可治理,管理微服务研发侧的全套生命周期。以下是Jupiter的架构图。

image.png

微服务基础框架

现代微服务架构是分布式的,业务逻辑被拆分到不同的服务中,服务之间通过RPC相互调用。随着业务规模的增大,
服务的数量也随之增加,当增加到一定程度的时候,开发和运维效率将面临严重挑战。

斗鱼Web服务在服务化过程中为应对这种挑战,逐步形成了以Jupiter为核心的基础框架和以Juno为核心的治理平台。
Jupiter是作为面向服务治理的微服务基础框架,有四个核心关注点:
• 开发效率: 提升开发效率、加速软件生命周期的迭代。
• 治理效率: 提升治理效率,实现规模化治理。
• 多场景应用: 识别通用场景,形成公共知识,持续提升团队开发效率。
• 演进式架构: 保证服务在自建机房、容器云、网格化等基础架构变更和基础设施变更过程中的平滑迁移。

开发效率

开发效率是Web框架的核心关注点,好的Web框架融合了代码规范、最佳实践和安全编码,并能显著提高编码效率。如果是自研的框架,还承担着把组织内部的知识,进行抽象和提取,形成公共知识的责任。

同时,Golang作为一门“新”语言,生态相对也较“新”,实际使用还将面临一些“额外”风险:
• 开源类库的质量和维护力度参差不齐,如果有bug或者不兼容问题,其修复难度较大。
• Golang去中心化的依赖管理会导致类库管理困难,开发人员可以随意“引入”或“升降级”依赖库。
• 不同类库的代码风格差异大,有一定使用成本。
• Golang历经了多种包管理方式,对国内的开发者而言,俨然一部血泪史。目前gomod大有改善,但仍有个别老旧类库存在问题。

Jupiter是伴随斗鱼服务化一步步实践而来,经历了go1.7到go1.14既平滑(完美向前兼容)又剧烈(生态、依赖管理)的成长。针对业务的开发效率以及“额外”风险,Jupiter有一些基本的认识:
• 以monorepo的方式整合核心框架、自研类库并包装第三方类库。长期看,这将极大减少维护成本。
• 利用语言机制如type alias/type embedding等,封装常用的第三方类库,尽量减少直接引用第三方类库。这提供了一种缓冲机制,避免依赖被随意“升降级”,第三方bug也可以被方便管控。
• 通过包装,一些关键类库万不得已的时候可以切到自研,也可以由自研切换到开源,降低维护成本。
• 统一所有包的使用方式,包括配置驱动、统一错误码、统一日志埋点、指标埋点等,减少开发人员心智负担。

当然,上述很多问题不能仅仅依赖于基础框架来解决,并且随着Golang语言和生态的发展,一些问题也在不断缓解。但核心的需求还在,即通过整合基础框架,降低风险,提高效率。

除了针对主要开发环境的效率提升外,Jupiter针对调试、测试、CI流程等方面也做了一些工作,以提高整个软件周期的效率。

治理效率

治理效率是微服务架构的关键需求。微服务架构中,应用数总是不断上升,人均应用维护数增加到一定数目以后,维护效率将大幅度下降。如果碰到突发事件,将产生严重后果。因此,微服务架构非常强调服务治理能力和应用管理能力。一般来说,微服务治理包括:
• 服务注册与发现: 服务注册、负载均衡等
• 可观测性: 拓扑关系、指标、日志、链路等
• 流量管理: 流量特征识别、流量导向等,以及基于此的灰度、蓝绿发布、A/B Test等细分应用
• 安全策略: 访问控制、限流熔断等
• 生命周期: 发布、下线管理,版本控制等

微服务治理是一项基础能力,需要代码规范、治理平台、基础框架甚至组织架构等多个方面协作,才能达到比较好的效果。

我们近期还会将治理平台juno开源部分微服务治理能力,未来还将整理和开源更多的治理能力,并与社区共建,进一步完善微服务治理。这部分,我们将在单独的文档中进行更详细说明。

在基础框架的部分,我们认为基础框架是沟通业务与治理平台的关键,一定程度上也定义了服务治理流程。在Jupiter中,针对服务治理,有几个关键点:
• 增强核心模块可观测性:完善的日志、指标、链路埋点,并形成规范,从而实现报表、报警直出。
• 统一错误码:  规范的错误码和错误收敛机制,能够极大的提升错误定位和排查速度。
• 拦截器支持: 针对http/grpc的server/client以及redis/mysql/mongo/rocketmq等IO,全部支持拦截器机制,以进一步支持更丰富的治理策略。
• 安全策略内置: 主要模块内置限流熔断、访问控制、慢查询监测等安全策略。
• 流量路由和管理: 提供多种负载均衡和流量路由策略,以及针对A/B Test、影子流量等细分场景的流量策略。

多应用场景

支持多应用场景前,需要准确的识别应用场景,而识别的过程就是一个规范代码、探索实践的过程。应用场景的定义可以很宽泛,这里举几个例子简单说明:

  • 缓存策略。缓存的策略有很多种,在Web开发领域也经常使用。我们注意到业务实现中,经常会有数据过期时,一个请求穿透、多个请求原地block的场景。通过引入滑动窗口和半衰期,让一个请求穿透、多个请求正常返回,从而实现更高效的缓存策略。
  • 与Java Dubbo流量互通。dubbo支持gRPC协议,因此在协议层,dubbo与grpc-go是可以流量互通的。Jupiter通过增加一个基于接口(dubbo的默认注册方式)的服务注册键,从而实现服务注册与发现层面上的流量互通。

类似的例子在Jupiter中还有很多,如任务编排、流程编排、redis的并发pipeline、在线压测的mysql影子流量等。
应用场景的识别是形成公共知识、加速团队开发效率的重要手段

演进式架构

Web开发和运维技术在不断的发展,短短几年已涌现出了非常多的计算形态,如云计算、边缘计算、容器化、网格化、Serverless等。服务保障技术方面,异地多活、混沌工程也在不断发展。语言栈方面,很多公司也在从早期单一的PHP、Java栈扩大到多语言栈并存的局面,特别是近年来Golang因在容器化和运维效率上的优势,越来越多的被应用到Web服务开发。但每次技术迭代,享受效率提升的同时,也在不断经历应用改造和迁移的痛苦。

从应用的角度来看,面对的是一个不断变化的外部环境,新的问题不断产生。以斗鱼Web服务部为例,可以通过一个时间线管中窥豹:

  • 应用开始服务化: 这个阶段开始构建大量的基础治理平台,包括发布中心、监控中心、注册中心及各个管理细分平台。 同时,一些新的基础设施开始引入,如etcd,prometheus、jaeger等。
  • 语言栈从单一的PHP扩展为Golang、Java、PHP的多语言栈。API规范、服务互通在这个阶段凸显。
  • 多机房建设: 流量管控、服务质量、安全策略的要求凸显。
  • 容器化: 传统基于IP/Port的治理方式、流量管理和分发、服务监控需要做出相应改变。
  • Service Mesh: 基于SDK的服务注册、发现,监控需要适配。

总体上,基础架构的变更将对整个治理体系产生影响,特别是治理平台。正视变化,并前瞻性和针对性的优化,将有助于减少外部环境变化对业务逻辑的影响,并享受整个生态进步带来的效率提升。

结语

以上是Jupiter对微服务架构实践的一些核心关注点和功能的介绍。详细的介绍,欢迎大家访问https://github.com/douyu/jupiter来了解。

Jupiter Go正在快速迭代,v0.5.0包含了基本的架构骨架,更多的功能也在逐步整理,并将尽快开源出来。我们非常欢迎感兴趣的开发者参与贡献,一起来丰富Jupiter的功能、推动未来版本的演进。

最后我们这里有个小活动,在6月8日24点前,可以在我们地址https://github.com/douyu/jupiter,提有关jupiter或者微服务的建议和意见,我们会挑选有建设性的issue,发放我们的斗鱼周边礼物。

加入我们

钉钉        

image.png

微信


治理后台展示

鉴于治理平台开源Juno还在做开源前的整理准备,这里放上几张截图供大家提前了解。

image.png

image.png

image.png


发表评论

电子邮件地址不会被公开。 必填项已用*标注