您的位置 首页 golang

Go语言重新开始,Go Modules的前世今生与基本使用

2020年 腾讯 内部的一份开发者报告显示,Go语言已经成为腾讯内部第二大后端开发语言,在腾讯每天有大量的 Go 开发者在做业务和平台开发,大量的团队和项目使用也暴露出一些问题,随着Go Modules的出现,类似于内部自签发证书、安全审计等这些问题也逐渐得到解决。

笔者在腾讯当前负责 腾讯云 在Go 编程语言 使用上的一些问题,2021年初开始负责内部goproxy服务并推广Go Modules使用,这些技术支撑了 腾讯云 微信 腾讯视频 腾讯游 腾讯音乐 腾讯会议 等明星产品,并与公司内部软件源团队、工蜂团队、TRPC团队以及各个CI团队达成密切的合作。在本系列文章中,笔者就将由浅入深帮助大家开始学习和了解 Go Modules

一、Golang开发的模式演进

从Go出生开始,用户就一直在使用GOPATH这个环境变量,随着Go语言的快速发展和不断壮大,由GOPATH引起的编译依赖问题也开始逐渐出现。终于在2019年,Golang迎来10周年之际,Google Go团队终于开始把目光投向了这一伴随了Golang十年的环境变量。

二、GOPATH的使用

目前在Go中存在两种开发模式, GOPATH mode和Go Modules mode 。在Go Modules之前,Go开发中的依赖管理使用GOPATH开发模式。在GOPATH开发模式中,Go命令使用GOPATH环境变量来实现以下几个功能:

  • go install命令安装 二进制 库到$GOBIN,其默认路径为$GOPATH/bin。

  • go install命令安装编译好的包到$GOPATH/pkg/中,例如将example.com/y/z安装到$GOPATH/pkg/example.com/y/z.a。

  • go get命令下载源码包到$GOPATH/src/中,例如将example.com/y/z下载到$GOPATH/src/example。

三、Go Modules的发展历程

GOPATH mode开发模式是终将要被淘汰的,Go官方在整个Go开发生态系统中添package version这一概念,进而引入Go Modules开发模式。从GOPATH mode开发模式变换到Go Modules是一个漫长的过程,它已经经历了数个Go的发行版本:

  • Go 1.11 (2018年8月) 引入了GO111MODULE环境变量,其默认值为auto。如果设置该变量 GO111MODULE=off,那么Go命令将始终使用GOPATH mode开发模式。如果设置该变量GO111MODULE=on,Go命令将始终使用Go Modules开发模式。如果设置该变量GO111MODULE=auto(或者不设置),Go命令行会根据当前工作目录来决定使用哪种模式,如果当前目录在$GOPATH/src以外,并且在根目录下存在go.mod文件,那么Go命令会启用Go Module模式,否则使用GOPATH开发模式。这个规则保证了所有在$GOPATH/src中使用auto值时原有编译不受影响,并且还可以在其他目录中来体验最新的Go Module开发模式。

  • Go 1.13 (2019年8月) 调整了GO111MODULE=auto模式中对$GOPATH/src的限制,如果一个代码库在$GOPATH/src中,并且有go.mod文件的存在,Go命令会启用Module开发模式。这允许用户继续在基于导入的层次结构中组织他们的检出代码,但使用模块进行个别仓库的导入。

  • Go 1.16 (2021年2月) 会将GO111MODULE=on做为默认值,默认启用Go Module开发模式,也就是说,默认情况下GOPATH开发模式将被彻底关闭。如果用户需要使用GOPATH开发模式可以指定环境变量GO111MODULE=auto或者GO111MODULE=off。

  • Go 1.NN (???) 将会废弃GO111MODULE环境变量和GOPATH开发模式,默认完全使用Module开发模式。

四、GOPATH与Go Modules的“相爱相杀”

针对大家关心的几个问题,笔者对此作出如下回答:

(一)GOPATH变量会被移除吗?

不会,GOPATH变量不会被移除。未来废弃GOPATH开发模式并不是指删除GOPATH环境变量,它会继续保留,主要作用如下:

  • go install命令安装二进制到$GOBIN目录,其默认位置为$GOPATH/bin。

  • go get命令缓存下载的Modules到$GOMODCACHE目录,默认位置为$GOPATH/pkg/mod。

  • go get命令缓存下载的checksum数据到$GOPATH/pkg/sumdb目录。

(二)我可以继续在 ` GOPATH/src/import/path ` 中创建代码库吗?

可以,很多开发者以这样的文件结构来组织自己的仓库,你只需要在自己创建的仓库中添加go.mod文件。

(三)如果我想测试修改一个我需要的依赖库,我该怎么做?

如果你编译自己的项目时依赖了一些未发布的变更,你可以使用go.mod的 replace 来实现你的需求。

举个例子,如果你已经将golang.org/x/website和golang.org/x/tools下载到$GOPATH/src/目录下,那么你可以在$GOPATH/src/golang.org/x/website/go.mod中添加下面的指令来完成替换:replace golang.org/x/tools=>$GOPATH/src/golang.org/x/tools

当然,replace指令是不感知GOPATH的,将代码下载到其他目录也一样可以。

五、从0开始使用Go Modules

(一)创建一个新的Go Module

首先创建一个新目录/home/ gopher /hello,然后进入到这个目录中,接着创建一个新文件,hello.go:

 package hello  func Hello string {   return "Hello, world."  }  

然后再写个对应的测试文件hello_test.go:

 package hello  import "testing"  func TestHello(t *testing.T) {   want := "Hello, world."   if got := Hello; got != want {   t.Errorf("Hello = %q, want %q", got, want)   }  }  

现在我们拥有了一个package,但它还不是一个Module,因为还没有创建go.mod文件。如果在/home/gopher/hello目录中执行go test,则可以看到: $go test

go :go.mod file not found in current directory or any parent directory;see’go help modules’

可以看到Go命令行提示没有找到go.mod文件,可以参考Go help Modules。这样的话可以使用Go mod init来初始化一下,然后再执行Go test:

 $ go mod init example.com/hello  go: creating new go.mod: module example.com/hello  go: to add module requirements and sums:  go mod tidy  $go mod tidygo   $ go test  PASS  ok example.com/hello 0.020s  $  

这样的话,Module测试就完成了。然后执行的go mod init命令创建了一个go.mod文件:

 $ cat go.mod  module example.com/hello  go 1.17  

(二)给Module添加依赖

Go Modules的主要亮点在于在编程时使用别人写的代码,即引入一个依赖库时能有非常好的体验。首先更新一下hello.go,引入rsc.io/quote来实现一些新的功能。

 package hello  import "rsc.io/quote"  func Hello string {   return quote.Hello  }  

然后,再测试一下:

 $ go test  hello.go:3:8: no required module provides package rsc.io/quote; to add it:  go get rsc.io/quote  $ go get rsc.io/quote  go: downloading rsc.io/quote v1.5.2  go: downloading rsc.io/sampler v1.3.0  go: downloading golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c  go: added golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c  go: added rsc.io/quote v1.5.2  go: added rsc.io/sampler v1.3.0  $ go test  PASS  ok example.com/hello 1.401s  

从Go 1.7开始,Go Modules开始使用lazyloading加载机制,依赖库的更新需要根据提示手动进行相应的更新。

Go命令会根据go.mod的文件来解析拉取指定的依赖版本。如果在go.mod 中没有找到指定的版本,会提示相应的命令引导用户添加,然后Go命令会去解析最新的稳定版本(Latest),并且添加到go.mod文件中。在这个例子中可以看到,第一次执行的Go test运行需要rsc.io/quote这个依赖,但是在go.mod文件中并没有找到,于是引导用户去获取latest版本,用户通过go get rsc.io/quote获取了最新版本v1.5.2,而且还另外下载了另外两个 rsc.io/quote需要的依赖:rsc.io/sampler和golang.org/x/text。间接依赖引用也会记录在go.mod文件中,使用indirect注释进行标记。

 $ cat go.mod  module example.com/hello  go 1.17  require (   golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c // indirect   rsc.io/quote v1.5.2 // indirect   rsc.io/sampler v1.3.0 // indirect  )  

再一次运行go test命令不会重复上面的工作,因为go.mod已经是最新的,并且所需的依赖包已经下载到本机中了(在$GOPATH/pkg/mod中):

 $ go test  PASS  ok example.com/hello 0.020s  

注意 :虽然Go命令可以快速轻松地添加新的依赖项,但并非没有代价。

如上面所提到,在项目中添加一个直接依赖可能会引入其他间接依赖。go list-m all命令可以列出当前项目所依赖的所有依赖:

 $ go list -m all  example.com/hello  golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c  rsc.io/quote v1.5.2  rsc.io/sampler v1.3.0  

在go list的输出结果中,可以看到当前的Module,也被称为main module会展示在第一行,然后其他的会按照Module path进行排序。其中依赖golang.org/x/text的版本号v0.0.0-20170915032832-14c0d48ead0c是一个伪版本号,它是Go版本的一种,指向了一个没有打tag的commit上。

另外除了go.mod文件,go命令还维护了一个叫做go.sum的文件,这个文件包含了每个版本对应的加密哈希值。

 $ cat go.sum  golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c h1:qgOY6WgZO...  golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c/go.mod h1:Nq...  rsc.io/quote v1.5.2 h1:w5fcysjrx7yqtD/aO+QwRjYZOKnaM9Uh2b40tElTs3...  rsc.io/quote v1.5.2/go.mod h1:LzX7hefJvL54yjefDEDHNONDjII0t9xZLPX...  rsc.io/sampler v1.3.0 h1:7uVkIFmeBqHfdjD+gZwtXXI+RODJ2Wc4O7MPEh/Q...  rsc.io/sampler v1.3.0/go.mod h1:T1hPZKmBbMNahiBKFy5HrXp6adAjACjK9...  

Go命令使用go.sum来保证每次下载的依赖库代码和第一次都是一致的,进而来保证项目不会出现一些异常情况,所以go.mod和go.sum都应该上传到git等版本控制系统中。

(三)更新依赖

从上面go list-m all命令的输出中,可以看到在库golang.org/x/text中使用了一个伪版本号。首先把这个版本好更新到最新的稳定版本:

 $ go get golang.org/x/text  go: downloading golang.org/x/text v0.3.7  go: upgraded golang.org/x/text v0.0.0-20170915032832-14c0d48ead0c => v0.3.7  $ go test  PASS  ok example.com/hello 0.013s  

测试仍然可以通过,然后再执行一次go list-m all:

 $ go list -m all  example.com/hello  golang.org/x/text v0.3.7  rsc.io/quote v1.5.2  rsc.io/sampler v1.3.0  $ cat go.mod  module example.com/hello  go 1.17  require (   golang.org/x/text v0.3.7 // indirect   rsc.io/quote v1.5.2 // indirect   rsc.io/sampler v1.3.0 // indirect  )  

六、结语

Go通过Go Modules的依赖管理统一了Go生态中众多的第三方的依赖管理,并且高度集成在Go命令行中,无需开发者们额外安装使用,目前在当前维护的Go版本中都已经支持了Go Modules。还没有切换到Go Modules的用户,强烈建议大家开始使用它,这无论是从团队开发体验、性能还是安全等方面,都能提供诸多的优质特性和保障。

  • 大数据平台架构设计探究

  • 幂等设计详解

  • Service Mesh 在 中国工商银行 的探索与实践

  • 云原生运行时的下一个五年

  • 网易云音乐 DBA 谈 TiDB 选型:效率的选择

技术原创及架构实践文章,欢迎通过公众号菜单「联系我们」进行投稿。

高可用架构

改变互联网的构建方式

文章来源:智云一二三科技

文章标题:Go语言重新开始,Go Modules的前世今生与基本使用

文章地址:https://www.zhihuclub.com/101464.shtml

关于作者: 智云科技

热门文章

网站地图