golang图片网站爬取

由于目标网站的IP封锁,所以开设的线程数10个,耗时比较长。原理是使用goquery分析页面,查找对应的链接地址,然后再访问该地址获取图片链接,再http.get获取并保存。

Golang Http 请求和获取实现

golang请求网页,使用net/http包中的client提供的方法实现。GoHttp客户端get请求resp,err:=http.Getbody,err。

网站地图