使用 Golang 开发的分布式爬虫管理平台Crawlab

Crawlab 使用 Golang 开发的分布式爬虫管理平台使用 Golang 开发的分布式爬虫管理平台Crawlab

爬虫平台Crawlab核心原理–分布式架构

背景Crawlab自第一版发布已经几个月了,其中经历了好几次迭代:版本从到了;后端语言从Python到了Golang;从最初使用Celery作为任务调度引擎,到自己开发分布式任务调度引擎;从只能运行自定义爬虫到可以运行(虽然还没迁移到最新版本);从手动部署爬虫到自动部署爬虫;从自

支持多种语言框架的分布式爬虫管理平台,爬虫本应如此简单

Crawlab 是一款基于Golang的分布式爬虫管理平台,支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架。

Crawlab 使用 Golang 开发的分布式爬虫管理平台

Crawlab 使用 Golang 开发的分布式爬虫管理平台使用 Golang 开发的分布式爬虫管理平台Crawlab

爬虫管理平台Crawlab v0.3.0发布(Golang版本)

基于Golang的分布式爬虫管理平台,支持Python、NodeJS、Java、Go、PHP等多种编程语言以及多种爬虫框架。项目自今年三月份上线以来受到爬虫爱好者们和开发者们的好评,不少使用者还表示会用Crawlab搭建公司的爬虫平台。

网站地图