爬虫平台Crawlab核心原理–分布式架构
背景Crawlab自第一版发布已经几个月了,其中经历了好几次迭代:版本从到了;后端语言从Python到了Golang;从最初使用Celery作为任务调度引擎,到自己开发分布式任务调度引擎;从只能运行自定义爬虫到可以运行(虽然还没迁移到最新版本);从手动部署爬虫到自动部署爬虫;从自
背景Crawlab自第一版发布已经几个月了,其中经历了好几次迭代:版本从到了;后端语言从Python到了Golang;从最初使用Celery作为任务调度引擎,到自己开发分布式任务调度引擎;从只能运行自定义爬虫到可以运行(虽然还没迁移到最新版本);从手动部署爬虫到自动部署爬虫;从自