爬虫平台Crawlab核心原理–分布式架构

背景Crawlab自第一版发布已经几个月了,其中经历了好几次迭代:版本从到了;后端语言从Python到了Golang;从最初使用Celery作为任务调度引擎,到自己开发分布式任务调度引擎;从只能运行自定义爬虫到可以运行(虽然还没迁移到最新版本);从手动部署爬虫到自动部署爬虫;从自

分布式任务调度系统设计:详解Go实现任务编排与工作流

贺鹏 目前就职某互联网金融公司负责架构及开发管理工作,在分布式领域和风控领域深入研究。I.

网站地图