批量程序运行过程

最近刚刚完成30万图片的采集和尺寸调整，把其中遇到的有关超时配置和调整总结出来供大家参考。

本次批量处理是因为该项目本身经过多次外包，图片存储的到处都是，且没有专门生成缩略图和统一尺寸的图片，这次是在原有图文混排的数据中提取图片，存储到指定目录、裁剪尺寸并生成相应缩略图，并将结果存储到数据库。

在批量程序处理过程中，难免遇到程序执行时间过长，导致504错误等，调整服务器配置其实不是很好的解决方案，毕竟对生产环境动刀子…

不过我比较懒，不想对一次提取的图片再进行分页请求处理^_^

顺便说一句，最多的一次处理的数据提取的图片达到3000张~

下面进入正题，我们的主要目的是尽可能延长程序执行时间，使该抓到的图片都抓到，并处理完成写到数据库。

我们的环境是基于 nginx 的PHP5.6，首先代码上要注意的，一个是放上set_time_limit(0)，这避免去调整php. ini ，当然有些基本的比如最大内存等等还是要调的，这里不做介绍;另一个必须要设置curl的CURLOPT_TIMEOUT（我用的CURL抓远程图片）考虑到图片都是在已知的多台服务器上，超时抓不到一定是有问题的索性放弃，如果不设置这个超时，运行时会不停的给你报错。

接下来就是服务器了，首先是nginx的程序执行时间：

这个配置在nginx.conf内，有则修改值，没有追加上，时间上根据自己情况设置,调整后重启服务。

MYSQL 也会报超时错误，修改my.ini添加或修改一下配置：

wait_timeout=2880000

interactive_timeout=2880000

max_allowed_packet=100M

调整后重启mysql以便生效，经过上面的设置，基本扫清超时报错的各种情形，我的程序跑了2天3夜，采集和生成共计86G图片。

再强调一下，这么操作并不十分推荐，特别是生产环境下，会带来很多问题，最重要的， 完成批量任务后，恢复上述设置~