标签:php

如何让爬虫跑满100M宽带

这个是一个严肃的问题。
目的是为了抓取一批图片,大约几个T的样子。
上次干这个活是在3月份,所以3月份打了一个草稿,今天补充下,附下今天的图,顺便把坑填了。
内存及负载使用状况:
爬虫下载过程中的负载情况
针对的应用场景
对方不限速,无IP限制
对方有多个CDN
如图片爬取类的操作
采用的方案 (请忽略分布式...

Now 我始终没有找到这一堆代码,究竟有多少个入口,被多少地方调用,恶心至极。

Windows 下升级 Apache到 2.4.33-VC15,PHP到7.2.5-VC15

说明
闲了几个小时,然后突然奇想把服务端的remi-php72打开了,然后更新了277个更新包(不仅仅是php)之后,顺利跑了起来,然后出现了少许莫名其妙的错误。
顺便,在自己项目管理发现了一个大BUG,居然可以允许任意密码登陆,看来自己白瞎了。
解决
怎么解决这个问题,BUG的问题,线上找BUG有点麻烦,自能自己开始在本地...

如何一次性下载全部GADM数据库边界数据

GADM (http://gadm.org/) 全称为 Global Administrative Areas,就是全球行政区域边界数据,至于是做什么用的。比如绘制每个城市或国家的边界,但对于我,更重要的作用是通过经纬度查询它在哪个行政区域中。
按照它网站上的说法(2018-02-12):
当前版本是2.8,预计在去年八月份就上第3版,然而并没有,不过这都不重要...