文章分类:随便写写

如何让爬虫跑满100M宽带

这个是一个严肃的问题。
目的是为了抓取一批图片,大约几个T的样子。
上次干这个活是在3月份,所以3月份打了一个草稿,今天补充下,附下今天的图,顺便把坑填了。
内存及负载使用状况:
爬虫下载过程中的负载情况
针对的应用场景
对方不限速,无IP限制
对方有多个CDN
如图片爬取类的操作
采用的方案 (请忽略分布式...

Now 2018注定是多灾多难的一年,8月8刚过,摔了近几年最惨的一次,打肿脸充胖子原来真的可以。

Now 如果對自己有惡意的人抱持謝意,那麼要如何報答真正提攜、照顧自己的人? from:@Kuailia

Now 生活总是如此艰难么?是的,一向如此。