V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 3038 days ago, the information mentioned may be changed or developed.
最近做了一个爬虫任务，大概需要采集百万级的页面。 使用如下技术：
python3 requests xpath(解析) 多线程(threading) 代理 ip 池(95%有效，10 次 /1s 最多) redis(请求队列, 去重) mysql(储存) 同时做好容错处理(重连)/反爬机制应对。 经过几次测试：控制
[线程数量] [进程数量] [重连等待时间] [报错等待时间] 得出一组每分钟采集最多数量的方案。 似乎遇到了瓶颈，此时不知道如何去优化采集速度。 没有想到的等会补充。。。 请教有经验的大神指点一下思路！谢谢各位了！！！
Supplement 1 Jan 4, 2018
回复太快被限制 1800s 了。
珍惜附言机会，这里补充一下：
1. 当前方案的问题主要来自
采集速度并不理想，按照现行速度，使用一台云主机，带宽固定
每天可能只有 6 ～ 8 万条左右，爬完几百万条可能需要 2~3 个月
在不增加物理设备和额外带宽的前提下希望尽可能从技术 /代码上提高采集速度
2. 目标站反爬措施敏感。在这块做好容错处理和延时，也会使程序耗费额外一定时间。
经过使用不同的延时策略，发现延时过低也会使得采集速度变慢。
3. 准备尝试一下使用异步网络请求模块，对比采集速度。
珍惜附言机会，这里补充一下：
1. 当前方案的问题主要来自
采集速度并不理想，按照现行速度，使用一台云主机，带宽固定
每天可能只有 6 ～ 8 万条左右，爬完几百万条可能需要 2~3 个月
在不增加物理设备和额外带宽的前提下希望尽可能从技术 /代码上提高采集速度
2. 目标站反爬措施敏感。在这块做好容错处理和延时，也会使程序耗费额外一定时间。
经过使用不同的延时策略，发现延时过低也会使得采集速度变慢。
3. 准备尝试一下使用异步网络请求模块，对比采集速度。
 | 1 ilovebaicai Jan 4, 2018  1 Scrpy+redis 是一个选择。 |
| 2 ilovebaicai Jan 4, 2018 1 抱歉，手抖，少打了个 a。 |
 | 3 wzwwzw Jan 4, 2018 1 如果不用 scrapy 的话，就用 - aiohttp - asyncio - aiosocks - Pool 毕竟爬虫大部分时间都是在等待请求，所以异步应该会快很多。 数量多的话还是推荐 scrapy ,分布式 scrapy-redis . |
 | 4 exiaohao Jan 4, 2018/span> 1 把采集任务丢给 celery 处理 |
 | 5 dhcn Jan 4, 2018 1 pyspider，帮你完成包括人物分发在内的大多数技术基础设施工作 |
 | 6 so1n Jan 4, 2018 1 可以改用进程+协程 |
 | 7 zhchyu999 Jan 4, 2018 1 难道没人吐槽“代理 ip 池(95%有效，10 次 /1s 最多)”这个么 |
 | 8 BiggerLonger Jan 4, 2018 1 grequests |
 | 9 harker Jan 4, 2018 当前方案有问题么?百万级应该还能应付吧 |
 | 10 Nick2VIPUser OP |
 | 11 qsnow6 Jan 4, 2018 1 百万级应该没啥问题啊，大部分时间都是在网络耗时上面。 不过，切换线程是有开销的，如果想进一步提升性能的话，建议用异步 or 协程。 |
 | 12 asuraa Jan 4, 2018 1 百万级别重要的我觉得是 1. 代理 2. 断点续传 3. 非阻塞多线程 |
| 13 asuraa Jan 4, 2018 1 |
| 14 Nick2VIPUser OP |
| 15 Nick2VIPUser OP @dhcn 这个框架没用使用过，会考虑了解一下特性以作比较！谢谢！ |
| 16 Nick2VIPUser OP @BiggerLonger requests 换为 frequests 的话代码可能会变动比较大吧？刚刚只是粗略的看了一下 frequests 的 demo。 |
| 17 Nick2VIPUser OP @qsnow6 谢谢您，主要想提升采集速度，测试过 10/15/20 个线程的采集速度，结果发现 10 个线程的采集速度是最快的，非常困惑。这里每次请求都使用不同的经过测试的代理 IP，不知道是不是带宽限制导致。 |
 | 18 MontagePa Jan 4, 2018 1 celery 这个，然后你再多线程，考虑好去重就行。 |
| 19 qsnow6 Jan 4, 2018 2 |
 | 21 NxnXgpuPSfsIT Jan 4, 2018 1 |
| 22 qsnow6 Jan 4, 2018 1 给个参考值，scrapy 单进程可以达到 7200 pages/min |
 | 23 lhx2008 Jan 4, 2018 via Android 1 每天 6-8 万就是每秒才爬 1 个，开了 10 个线程的话就是平均一个线程 10s 爬一条，这也太不理想了吧，每个线程 1s 爬一条，一天就 80 万了 |
 | 24 bazingaterry Jan 4, 2018 1 上 scrapy，而且掏代理池吧 |
 | 25 2ME Jan 4, 2018 1 你服务器如果不是小水管的话 你爬的是大文本吗? 大文本的话主要是 IO 影响效率 和线程关系并不大 还有你 1 条记录需要爬取几个页面 以及你的 IP 池质量如何 如果是 1 个页面并且爬取目标不是大文本，ip 池质量优异的话 这个速度可能慢了点 如果你为了对抗反爬虫 sleep 的时间比较久还是正常的 |
 | 26 Zzzzzzzzz Jan 4, 2018 1 铺节点+队列+代理池， 问题是你得考虑下目标站能不能扛住你的 CC |
 | 27 windfarer Jan 4, 2018 1 百万级又不多，单机 scrapy 都够用了吧，主要代理要好 |
| 28 Nick2VIPUser OP @zhchyu999 这个为什么会被吐槽呀？公司有自己的代理池，但是数量较少；目标站点反爬策略比较敏感，所以使用付费的代理 IP 池，每次请求都会使用不同的 IP。 |
| 29 Nick2VIPUser OP @qsnow6 不知道是不是线程一多了网络堵塞导致的采集速度过慢。 |
| 30 Nick2VIPUser OP @luodaoyi 代理 /断点续爬 /去重都做了，非阻塞的意思就是用协程或是异步？我去看看您发的链接 谢谢 |
| 31 Nick2VIPUser OP @qsnow6 @lhx2008 @bazingaterry 这个网站产生的详情页面的 url 和 cookie 有效期都很短， 针对同一个 cookie 在短时间内高频率（大概是小于 1 次 /1s ）的访问会立即失效 大概是用来区分是否是机器人 其实为什么每秒才爬一个，是因为对于 10 个线程每个线程都做了延时。每个线程获得一个新的 cookie 后每次请求都会间隔 3 秒，否则就会大量的报异常。这样的话，整体来说最优的情况每秒也只发出了 3 个请求，还没算上`去重入库解析异常处理`的时间。 现在思路也比较清晰，就是提高并发量，尝试加了线程和进程，并没有效果。 所以在研究把异步网络加上来。 |
| 32 Nick2VIPUser OP @2ME 除了 sleep，还设置了 Connect time out 和 Read time out （ Proxy Connect time out 异常较少）,同时也发现 Read time out 频繁发生，是否是从代理 ip 读取数据的时候超时，也就意味代理发送请求失败或者回传给本地失败？ |
| 33 2ME Jan 4, 2018 1 @Nick2VIPUser 那就是你代理 ip 质量太差了 加钱数据可及 readtimeout 频繁 每天抓 6-8 万很正常了 |
| 34 2ME Jan 4, 2018 1 @Nick2VIPUser 你 debug 一下基本就会发现绝大多数时间都浪费在超时了 即使是小水管都够呛能跑满带宽 |
 | 35 gouchaoer Jan 4, 2018 1 第一代理 ip 不够 |
| 36 gouchaoer Jan 4, 2018 1 第一次看到爬虫自己是瓶颈的，大家都是怕爬坏了别人 |
| 37 Nick2VIPUser OP |
| 38 Nick2VIPUser OP @2ME 有道理，我增加额外的 ip 代理测试一下，感谢！ |
| 39 Nick2VIPUser OP @gouchaoer 硬性条件没有提升起来呀，如果不考虑其他要花钱 /额外设备的条件，固定一台主机固定带宽，如果要增加速度还有什么办法？ |
| 40 qsnow6 Jan 4, 2018 via iPhone 加钱买多点代理就行了 |
| 41 Nick2VIPUser OP @qsnow6 您是否了解质量好点的代理 ip，如果方便透露可以讲一下，目前付费购买的这家感觉质量还是提不上来... |
 | 43 WuMingyu Jan 4, 2018 via iPhone 1 用协程的话可以试试这个 https://github.com/6ugman/ant_nest，速度比 scrapy 快？（不确定，没有精确测试）不过很可能有 bug |
 | 44 anasplrt34 Jan 4, 2018 1 爬过十亿级数据的来吐个槽 要想速度快 加机器 加 IP 只有两条路 其他的比如什么优化什么异步多进程多协程线程都没什么作用 就比如一个网站限制单个 IP 一秒访问一次 你代码写出花来一秒也只能请求一次 这不是客户端也不算服务端 这是爬虫最大的问题 所以还是加钱吧 |
| 45 Nick2VIPUser OP @qsnow6 谢谢！！ |
| 46 Nick2VIPUser OP @anasplrt34 您很幽默，说到点上了，我折腾了一天，现在才想清楚，不过收获很大，谢谢！！ |
| 47 Nick2VIPUser OP @WuMingyu 好的，谢谢！今天一天收获了好多好东西 |
 | 48 easylee Jan 4, 2018 来学习了，Mark~ |
 | 49 eycfsjd Jan 4, 2018 如果你每个线程都要休息 3s 的话，为啥要搞多线程呢？一个线程不就行了嘛，单线程异步 IO + 代理 IP 即可，根据带宽以及代理量控制并发， |
 | 50 PythonAnswer Jan 5, 2018 via Android 协程 节约点资源。 不过你的 ip 池质量不行，速度提高不了。 |
 | 51 goodryb Jan 5, 2018 为啥不能增加物理资源，开个 10 台机器，效率不就提高 10 倍了，有时候真不要死脑经，先把事情解决了再说。 按照你的说法，假设 1 台主机需要 3 个月（ 90 天），提高 10 倍之后，就需要 9 天，一周多就搞完了。 如果你今天在这里问了这么多，回去修改代码，换框架，验证，一周后搞出个新程序来，效率提高了 10 倍，那你需要的时间是 7+9 = 16 天 所以呢，技术不够，机器来凑，云主机按量付费也没多少，如果你爬回来的数据连这点机器的钱都不值得，那我估计更不值得你投入这么大的人力去搞这个东西。 |
Select Language