
大佬们好,是这样的,目前的代码中有一个固定的列表 ip 池作为代理 ip,每隔一段时间需要手动去更换,我想要实现一个动态去获取批量 ip,获取的地址已经有了 API 的接口,想要在 scrapy 项目代码中增加这个功能,不用数据库这样的怎么操作呢
1 scukmh 2020-06-17 18:00:43 +08:00 |
2 Latin 2020-06-17 18:08:18 +08:00 自己写中间件鸭 |
3 jiaxin1121 2020-06-17 18:12:58 +08:00 公开代理池基本没法用。 |
4 github 找个维护 ip 池的库,应该有挺多的 |
5 aladdindingding OP @renmu123 买了 api 链接的 可以提取 IP 的 就是不知道怎么在 scrapy 开启一个线程去维护一个实时可用的 IP 池 |
6 1018ji 2020-06-18 09:20:35 +08:00 ip 隧道吧 简单 |