Cy86's recent timeline updates Cy86's recent timeline updates | Cy86V2EX member #316181, joined on 2018-05-14 04:55:35 +08:00 |
| Python 爬虫并发极限是多少呢? 1 Python Cy86 May 20, 2024 Lastly replied by Cy86 | 35 |
| 如何自学 Vue 呢 Vue.js Cy86 Feb 26, 2020 Lastly replied by Hanggi | 70 |
| 从 WSL1 换到 WSL2 ,整体速度上去了, 但没法通过公网链接 Windows Cy86 Feb 20, 2020 Lastly replied by Cy86 | 14 |
| 光猫的 Lan 口和路由器的 Lan 口做级联,会增加带宽么 分享创造 Cy86 Mar 9, 2020 Lastly replied by Cy86 | 10 |
| V2EX 图片库怎么使用呢,没找到上传图片的地方 Chamber Cy86 Feb 3, 2019 |
| 朋友公司买了网站 1W 元,请大家看看,提些意见 程序员 Cy86 Mar 9, 2020 Lastly replied by Cy86 | 118 |
| 请教一下,在公司担任运营之后被改软件开发走的时候可以带走代码么? 程序员 Cy86 Oct 9, 2018 Lastly replied by Stefan | 80 |
| 用 阿里云和域名(已备案) 反向代理国外 vps 的网站 可以么 Chamber Cy86 Sep 2, 2018 Lastly replied by ThirdFlame | 1 |
| 用 阿里云和域名(已备案) 向代理国外 vps 的网站 会进去么 1 Chamber Cy86 Sep 2, 2018 |
| 如果在网页嵌入别人的网页然后刷流量可行么 浏览器 Cy86 Aug 27, 2018 Lastly replied by night98 | 3 |
Cy86's recent replies
Sep 9, 2025 Replied to a topic by SayHelloHi 生活 兄弟们 跪求 有用的灭蟑螂药～～ |
别买假了, 我之前住的地方很多蟑螂, 蟑螂药他们都当零食吃
Jan 11, 2025 Replied to a topic by iorilu Python 最近想搞个爬虫爬点东西, 目前 Python 那个框架最好用呢 |
@iorilu 那还是得上手干, 遇到问题处理完了之后再总结出一个通用方案, 爬虫最需要考虑的是反爬, 其他的都比较简单,没太多需要考虑的
Jan 10, 2025 Replied to a topic by iorilu Python 最近想搞个爬虫爬点东西, 目前 Python 那个框架最好用呢 |
楼主不理我,我再捞一下, 目前我负责的爬虫抓取量每天在百万级, 月抓取量在亿级,主做舆情的
推荐:
百条用 requests 就行
几十万条有时效性就 aiohttp
同一个网站大量数据, scrapy 和 feapder 都可以
上亿条自己开发爬虫框架
你说的这几个问题: 访问限制, 需要登陆, 代理轮询, 执行 js, 错误重试
访问限制, 需要登陆: 对于反爬都是针对目标单独定制的,市面上没有能包含所有反爬的的框架
代理轮询最简单的就自己整个队列, 每次爬虫轮着取代理 ip, 对于账号绑定 IP 的,就单独开个服务针对要爬的渠道固定 IP
执行 js 可以单独作为一个服务旁运行, 需要执行的 js 扔进去只关注返回结果就好
感觉你可以说说你的整体目标是啥
推荐:
百条用 requests 就行
几十万条有时效性就 aiohttp
同一个网站大量数据, scrapy 和 feapder 都可以
上亿条自己开发爬虫框架
你说的这几个问题: 访问限制, 需要登陆, 代理轮询, 执行 js, 错误重试
访问限制, 需要登陆: 对于反爬都是针对目标单独定制的,市面上没有能包含所有反爬的的框架
代理轮询最简单的就自己整个队列, 每次爬虫轮着取代理 ip, 对于账号绑定 IP 的,就单独开个服务针对要爬的渠道固定 IP
执行 js 可以单独作为一个服务旁运行, 需要执行的 js 扔进去只关注返回结果就好
感觉你可以说说你的整体目标是啥
Jan 6, 2025 Replied to a topic by iorilu Python 最近想搞个爬虫爬点东西, 目前 Python 那个框架最好用呢 |
我觉得 requests 应该够了吧, 直接把接口抓出来比较简单,我最近也在鼓捣爬虫练手, 你这是要爬啥网站呢
Dec 16, 2024 Replied to a topic by wty95 程序员 政府的中介超市写自动化脚本，会不会踩缝纫机？ |
把这活儿外包出去, 嘴上说让他们手动点击(后端是爬虫), 速度别太快, 这样你就安全了
May 20, 2024 Replied to a topic by Cy86 Python Python 爬虫并发极限是多少呢? |
@macaodoll #29 感谢建议, 目前只是突然想到了技术上的问题, 在纠结 Python 为啥并发上不去, 卡点在哪
May 20, 2024 Replied to a topic by Cy86 Python Python 爬虫并发极限是多少呢? |
@shanyaoxingtong #31 后面接了 5 家的代理池, 每天的总请求 13 亿, qps 能达到 15K, 咱们先讨论技术再讨论代理
May 20, 2024 Replied to a topic by Cy86 Python Python 爬虫并发极限是多少呢? |
@chengxiao #28 每错是舆情
May 14, 2024 Replied to a topic by Cy86 Python Python 爬虫并发极限是多少呢? |
@chengxiao #26 日常监控 30 万个网站的更新, 每 5 分钟跑一次, 不需要账号和风控, 单站点请求一分钟一次都没有
May 14, 2024 Replied to a topic by gezimonkey 信息安全 发现一个诈骗网站,有没有人替天行道一下? |
@fkdtz #42 哦哦, 我以为你用了啥放大原理, 用很小的流量大比如 1:100 打他, 我这是杀敌 1000, 自损 1000
Select Language