
大概从 22 年底起,我开始通过 RSS 订阅 B 站的视频投稿、知乎的回答文章以及各种网页博客。
B 站严格的反爬策略导致刷新频率一高就容易被限制,订阅的链接极其容易失效。只能通过曲线救国的方式,通过 vercel 自建订阅 UP 主的动态获取信息。

但最近因为在看蜗牛柯基 weibo 及其他 UP 主,但由于刷新频率较高,加上 B 站严格的反爬机制,现在订阅的 B 站链接几乎全部失效,除了一个“漏网之鱼”,其余全部失效(如下图右方所示)。 
所以想问现在是否还有其它方法可以及时收到 up 主更新的消息,类似 RSS 将信息收纳其中,以便统一阅读。 个人也思考过是否能够通过电报 bot 统一订阅,但又感觉似乎不是很方便。 大家是怎么知道自己“特别关注”的 up 主更新的呢?
1 yadiman 2024-03-20 21:02:25 +08:00 曲线救国,订阅 up 主的动态: https://xxx/bilibili/user/dynamic/xxxx |
2 june4 2024-03-20 21:45:05 +08:00 不能通过降低刷新频率解决吗 |
3 haonie 2024-03-20 21:58:28 +08:00 抓网页元素的 css 或者 js ,配合浏览器检测网页更新插件就行了。 |
4 haonie 2024-03-20 22:00:21 +08:00 抓网页元素的 css 或者 js ,配合浏览器检测网页更新插件就行了。 这个就是主页的元素路径 div > div > div > div > div > div > div > div > a |
5 NotFoundEgg 2024-03-20 22:53:45 +08:00 我是用定时轮询做的,有动态变化就推送 https://github.com/nfe-w/aio-dynamic-push |
7 LaoDahVong 2024-03-21 01:48:14 +08:00 这两天 github 上 trending 的项目不是有一个 MediaCrawler 么. 修改一下 b 站那块代码自己爬一下好了 |
8 baobao1270 2024-03-21 06:19:52 +08:00 反爬无解。B 站的风控一塌糊涂,即使正常用户也会时常遇到验证码/429/结果为空(这个怀疑可能是 Load Balancer 的问题)的响应。只能降低频率。 |
9 Rnreck 2024-03-21 08:46:55 +08:00 @LaoDahVong #7 删库跑路了 |
10 LaoDahVong 2024-03-21 11:34:40 +08:00 @Rnreck 笑死了, 跑的好快. 不过很多 fork. 不过我看了下代码其实也没什么特殊的. 爬虫就是一个耗费精力的事情. @baobao1270 我试了下似乎未登录用户也可以查看 up 主投稿, 大概需要关闭一个弹出的登陆窗口. 偶尔的失败对于 RSS 应该是能接受的. 间隙的话, 2 小时以上的间隙应该可以接受吧? 应该不至于频率过高. RSS 也就每天一看 |
11 v2yllhwa 2024-03-21 11:54:00 +08:00 via Android 用客户端 grpc 接口爬。可以看看我写的 RssWorker 。 不过我写的这个为了在 cf 上跑是手搓的 grpc ,你可以照着自己写一个在本地跑。 |
12 laydown 2024-03-21 12:03:40 +08:00 订阅自己的关注的就行了,不要每一个 up 主都用 rss 订阅,那哔哩哔哩肯定受不了。 |
13 baobao1270 2024-03-21 12:34:41 +08:00 @LaoDahVong B 站有风控模型,你没遇上。前段时间有二级运营商用户因为 IP 是穿透的导致查看用户主页跳验证码 |