
爬虫史山代码写的真烂,2000 多行就算了,而且一个 headless chrome 的类居然和数据库操作,时间调度功能等等深耦合,让我模仿爬虫 a 的 class 结构写一个爬虫 b ,对应的数据库目前还不存在,调试都很困难,只能一边注释数据库相关的代码一边测试 run ,内心 os 完全不想碰这坨屎山。
1 4UyQY0ETgHMs77X8 293 天前 直接 ai 啊,先读取理清一下优化一下再看呗 |
2 MonikaCeng 293 天前 via iPhone AI 优化,跑一边,效果一样的话,再让 AI 加新功能 |
3 zhengfan2016 OP @MonikaCeng 跑不了啊,里面一堆和数据库操作的代码混在里面,得先全部注释了才能跑,有些缺的参数还得给他补上 |
4 ovovovovo 293 天前 2000 行,先丢给 AI 做成模块吧,直接看看的都烦 |
5 sead 284 天前 快速解析数据: https://github.com/serping/express-scraper 无头集群: https://github.com/seadfeng/headless-browser-clusters 两个结合用,不要太舒服 |