
最近在做动态页面的爬虫,突然想到如果使用了 selenium 后再禁用 js,那么页面元素都固定了,此时就完全像是爬取一个静态网页。 还是说这只是一个巧合,并不是所有的网站都会在 no script 模式下给出完整的响应
1 love 2021-05-09 22:05:19 +08:00 我没用过 SSR 服务端渲染技术,听说那个就是有这效果。然而用这技术的网站肯定是少数啊,象我自己做站就只有客户端 react 渲染,禁 js 后当然一片白 |
2 ch2 2021-05-09 22:07:37 +08:00 现在都是 selenium 加载完毕后,在前端 fetch 数据渲染 |
3 jotpot 2021-05-09 22:58:59 +08:00 如果新闻、资讯类站点还好,遇到页面用 js 渲染的就废了。页面内容都是 js 渲染的,就如 1 楼说的 禁用 js 就全白了 |
4 adjusted 2021-05-09 23:51:20 +08:00 现在大多数前端渲染的页面<noscript>里面只有一句话就是"请启用 Javascript" |
5 Tink PRO 不启用 js 不给看网页 |
6 supermoonie 2021-05-10 09:15:47 +08:00 via iPhone 那你直接 http 请求页面不就好了?干嘛还用 selenium,用这个的意图不就是因为要运行 js 吗 |