
这个项目写了一段时间了,主要功能就是实时爬取 googlesearch 的结果。google 反爬很严格,我这边也没有很好的办法,后面可能也不太搞了,就整理了开源出去,希望能给其他人一些思路。 github: https://github.com/FastSchnell/googlebridge
目前只支持 python2.7,有兴趣的可以试一下 下载 wget http://googlebridge.com/googlebridge.py 运行 python googlebridge.py
1 mingyun 2017 年 8 月 29 日 支持 py3 啊 |
3 mckelvin 2017 年 8 月 30 日 楼主代码写得挺认真的,建议了解下 requests, urlparse, pyquery 或 BeautifulSoup, jinja2 这几个库,能剩不少代码。 |
4 viosey 2017 年 8 月 30 日 有办法爬 Google image 吗? |
5 gaotongfei 2017 年 8 月 30 日 via iPhone @mckelvin jinja 在爬虫中有什么应用? |
6 mckelvin 2017 年 8 月 30 日 via iPhone @gaotongfei 我也好奇呢。但楼主代码里有 html 模版。 |
8 xiaozizayang 2017 年 8 月 30 日 via Android 关键是对谷歌反爬机制的研究 我也写过一个 轮循谷歌全球域名 有点效果 https://github.com/howie6879/MagicGoogle |
9 jisibencom 2017 年 8 月 30 日 难道用反代不是更方便些不? |
10 Fing OP |