V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 4460 days ago, the information mentioned may be changed or developed.
通过urllib2或是requests来get页面，只是抓取了html源码，css渲染效果和ajax调用都没有，所以，我在想是不是可以通过ie或chrome来抓取在浏览器上看到的效果呢
 | 1 OhmyCaptain Feb 13, 2014 selenium? |
 | 2 iloahz Feb 13, 2014 貌似现在能模拟浏览器渲染的就只有1L说这个吧 |
 | 3 txlty Feb 13, 2014 phantomjs http://phantomjs.org/ |
 | 4 est Feb 13, 2014 IE可以。win32com |
 | 5 otakustay Feb 13, 2014 phantomjs和真chrome的差距还是有点的，真要抓就用selenium吧，除了效率低下外没啥缺点 |
 | 6 manhere Feb 13, 2014 如果是win平台的话，有个命令行版网页截图工具，很好用 |
 | 7 zhouzm Feb 13, 2014 cefpython |
 | 8 simapple Feb 13, 2014 python Qt webkit |
 | 9 ksc010 Feb 13, 2014 phantomjs + casperjs |
 | 10 PurpleSun Feb 13, 2014 *nix平台：whhtmltopdf + pdfkit |
 | 11 josephshen Feb 13, 2014 http://cutycapt.sourceforge.net/ 然后自己再包装一个python接口就行 |
 | 12 gonjay Feb 13, 2014 用Chrome插件直接用js来抓取，再通过ajax给自己的数据库存起来？ |
 | 14 keven Mar 26, 2014 python应该有相关的库或者可以直接利用的东西吧，我也在抓数据，八爪鱼采集器就是内置了一个浏览器，然后通过浏览器来进行采集的。所以ajax这些肯定是支持的。 |
Select Language