推荐学习书目 Learn Python the Hard Way div class="sep10">
Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide 
这是一个创建于 3851 天前的主题，其中的信息可能已经有所发展或是发生改变。
RT，Scrapy如何爬瀑布流的站点？
 | 1 est 2015-06-05 13:01:03 +08:00 我遇到了这个问题，解决办法是自己写。 |
 | 2 mthli 2015-06-05 13:11:02 +08:00 via Android 瀑布流有"page="吧，试试找找看看？ |
 | 3 kisshere 2015-06-05 13:34:47 +08:00 via Android 抓包，提取网址，实在不会用casperjs吧 |
 | 4 mahone3297 2015-06-05 13:36:39 +08:00 @est 自己写是什么意思？ |
 | 5 nikoukou 2015-06-05 14:03:12 +08:00 casper.js可以试一试，就是速度比较慢，相当于cli的按键精灵。。 |
 | 6 rphoho OP |
 | 8 alexapollo 2015-06-05 14:22:58 +08:00 上内核做渲染！ |
 | 9 duobei 2015-06-05 14:37:54 +08:00 @alexapollo 这个建议不错 |
| 10 kisshere 2015-06-05 16:16:14 +08:00 via Android @rphoho 刚都说了，叫你chrome F12键抓包，一般如果他的MySQL不是cursor分页的话，可以直接按照pageid递增就抓取了，遇到瀑布流是好事，这样更容易抓取 |
| 11 kisshere 2015-06-05 16:18:08 +08:00 via Android 瀑布流一般都会ajax加载json，更容易抓取和解析 |
 | 12 allen3921 2015-06-05 19:19:04 +08:00 直接分析js |
 | 13 ChiangDi 2015-06-05 19:23:44 +08:00 当然是看他的 js 代码，有时候可能爬虫都不要写就是一个 json API |
| 14 alexapollo 2015-06-06 00:35:06 +08:00 @duobei 其实这是最标准的方法。。应该。。 |
 | 15 onlyice 2015-06-06 20:21:56 +08:00 如果不是瀑布流，你会怎么抓？ 其实是不是瀑布流跟 scrapy 没什么关系，只跟网站的 HTTP 接口是怎样的有关系。 |
 | 16 mingyun 2015-06-07 10:20:24 +08:00 casper.js没用过，有这方面的案例吗 |
Select Language