有修改 UA 为搜索引擎蜘蛛的，但是这招越不越不管用，因为这积累一阵日志后就较容易判定出来真实蜘蛛 IP。
另外有个 修改 referer 取巧的方法，https://www.yuanrenxue.com/crawler/crawler-tricks-2.html
另外有个 修改 referer 取巧的方法，https://www.yuanrenxue.com/crawler/crawler-tricks-2.html
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 2718 days ago, the information mentioned may be changed or developed.
 | 1 largecat Dec 7, 2018 via Android 谢谢楼主无私分享 |
 | 2 paradoxs Dec 7, 2018 爬虫怎么入门呢。 |
 | 3 InternetExplorer Dec 7, 2018 via Android  4 这不是基本操作吗 |
 | 4 yuanrenxue OP @largecat 多谢 |
| 5 yuanrenxue OP @paradoxs Python requests 库用起来就入门了 |
 | 6 zhangzilong Dec 7, 2018 厉害了，老哥。我爬虫被封禁了好几天，用这招解决了。 |
| 7 yuanrenxue OP @zhangzilong 你不是我的托吧， 老哥？ |
| 8 zhangzilong Dec 7, 2018 真不是，老哥。正好看到了这篇文章，然后就试了下，完美解决。 |
 | 9 kba977 Dec 7, 2018 via iPhone 这不是常规操作么，手动狗头 |
 | 10 kosmosr Dec 7, 2018 所以怎么修改 referer |
 | 11 ho121 Dec 7, 2018 via Android 修改 referer 确实是常规操作 |
 | 12 Eirxxx69 Dec 7, 2018 需要用户权限的访问的网页也可以通过这个方法访问么 |
 | 13 skylancer Dec 7, 2018 老实说修改 referer 不是常识么... |
 | 14 TKKONE PRO 上面说用这招解决了问题的，只能说连入门都还没有入门 |
 | 15 rootx Dec 7, 2018 知道了 准备堵 |
 | 16 agdhole Dec 8, 2018 via Android 专门有 fake 库循环就完事了 |
| 17 yuanrenxue OP @agdhole 那个不能生成 referer |
| 18 yuanrenxue OP @Eirxxx69 没法的 |
 | 19 whatsmyip Dec 8, 2018 感觉像是在逛博客评论区 楼主既然是来 v 站引流的，至少得放个摘要吧 |
 | 20 Meli55a Dec 8, 2018 很好 |
| 21 yuanrenxue OP @Meli55a 古德 |
| 22 zhangzilong Dec 10, 2018 @tumbzzc 看把你能的，我又不是做这个的。装什么 B 呢 |
| 23 TKKONE PRO @zhangzilong 我也不是，但是就是比你厉害，咋滴？看不惯就 block |
 | 24 raawaa Dec 12, 2018 碰到验证码、甚至还会判断 selenium 行为的网站……只好流下没技术的泪水。 |
 | 25 locoz Dec 12, 2018  基本操作都能水一贴 |
| 26 zhangzilong Dec 18, 2018 @tumbzzc 没地方找优越感了？ |
| 27 zhangzilong Dec 18, 2018 @tumbzzc 什么玩意儿都有？ |
| 28 TKKONE PRO @zhangzilong 是的，就是找优越感，反正就是比你厉害，可以滚了 |
| 29 zhangzilong Dec 19, 2018 @tumbzzc 狗玩意儿，你怎么不滚呢。爸爸开始和你说话了吗？你比比什么呢 |
| 30 zhangzilong Dec 19, 2018 @tumbzzc 你从哪里感觉比我厉害，儿子？ |
| 31 zhangzilong Dec 19, 2018 @tumbzzc 生活是不是不如意呢？会不会说话？ |
| 32 zhangzilong Dec 19, 2018 @tumbzzc 你爸爸没有教过你与人为善？喷子，和你有什么关系呢。素质呢 |
| 33 zhangzilong Dec 19, 2018 @tumbzzc 你赶紧有多远滚多远吧 |
| 34 TKKONE PRO @zhangzilong 真是疯狗 |
| 35 zhangzilong Dec 19, 2018 @tumbzzc 你先告诉我，你爸爸有没有教你与人为善？ |
| 36 zhangzilong Dec 19, 2018 @tumbzzc 我碰到人，我就是人。碰到狗就是狗。 |
| 37 TKKONE PRO @zhangzilong 啧啧，看看自己说过的话吧，疯狗，有脸说别人？ |
| 38 TKKONE PRO @zhangzilong 再见了，疯狗，也许你这辈子都不会知道自己多无知 |
Select Language