V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 3556 days ago, the information mentioned may be changed or developed.
打算用 Python 在 Linux 的纯 CLI 下实现微博监控功能。即对某个用户动态不断刷新，一旦有新微博就保存下来。目前只考虑 txt 存储。不考虑数据库。
***
由于刚学写这种程序，照网上有的程序(尽管代码非常漂亮)。可算法没有绕开验证码这个比较坑的问题。
个人编程水平很浅，希望 V2EX 的朋友告知一些比较好的算法， Python 库等。最好是比较成熟的库。
如果有比较好的代码，希望分享一下。
其他的爬虫程序，也可以分享，虽然 github 很多，但是比较好的感觉还是不太多的。
谢谢(**)
………
//写了一个晚上，模拟浏览器还没登进去。人生啊人生。
***
由于刚学写这种程序，照网上有的程序(尽管代码非常漂亮)。可算法没有绕开验证码这个比较坑的问题。
个人编程水平很浅，希望 V2EX 的朋友告知一些比较好的算法， Python 库等。最好是比较成熟的库。
如果有比较好的代码，希望分享一下。
其他的爬虫程序，也可以分享，虽然 github 很多，但是比较好的感觉还是不太多的。
谢谢(**)
………
//写了一个晚上，模拟浏览器还没登进去。人生啊人生。
 | 1 chroming Aug 12, 2016 via iPhone 微博做了很多防爬虫的处理。登录的话用 selenium 模拟比较方便。验证码和 ip 问题就要想办法解决了。 |
 | 2 theodorus OP 代码交流可考虑粘到 http://paste.ubuntu.com 中。然后贴上链接。 |
| 3 theodorus OP @chroming 我使用的是 selenium 。但是始终无法越过验证码。这个没有方法可以解决吗。我想完全在 CLI 下面实现。 cookie 呢。 |
 | 4 Chyroc Aug 12, 2016 使用打码平台或者识别验证码，我自己的项目，简单的我就自己识别了，复杂的就使用打码平台，快捷又经济！ |
| 5 Chyroc Aug 12, 2016 另外，微博爬虫应该是使用 3g ，手机页面等等比较好吧 |
 | 6 neosfung Aug 12, 2016 via Android 微博不是有 api 么。你先在微博的开放平台注册好你的应用，然后创建一个 dummy 的用户，并且允许它访问你的应用。然后就可以你就可以获得 dummy 的授权并且可以访问它关注微博的更新 |
 | 7 lc4t Aug 12, 2016 via iPhone  1 微博主站密码是 rsa 的，手机版直接的，消息爬虫优先考虑移动版。 |
 | 8 miyuki Aug 12, 2016 via Android GhostPost 和 LZ 的想法差不多 |
 | 9 kslr Aug 12, 2016 via Android 有个微博小挂件 直接解析分析即可 |
 | 10 kindjeff Aug 12, 2016 via iPhone 爬微博档案的 rss ，微博档案是一个第三方的微博备份的网站 |
 | 16 janxin Aug 12, 2016 lz 这个需求 API 就行吧... |
 | 17 em70 Aug 12, 2016 用微博官方提供的 API,记得每小时可以刷 5000 次动态次好像 |
 | 19 chaichaichai Aug 12, 2016 爬.cn 域名，我当时似乎没有遇上验证码问题， ip 的话用动态 ip 或者去写一个爬代理的爬虫 |
| 20 chaichaichai Aug 12, 2016 我下班回家找找我当时写的代码，没准改改还能用 |
 | 21 jsonzz Aug 12, 2016 去年写过，当时抓包拿到了 weibo 的 api 。每隔半小时爬取下那个用户的微博数总量，如有变化，再爬，存到 txt 里 |
 | 23 hack Aug 12, 2016 移动端的请求，抓包分析，可能更快 |
 | 24 goodluck Aug 12, 2016 如果只看微博是不需要登陆的，看个人信息才需要登陆！ |
| 25 theodorus OP @chaichaichai 我也是 CN 域名。现在好像要验证码了。不过还是很想看看你的代码。能不能分享一下？我做个参考。 |
 | 28 cenxun Aug 12, 2016 记得手机版可以直接抓的 |
 | 31 pheyer Aug 12, 2016 现在的微博有一个痛点，就是收藏的微博可能会被原作者删除，然后你就看不到了，作者要不考虑改善一下？ |
 | 32 enyblock Aug 12, 2016 via Android 其实可以用 IFTTT 加 evernote 来实现，我会告诉你我用这样的方式来提醒女神的微博的更新么？一旦女神发微博，短信提醒我，微博保存到 evernote. |
| 33 enyblock Aug 12, 2016 via Android 其实并不需要登录吧，我说下我用 IFTTT 的原理，你看能借鉴不？ 条件是某微博博主的 rss,不要用微博名字，用微博给用户分配的那个 id,一直去监听这个应该就可以实现了吧。 |
 | 35 haozibi Aug 12, 2016 via Android 不用模拟登录，用微博 api 。 http://www.github.com/haozibi/BiWeibo 之前练手写的，凑合看吧 |
| 37 theodorus OP @enyblock 如果是应用的话自然现成的设计和软件相当好。实现起来也很漂亮。 rss 的话我没找到地址？或者微博反爬虫是有的，所以抓不到数据。需要先认证。目前在学 API 。 |
 | 40 sparkssssssss Aug 13, 2016 via iPhone 如果只是监控某人动态，没必要登录，用移动版的微博.cn 就可以监控，只是部分内容显示不全 |
Select Language