鸟巢网页数据采集系统 V2.2

楼主强人哦.界面细腻,功能强大到难以想像.不知道处理有 IP 限制的页面是否有解决方案

cool

以前也考虑过写类似东西，但思路不及楼主。看得出花费了大量心血。

有毅力，一个项目能够坚持这么多年，赞！

牛逼，能用 6 年做一件事的都是牛人

牛人，毅力！！

好棒！楼主好毅力

好厉害！学习楼主这种精神！

@rubyvector 可以实现基于代理池的网页抓取插件，也可以是独立于采集器的多线 ADSL+ROS 解决方案
其实我的终极目标是基于鸟巢采集器做爬虫共享

多谢各位的友情支持

楼主牛人 已安装试用

有 docker image 吗？

吓到了，好强大。。。。 绝对大神

@kukat 还没有，之前准备用 BWG 做 DOCKER 弄了好久发现不支持，后续会加上

不有安装脚本也还方便吧


@mew7wo 有任何意见，建议请给我留言，重构太多目前应该还有不少 BUG

@sohoer 爬虫共享赞一个。

佩服楼主持之以恒的精神！

6 年有点太长，一直是楼主一个人开发吗

楼主好毅力…

楼主大触！

楼主，吊~！

佩服~

大牛 膜拜.

太厉害了，坚持了那么久，我很久之前也写过一个，不过完全不通用啊。

什么毅力居然让你坚持了 6 年。。。赞。。。

这项目的构建方式刷新了三观，好腻害.....

牛逼

成功炸出来潜水党...点赞。

已经 star,真是膜拜大牛啊,

在树莓派贴吧 看过一个类似的 info

定制度和完成度都好高……膜拜下

我了个去啊，牛逼到家啊。。。给楼上点个赞啊

看了下 好牛逼 颠覆了对以往采集工具的理解~

回家试试

好厉害啊，很多 ux 动画也是非常的精致。

一登录进去 NPE 了哦

java.lang.NullPointerException
at lllllllllllllll.IIlIIllllIIlllllI.lIlIllIllIIIllI(Unknown Source)
at lllllllllllllll.IIlIIllllIIlllllI.IIIIIllIlIIIIII(Unknown Source)
at lllllllllllllll.IIlIIllllIIlllllI.IIIIIIlllIlllIl(Unknown Source)
at lllllllllllllll.IIlIIllllIIlllllI.IIlIIIlIlIIlIIl(Unknown Source)
at lllllllllllllll.IIlIlllIlllIlIIII.lIIllIllllIIIIl(Unknown Source)
at lllllllllllllll.IIlIlllIlllIlIIII.check(Unknown Source)
at sun.reflect.GeneratedMethodAccessor60.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at lllllllllllllll.IIlIlIllIIIlIlIll.IIIIlIlllIIlIll(Unknown Source)
at lllllllllllllll.IIlIlllIlIllllIIl.call(Unknown Source)
at lllllllllllllll.IIlIIlIIIlIIlIIII.IIlIIlIlIlIlIIl(Unknown Source)
at lllllllllllllll.IIlIIlIIIlIIlIIII.service(Unknown Source)

好厉害，赞赞赞

膜拜一下

可视化的怎么弄

wecl come back 。赞

三年前看过，记得当时根本无从下手，现在真的好用多了。 [赞]

@FanError 请切换到海外节点，在 LOGO 边上

上一次发布有人说访问太慢，
所以我自己实现了分布式同步，目前有三个节点， aliyun 、 gae 、 linode
被墙的资源如 GAE 请使用 linode(海外节点)访问

好毅力 已 star

楼主太刁了。已 star

@leehon 一直都是一个人开发

有时候想想都觉得自己很强大，坚持这么久做一件事情
无数次编译，数不清的重构，每一次重构都很痛苦
刚开始程序员生涯的时候做过很多垃圾站，也用过不少采集器
后面知道 GAE 免费，于是想用很多的 GAE APP 来搭一个免费的爬虫网络（违反 TOS ）
基于 GAE 开发后发现 PAAS 平台限制太多，后来加上了标准的 JAVA 环境支持
目前同时支持 GAE 与标准 JAVA 环境，开发上也增加不少难度，
谁让我想吃免费的蛋糕呢！

最后大家都能有免费蛋糕吃

能留个邮箱么，有点其他需求，希望能通过邮箱沟通。

@xingshu [email protected]

@sohoer 已发，谢谢。

手动点赞，楼主能坚持真的很厉害。不像某些项目，一堆 bug 还到处宣扬。

佩服楼主的毅力和能力，点赞！

膜拜

看哭了，我确定是回这贴的

@badcode 你确定吗？

给你点赞啦！希望以后也继续更新

垃圾站助手？

@Flygoat 现在不做垃圾站了，像这样的 http://www.shishibi.com(半成品)

选项太多了，来试试 import.io ？

@binux 大神来了啊！

试用过 import.io 好卡，他也有不少可配置项，并且这种可视化配置并不能做到通用
其实我那两个导出图标都还是从他们家搬来的

太强大了！赞！

@binux

哦你说的应该是那个无需配置的功能，那个复杂点的页面就解析不出来，不确定性太多

@sohoer 最近更新了，现在是纯 web 的了，不知道你试过没有
import.io 给通用的解决方案是后处理
我给通用的解决方案是直接写脚本

与其在一大片菜单中学习一堆新的概念，还不如学几段脚本容易

不是泼冷水啊，这个跟八爪鱼比起来有啥明显的优势吗。。。

牛人，学习坚持精神！

@ddter 八爪鱼带个浏览器跑耗资源，好处是真的通用，八爪鱼能在 gae,openshift 上跑吗？

@binux

现在的可视化配置功能是没几个选项的, 保留原来的功能配置是对这个通用型采集器的强化，
我不想要这个能用那个用不了的采集器。

拿知乎的模拟登录来说， import.io 是绝对实现不了的
知乎的登录做了几次跳转，有一次是读取 cookie 的值做的跳转

我吓尿了，好厉害！

@binux 刚刚看到，应该是最近几天更新的，好好玩一下

很牛！可惜暂时用不到

点赞,好厉害！

太 nb 了！

好厉害

惊呆。~ 好厉害！！

我见过的收藏人数最多的一个帖子

点赞

在以前的公司,有过类似的.
我负责前端,开发一个 Chrome 插件,来让人选择爬取的内容.

楼主这个,看功能要完善好多.犀利啊~

cool

好棒！

好牛逼。读书的时候就有这个想法，但是并没有做下去。实在佩服，佩服。

叼炸了。正好有相关的需要，学习学习。

功能强大到爆，可惜不适合小白用

好强大啊，已 star ，佩服 LZ 的毅力！

看了介绍视频，很强大！
非常感谢楼主分享！

和国外的 kimono 太像啦

@jacker 虽然 kimono 已死，但不否认有参考他的设计

好强大，佩服楼主！

支持楼主！

支持一个！

爆了

@sohoer 不是都说 python 开发爬虫不错嘛，为什么你选择 java ，谢谢回答

以前做过 SEO ，采集方面主要是采集后伪原创处理然后发布，现在主要做一些运营方面，会遇到需要采集一些数据做分析，根据这两方面我个人感觉可以加上的几个功能是
1.根据部分开源的程序有通用的规则，方便小白来采集（如 WordPress ，或者 magento ）；
2.对接一些 API ，如 copypass 等
如果能根据数据生图就更好啦
kimono 可以生成自己的 API ，这个功能也是非常不错的

太强大了, 虽然说个人免费使用, 但是即使收费了也是毫不犹豫的买买买

@gutianyun 简单的开发一个爬虫， python 是好原生 API 就很强大，复杂的熟悉哪个用哪个，用 JAVA 只因我能撑控他，为了优化性能，还需要对内存堆栈做分析


@jacker 数据导出 API 支持 JSON 、 RSS 格式，你看演示视频里不是可以将数据发布到 plot.ly （图表生成）

NB 啊。求个邀请码注册玩玩

NB

test 账号进去各种 error ，引导做得不好，居然不是开源，不过好像反编译就行了

看完 LZ 的项目,感觉自己写的爬虫的通用性就是个笑话
6 年....佩服 LZ 的毅力

个人安装之后，用什么帐号可以登录使用个人采集器

佩服楼主的毅力

膜拜！！！！

@sohoer 主要问题是没有 xpath 表达式显示在页面的左上角,你可以看下截图，截图地址： https://pan.baidu.com/s/1ctf1Yu