有没有一种爬虫服务，只需要我指定网站和规则，就可以定时爬数据，并且可以提供我指定格式的 json api 的
Brucepac 2018-03-03 13:47:55 +08:00 10189 次点击这是一个创建于 2846 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题，希望各路大佬知道，告知一下。
PS：本人比较喜欢看自然科学相关的文章，经常看环球科学的网站，加上我是做 iOS 开发的，所以我想用 swift 做一个 app 方便看文章。
本来是想自己做全栈的，包括设计和前后端(前后端全用 swift)，但是由于我对爬虫方面的知识不太了解，我想先完成 app，后期再用 Perfect 自己学习写爬虫程序。所以要是有现成的爬虫并且是开源的就最好了。
 | 1 loading 2018-03-03 13:48:47 +08:00 via iPhone  1 幽灵蛛 |
 | 2 malagebidi 2018-03-03 13:49:48 +08:00 用 huginn+feedly，完全满足需求。 |
 | 3 devjoe 2018-03-03 14:29:25 +08:00 via iPhone 直接加载整个网页，然后利用 XPath 解析就行 |
 | 4 bogun 2018-03-03 14:35:55 +08:00 via Android 可以试一下 portia，可视化爬虫 |
 | 5 likuku 2018-03-03 14:39:27 +08:00 IFTTT ？ |
 | 6 chroming 2018-03-03 14:40:43 +08:00 via Android 1 可以看下 pyspider |
 | 7 4BVL25L90W260T9U 2018-03-03 15:29:42 +08:00 via Android 4 那你就先 mock 一个数据开发呗，做完再说。说不定中途就放弃了 |
 | 8 lScarlet 2018-03-03 15:46:59 +08:00 via Android 马克 |
 | 9 brotherlegend 2018-03-03 15:51:59 +08:00 via Android 看大佬们回答 |
 | 10 yuanfnadi 2018-03-03 17:05:31 +08:00 via iPhone 1 toapi 可以把网站变成 api |
 | 11 silencefent 2018-03-03 17:20:57 +08:00 神箭手 |
 | 12 giuem 2018-03-03 17:22:43 +08:00 via iPhone |
 | 13 safedogcc 2018-03-03 17:47:05 +08:00 1 这不就是我的 APP [下一栈]( https://nextstack.xyz) 该做的事吗！ 原理也是一样，把网站的 html 或者 rss 或者 json api 转换成固定的 json 数据格式，只不过不用爬虫，直接在客户端进行爬取解析，欢迎体验！ |
 | 14 sparkssssssss 2018-03-03 17:51:20 +08:00 via iPhone 马克 |
 | 15 zhtttyecho 2018-03-03 18:41:24 +08:00 马克 |
 | 16 zhesheng 2018-03-03 18:46:31 +08:00 via Android 马克 |
 | 17 anonnymous 2018-03-03 18:49:49 +08:00 克马 |
 | 18 Esora 2018-03-03 19:02:04 +08:00 mark |
 | 19 leriou 2018-03-03 19:35:06 +08:00 八爪鱼试试 |
 | 20 sohoer 2018-03-03 20:29:05 +08:00 可以先试用下 hicrawler.com ，目前支持 json api 或发布到 wordpress |
 | 22 golmic 2018-03-03 21:35:42 +08:00 via Android 我可以免费提供数据方面的技术支持。微信 lujqme，可以联系我 |
 | 23 limbo0 2018-03-03 22:37:58 +08:00 via iPhone 不趁现在学习一波 python 吗 |
 | 24 rootit 2018-03-03 22:46:10 +08:00 你想的太简单了。。。 |
| 25 safedogcc 2018-03-04 00:20:44 +08:00 1 @just1 #21 这类是固定的解析模版，比如 v1.4 的简书专题（近日发布），v1.5 的 hexo 博客支持（待发布）以及后续的 wordpress 博客站点等等一些较常用的 cms 系统（因为基本 dom 元素一致，所以解析代码通用）。 当然，你有兴趣可以看看开发文档，你会发现绝大部分的网站都可以进行创作哒！ |
 | 26 xuanyuanaosheng 2018-03-04 00:29:02 +08:00 via Android mark |
 | 27 mlyy 2018-03-04 00:29:52 +08:00 这里有两层难度 - "指定网站和规则" - "我指定网站和规则" |
 | 28 agdhole 2018-03-04 00:55:30 +08:00 造数了解一下 |
 | 29 demonchang 2018-03-04 01:06:48 +08:00 via iPhone 发源地云采集引擎，可以看一下。自带周期更新 |
 | 30 dobelee 2018-03-04 01:43:38 +08:00 via Android mark |
 | 31 gouchaoer 2018-03-04 02:05:34 +08:00 via Android 正在做相关的东西，我爬虫攻城狮干了几年了 |
 | 32 wwb721 2018-03-04 08:12:48 +08:00 马克 |
 | 33 idcspy 2018-03-04 10:47:07 +08:00 造数好像可以。 |
 | 34 Shura 2018-03-04 11:23:26 +08:00 feed43 |
 | 37 qiqico 2018-03-04 12:25:36 +08:00 https://www.showapi.com/ent 这个也不错，支持一些自定义规则 |
 | 38 beginor 2018-03-04 20:56:15 +08:00 via Android |
 | 39 lisztli 2018-03-04 23:27:25 +08:00 |
| 40 lisztli 2018-03-04 23:28:59 +08:00 scrapinghub 和 scrapy 框架直接绑定，有免费配额，可以直接使用。 |
 | 41 zlstll 2018-03-05 08:48:13 +08:00 mark 一下 |
 | 42 dingdong 2018-03-05 10:10:12 +08:00 提供这种服务的网站，如果存储了爬虫数据，在国内会面临法律风险吧 |
 | 43 Jaeger 2018-03-05 10:28:27 +08:00 |
 | 44 midysky 2018-03-06 14:48:15 +08:00 发源地云采集引擎，专门干这个事的。刚刚已开源。https://github.com/finndy/finndycloud |
| 45 midysky 2018-03-06 14:55:16 +08:00 [发源地] 数据源市场有 10 几万个网站的规则。很多开发者发布的免费规则可以使用。 |
Select Language