想爬取hao123上的所有网站，有没有好的方法？

scrapy 你值得拥有

使用云的理念，用访客的资源来爬行，节约服务器资源。。
哈哈，估计这样的网站没有人敢访问。

@enj0y 求实现
@wang2191195 scrapy必须扩展basespider, 我没抓成功。求代码

设置一个规则 http://*.hao23.com/*

其他的全部调过。

@flyingkid 我要抓全站的域名，当然不能控制域。scrapy链接提取的时候，只要有链接，我就要去匹配，所以我补知道如何处理这块。

https://bitbucket.org/zuroc/42qu-spider 参考这里的代码

https://bitbucket.org/zuroc/42qu-spider/src/1da78691755b649a200036f7fbc9b2cf98cd725b/jobbole_com.py?at=default

比如这个

现成的工具，这样算不算？
http://tool.chinaz.com/Links/?DAddress=www.hao123.com&cb_link=1&cb_pr=0&ddlLink=0&spidertype=1

@momou 问题是抓下来，我们还要处理下，最后还要到数据库去，所以工具是不够的。

curl拉下来
然后找出所有<a>

wget -e robots=off -r -T 3 --domains=hao123.com wwwhao123.com
for i in `find . -iname *.html`; do cat $i | grep "http:" | sed 's/^.*http/http/' | cut -d'"' -f1 | sort -u;done

wget 就搞定了。

https://github.com/dista/g-web-downloader
这个可以用

右键网页另存为。。。。用正则提取。。。。

100rmb包搞定

@im924106179 你能搞定就上代码，100rmb我付你。

scrapy 你值得拥有，呵呵。
用CrawlSpider，写好rules规则，然后在parse_item里面就可以处理你要的数据了，再实现一个pipeline数据管道，把你要的数据保存起来，就ok了。

爬取应该不行，你写个爬虫，总有你控制不住，或者没有那么智能。
你还不如写一个按页抓取的。就是你输入http://www.hao123.com/hardware

把http://www.hao123.com/hardware上的站提取出来，并且转json就好了。没必要钻胡同

这样行不行,用jQuery
$("a").each(function(){
$("<div></div>").load(this.href).appendTo(document.body);
});

@kenneth 所有网站指的是？
1. 推荐的网站域名吗，
2. 还是包括外链所在的网站？
3. 包含推荐的影片、图片链接地址所在的网站吗

@ADIVILOrz
只要hao123出现的链接，如果这个链接出去了，不继续爬。
我是想首先匹配链接，从所有链接中，取出域名。
链接的只要hao123出现的，就是不要爬出去了。

wget 啊

用采集工具啊。。
www.sensite.cn

@im924106179 怎么联系。

@kenneth

1. wget爬
2. 用grep提取网址

我把shell脚本和结果发在了 https://github.com/leeleilei/spideHao123

@ADIVILOrz 谢谢，我一会实践下，入库的话，能否通过shell搞定？因为我不懂直接用shell

@kenneth 看你入什么库，什么表结构。sqlite3，postgresql，mysql都有CLI工具，shell可以直接调用导入文本。

@kenneth echo "YOUR_SQL_HERE" | $MYSQL 就能输入数据库了。
其中MYSQL="mysql -u"(YOUR MYSQL ACCESS COMMAND)

都是NB人,学习下..