
1 Vdaming 2018-12-11 21:35:12 +08:00 via Android 一直挺好奇这种站点是怎么查到所有网盘分享数据的? |
3 Hydjan 2018-12-11 22:31:17 +08:00 via Android 爬哪些网站?还是基于百度谷歌等搜索引擎? |
5 chwhsen 2018-12-11 22:44:47 +08:00 不错不错,收藏一个 |
6 cdwyd 2018-12-11 22:48:40 +08:00 尽量别弄了,就因为不小心抓到一个“办证”的分享链接,被喝茶还要做笔录,十指指纹,验是否吸毒。。。 解锁人生新成就了 |
10 zturns 2018-12-11 22:56:51 +08:00 via Android 居然备案了。。。 |
15 hoythan 2018-12-11 23:14:38 +08:00 你们用什么做爬虫 |
19 Verx0 2018-12-11 23:29:11 +08:00 via iPhone 已加入收藏 |
20 guoliguozhi03 2018-12-12 07:10:00 +08:00 via Android |
21 yxwzyyk OP @guoliguozhi03 意思你打算把我这个放进去() |
22 m319 2018-12-12 09:01:34 +08:00 via Android 其实还有一种思路,就是像 WIFI 万能钥匙一样的收集用户自己找过的资源 Chrome 扩展商店里已经有一个云盘万能钥匙就是这么干的,因为是用户自己找的资源,所以内容质量好像还行 目前的状态是收费运营,但是费用也不贵(几块钱够用一年了),感觉这种模式似乎可行,就是需要用户量 |
24 skschema 2018-12-12 09:12:48 +08:00 用了一下,对有连接符的搜索结果处理不太好,没有把包含多个关键词的结果显示到前面。这和一些网盘搜索有点类似。 |
28 paradoxs 2018-12-12 10:38:29 +08:00 单独的百度网盘可用性太低了 建议改成磁力链接搜索 综合站 ,里面的结果包含百度网盘就行了。 |
29 houzhimeng 2018-12-12 10:45:09 +08:00 感觉搜出的东西还是少,有些内容都是老资源 |
32 yxwzyyk OP @houzhimeng 因为才开始,所以爬取的数据还不够多,爬虫表示他已经很努力了 |
33 coffeemayor 2018-12-12 10:59:34 +08:00 不是实时爬取的吗 资源都好老 |
34 yxwzyyk OP @coffeemayor 有新有老吧,因为数据量还太低,所以目前还不挑剔资源上传时间,等丰富一点会提高新数据的权重 |
39 MonsterTan 2018-12-12 16:23:44 +08:00 在 github 上开源吗?表示想看看实现原理,或者能给说说看? |
41 yxwzyyk OP @MonsterTan 并没有开源,这东西不是都那一套吗?python 写好规则爬取和提交,接着部署到各个地方,服务器负责数据过滤和整理,然后 es 进行搜索,几个定时任务负责定期扫描去掉失效链接 |
42 Cosinex 2018-12-12 16:49:49 +08:00 资源不可靠啊 点进去都是没有的 |
44 qyt11411 2018-12-12 23:15:22 +08:00 响应式页面看着不错支持一个,就是内容还太少. |
45 mon3 2018-12-13 09:06:36 +08:00 你的 URL 用的对称加密生成的么? 相关资源那里用的 elasticsearch 还是用的 tag? |
46 yxwzyyk OP @mon3 URL 就是 uuid 了, 相关资源用的是 elasticsearch, tag 是我用来作为一种可拓展的分类手段 |
47 allen2012 2018-12-13 12:07:12 +08:00 感谢楼主,感觉这个盘搜网站不错,可以搜索到很多有用的资源, 还有热门资源推荐,就喜欢楼主这种实干派!!! |
48 syl9617016 2018-12-13 12:16:50 +08:00 还不错,页面响应式 简单直接 还在虫部落有入口 |
49 sarlanori 2018-12-13 13:19:12 +08:00 这个跟直接用搜索引擎使用 site 搜索特定的网站有什么区别呢 |
51 yxwzyyk OP @syl9617016 要感谢虫部落 |
58 yxwzyyk OP @soho176 爬虫是最乱的一块代码了不好意思给人看,全文查找这东西 elasticsearch 了解一下,中文分词加上拼音分词自定义词典以及繁体简体转换,基本就能做到了 |
59 lqkweb 2019-04-28 12:44:37 +08:00 www.81ad.cn 这个也可以搜索百度云资源,带密码的也可以搜索的 |