Pixivic.com 一个免费 Pixiv 高级会员搜索的站点 3.0 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
OysterQAQ
V2EX    分享创造

Pixivic.com 一个免费 Pixiv 高级会员搜索的站点 3.0

  •  2
     
  •   OysterQAQ
    OysterQAQ 2019-10-27 13:17:25 +08:00 20931 次点击
    这是一个创建于 2243 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前言

    时间如白驹过隙(没有什么文化,感慨的话说不出来),距离1.0发布已有一年,对我来说,3.0与之前最大变化可能是自己终于能从前后都写的境地中解放出来:)(有三个咸鱼前端开发老哥,春招一起找工作认识的网友,以后应该能发展成线下的好朋友)。

    以下仅仅是后端发布上线,前端正在开发中(预计十一月底或者十二月上线)

    About Code

    架构图

    Bright Point

    • 基于注解的基础设施模块
    • 基于ElasticSearch的近实时搜索
    • 基于Logstash的同步
    • 基于JDK 11Httpclient
    • Restful API

    About Feature

    检索

    • 根据画师 id 检索画师
    • 根据画作 id 检索画作详情
    • 依赖于saucenao的以图搜图
    • 依赖于Pixiv的相关性 tag
    • 依赖于Pixiv的搜索词自动补全
    • 依赖于百科的搜索词->词条的尝试(搜索建议)
    • 多关键词搜索(空格切分)
    • 自动翻译
    • 更高的定制性(长宽、画作类型、创建时间等)

    排行

    • 日、周、月排行的查看

    spotlight

    • spotlight 主题画辑的查看

    ACG 资讯

    • 集合资讯查看

    Common

    • 用户模块
    • 收藏画作
    • follow 画师
    • 查看画师画作
    • 给画作添加 Tag(暂未实现)
    • 用户行为追踪与还原(时间轴)、支持自定义书签(备份点)(暂未实现)
    • 喜爱画作分享到社群
    第 1 条附言    2019-10-28 09:44:21 +08:00
    被人恶意搜索政治有害图片举报,暂时关闭,处理敏感词汇搜索
    第 2 条附言    2019-10-28 18:41:40 +08:00
    除了承诺开放的 api 外,以上 api 未来可能会开启权限控制,将会针对用户来进行流量控制,未登录将不能使用
    50 条回复    2022-06-22 23:29:27 +08:00
    yaohege
        1
    yaohege  
       2019-10-27 13:29:16 +08:00 via Android
    前排膜拜
    0o0O0o0O0o
        2
    0o0O0o0O0o  
       2019-10-27 13:29:32 +08:00 via iPhone
    感谢。

    记得 2.0 的时候有个随机图片的 API,3.0 的文档里没看见
    OysterQAQ
        3
    OysterQAQ  
    OP
       2019-10-27 13:30:53 +08:00
    @0o0O0o0O0o 还未开发完毕,现在的做法效率太差,等开发完毕了会单独发布供大家使用
    X2031
        4
    X2031  
       2019-10-27 13:35:58 +08:00
    老哥这个站 备案 不太安全吧
    OysterQAQ
        5
    OysterQAQ  
    OP
       2019-10-27 13:45:38 +08:00 via iPhone
    @X2031 都是绿色内容啊
    X2031
        6
    X2031  
       2019-10-27 13:56:04 +08:00
    @OysterQAQ 有点道理。 之前做个类似的站点,迫于成本和盈利模式 。后来放弃~
    Darkside
        7
    Darkside  
       2019-10-27 13:57:12 +08:00
    已收藏,估计会推荐给同学用,感谢您的创作!
    Babylon27
        8
    Babylon27  
       2019-10-27 14:18:50 +08:00 via iPhone
    感谢分享
    ShinomiyaKaguya
        9
    ShinomiyaKaguya  
       2019-10-27 14:20:16 +08:00
    支持,希望
    cairnechen
        10
    cairnechen  
       2019-10-27 14:22:03 +08:00
    哇,今天刚想找一个能搜索 Pixiv 的工具,好巧,感谢,支持!
    dcalsky
        11
    dcalsky  
       2019-10-27 15:06:14 +08:00 via Android
    如何盈利?没看见广告
    ashine
        12
    ashine  
       2019-10-27 15:49:52 +08:00
    可以申请一波友链吗? https://gal.voiux.com
    OysterQAQ
        13
    OysterQAQ  
    OP
       2019-10-27 16:29:47 +08:00 via iPhone
    @dcalsky 暂时没有盈利模式,明年再考虑是在瀑布流中像 pinterest 那种插入广告还是高级功能订阅
    OysterQAQ
        14
    OysterQAQ  
    OP
       2019-10-27 16:34:09 +08:00 via iPhone
    @ashine 可以呀,参考我们友链的格式给出
    mokeyjay
        15
    mokeyjay  
       2019-10-27 17:16:35 +08:00
    好强啊,赞
    digimoon
        16
    digimoon  
       2019-10-27 18:14:30 +08:00
    能不能在搜索结果的那堆小图里加入跳转到 pixiv 原页面的功能?真的好慢啊
    RicardoY
        17
    RicardoY  
       2019-10-27 18:35:21 +08:00 via Android
    这个网站真是越做越好了...在群里一些年纪小的爱好者已经不知 pixiv 只知 pixivic 了
    OysterQAQ
        18
    OysterQAQ  
    OP
       2019-10-27 18:46:50 +08:00 via iPhone
    @digimoon 有的,点击大图就会跳
    OysterQAQ
        19
    OysterQAQ  
    OP
       2019-10-27 18:47:02 +08:00 via iPhone
    @RicardoY 惶恐
    digimoon
        20
    digimoon  
       2019-10-27 19:51:21 +08:00
    @OysterQAQ 就是因为大图太慢了,要刷出占位才能点,经常性刷不出
    OysterQAQ
        21
    OysterQAQ  
    OP
       2019-10-27 20:02:36 +08:00
    @digimoon 到时候让前端安排一下
    wzw
        22
    wzw  
       2019-10-27 21:01:10 +08:00
    想知道你的架构图 用什么画的, 很好看
    OysterQAQ
        23
    OysterQAQ  
    OP
       2019-10-27 21:06:19 +08:00   1
    @wzw 哈哈哈每次都有人问,是 xmind zen
    echopan
        24
    echopan  
       2019-10-27 21:49:32 +08:00
    膜拜大神,求扩列
    OysterQAQ
        25
    OysterQAQ  
    OP
       2019-10-27 22:05:07 +08:00
    @echopan 不是大佬 可以加我的一个程序员小群,里面都是今年六月毕业的朋友,群号 963551053
    chainmon
        26
    chainmon  
       2019-10-27 22:53:07 +08:00 via Android
    大佬的 intro 页居然是我的模板,荣幸啊
    https://github.com/nexmoe/single-page/blob/master/README.md#mixcm-avatar
    OysterQAQ
        27
    OysterQAQ  
    OP
       2019-10-27 23:07:59 +08:00
    @chainmon 你的时间轴非常简约好看~
    Caturra
        28
    Caturra  
       2019-10-27 23:18:43 +08:00
    不错的站点,不过火狐似乎用不了?
    echisan
        29
    echisan  
       2019-10-28 08:28:18 +08:00 via iPhone
    Simcentric
        30
    Simcentric  
       2019-10-28 09:07:51 +08:00
    膜拜大神
    98jiang
        31
    98jiang  
       2019-10-28 09:07:58 +08:00
    用过几次,支持~
    deathscythe
        32
    deathscythe  
       2019-10-28 11:03:12 +08:00
    P 站呢,一直存图一直推荐,每张都好看, 停不下来啊 /滑稽 /手动狗头
    mouyase
        33
    mouyase  
       2019-10-28 11:34:19 +08:00 via Android
    居然突然就发新版了…
    OysterQAQ
        34
    OysterQAQ  
    OP
       2019-10-28 11:40:15 +08:00
    @mouyase 不突然了,一年了都
    dapang1221
        35
    dapang1221  
       2019-10-28 18:47:24 +08:00
    泼个冷水…我几年前爬过 pixiv 数据,那时候用 api 爬还很好用,爬了大概几天的增量之后,我就发现一个问题


    还不如不直接买个高级会员的账号,拿到登录态,再把所有搜索请求转发过去了……
    dapang1221
        36
    dapang1221  
       2019-10-28 18:52:12 +08:00
    补充一哈,其实还不是只爬增量就够了,相当于每一次更新都是爬全量,因为每个图的收藏数和 tag 都是在变化的…当时搞了个分布式的爬虫,虽然没几个节点。搜索用的是 sphinx
    OysterQAQ
        37
    OysterQAQ  
    OP
       2019-10-28 18:53:47 +08:00
    @dapang1221 实际上 1.0 版本就是转发请求实现。。。但是并发上去会被封账号,增量当然是要基于全量的基础上做增量,这东西挺敏感的,不说太说了
    6IbA2bj5ip3tK49j
        38
    6IbA2bj5ip3tK49j  
       2019-10-28 19:25:31 +08:00
    真厉害
    数据库 mariaDB+redis,es 做搜索
    Springboot
    前面套了一个 cdn
    能画成这样,不去做架构师真的屈才了。
    OysterQAQ
        39
    OysterQAQ  
    OP
       2019-10-28 19:46:15 +08:00 via iPhone
    OysterQAQ
        41
    OysterQAQ  
    OP
       2019-10-28 20:58:06 +08:00 via iPhone
    @aver4vex 级别需要在限制一下
    OysterQAQ
        42
    OysterQAQ  
    OP
       2019-10-28 21:18:59 +08:00
    @aver4vex 能提供搜索词吗 我看看级别
    aaaaaaaaa
        43
    aaaaaaaaa  
       2019-10-28 21:51:49 +08:00
    原来 zen 还能画成这样,感谢
    aaaaaaaaa
        44
    aaaaaaaaa  
       2019-10-28 21:53:52 +08:00
    请问下 logstash 的相关配置是不是没上传到 GitHub ?
    OysterQAQ
        45
    OysterQAQ  
    OP
       2019-10-28 23:08:56 +08:00
    @aaaaaaaaa 是的,挺简单的只是配置一下输入输出,后续有需要会上传
    duola
        46
    duola  
       2019-10-29 07:09:29 +08:00
    之前我好像记得你图存在又拍云的。
    OysterQAQ
        47
    OysterQAQ  
    OP
       2019-10-29 07:36:05 +08:00 via iPhone
    @duola 没有的,哪存的起,都是反代图片,
    clemmsen
        48
    clemmsen  
       2019-10-29 09:40:43 +08:00
    你问我资瓷不资瓷,我是资瓷的,只是这种很容易被人恶意针对
    OysterQAQ
        49
    OysterQAQ  
    OP
       2019-10-29 16:51:48 +08:00
    @clemmsen 资瓷就完事了,敏感词过滤提上日程
    chackchackGO
        50
    chackchackGO  
       2022-06-22 23:29:27 +08:00
    如今怎样了?项目地址 404 且主页功能几乎尽失
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     895 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 31ms UTC 21:21 PVG 05:21 LAX 13:21 JFK 16:21
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86