网页变动检测监控提醒 - 云端+开源自部署 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
lgh06
V2EX    分享创造

网页变动检测监控提醒 - 云端+开源自部署

  •  1
     
  •   lgh06
    lgh06 2022 年 4 月 20 日 5598 次点击
    这是一个创建于 1372 天前的主题,其中的信息可能已经有所发展或是发生改变。

    阿欢云端 网站网页页面更新变动监控提醒

    是国外 visualping / changedetection / Distill 等工具的优秀替代品。
    自己独立开发,借助开源世界的优秀工具,实现了云端检测网页变动,然后发送 Email 提醒。 每月免费检测 80 次,即使付费也很便宜。
    源码公开,可以自己部署,但禁止商业盈利用途。

    URL 访问地址

    地址 1 (适合内地)
    地址 2 (适合海外)
    文档地址(适合内地)
    文档地址(适合海外)

    目前为 alpha 版本,持续优化中。如有意见建议,请去github 讨论区
    或邮件至 i$$passby.me ($$ = @)

    Email 提醒截图

    Email 提醒截图

    以下为网站简介及常见问题:

    这个网站能做什么?

    云端持续定时监控 /检测一个网页的变化,间隔最小十分钟。
    如网页有变化或指定的关键词出现, 便发送电子邮件提醒,或电话提醒(开发中)。
    另请参阅 常见问题 页面。

    主要应用场景是什么? 举个例子?

    理论上支持检测任何公开的网页(检测需要登录后才能查看的网页,功能正在开发中)。应用场景非常广泛, 比如:

    • 查看某招聘网站有没有发新的招聘信息;
    • 查看某网站是不是有了新的招标公告、投标中标公告信息;
    • 查看某考试网站是不是发布了成绩,避免苦苦等待,漫漫无期;
    • 等等其他你需要查看网页更新 /变动的场景。

    与其他网站相比有什么不同与优势? 为什么选择我们的服务?

    主要优势:

    • 云端检测,不用挂机,节省电费。自己开电脑一个月,仅电费一项,就远远大于 10 元!
    • 便宜,负担得起。每月赠送 80 次检测次数;最低充值 2 元(人民币),即可获取 200 次检测次数。无论免费用户与付费用户,目前的最小检测间隔均为 10 分钟。
    • 点点鼠标,输入网址,填写几个选项即可。本机不用安装各种软件插件。
    • 开发者身处中国大陆,快速响应各种问题,快速开发与更新版本。
    • 服务器目前部署在中国境内,相比国外同类服务,网络延迟低、检测失败少,可以更快更准确地获取网页更新。 (多检测点、海外检测点,正在开发中)
    • 采用多种手段,避免误报与过度打扰,提升邮件送达率:
    1. 支持设置 CSS 元素选择器,仅检测指定区域的网页变动,避免误报
    2. 支持在上述指定区域内,再次使用 CSS 元素选择器,移除不需要的元素,适配更加复杂的页面。
    3. 支持在已获取页面内容(上述两步)之后,使用正则表达式,移除不需要的信息或格式化结果。
    4. 同一任务的邮件提醒,默认每 6 小时最多发送一次。(自定义邮件通知频率的功能正在开发中)
    5. 使用亚马逊 AWS 和阿里云的邮件发送服务,提升邮件送达率,避免垃圾邮件误报。
    • 项目已开源,但禁止商用及盈利行为。( 如需商业及部署支持,请联系开发者。 详细的许可协议参见以下链接内的 License 信息:)
      Github 开源地址: 链接
      Coding 开源地址:链接
    21 条回复    2024-10-25 09:48:32 +08:00
    lmaq
        1
    lmaq  
       2022 年 4 月 20 日
    地址 1 (适合内地) 打不开
    lgh06
        2
    lgh06  
    OP
       2022 年 4 月 20 日
    @lmaq 没宕机,用了 CDN ,强制刷新,Ctrl + Shift + R / COMMAND + SHIFT + R 再试试
    xinyana
        3
    xinyana  
       2022 年 4 月 20 日 via Android
    正想做一个,非常有用
    qa2080639
        4
    qa2080639  
       2022 年 4 月 20 日
    不错 需要到的时候挺实用的
    skys215
       
    skys215  
       2022 年 4 月 20 日
    建议做成浏览器插件
    lgh06
        6
    lgh06  
    OP
       2022 年 4 月 20 日
    @skys215 浏览器插件适合短时间内多次检测的场景,比如库存,抢票等,而且已经有人做了,功能也还不错。
    做成云服务的优点就是免挂机,不用盯着,适合你不知道未来几天到底哪一天才更新的场景。
    lgh06
        7
    lgh06  
    OP
       2022 年 4 月 20 日
    其它类似的开源项目: https://github.com/stars/lgh06/lists/crawler
    不开源的就不推荐不给别人引流了
    jayin
        8
    jayin  
       2022 年 4 月 20 日
    不错,支持下
    paopjian
        9
    paopjian  
       2022 年 4 月 20 日
    感觉像是定时爬虫比对?
    imdgr886
        10
    imdgr886  
       2022 年 4 月 20 日
    楼主我也刚发了自己的服务,共勉
    huanxianghao
        11
    huanxianghao  
       2022 年 4 月 20 日
    我用的 uptimerobot
    lgh06
        12
    lgh06  
    OP
       2022 年 4 月 20 日
    @huanxianghao 我这套东西适合检测网页内容,如果是宕机检测或者 HTTP Status / HTTP GET 检测 那可用的东西就更多了,各大云厂商的云拨测都有各种免费额度。
        13
    lgh06  
    OP
       2022 年 4 月 20 日
    @imdgr886 我这套东西本质上也是 cron syntax + 执行任务,只不过我这个任务目前限定死了,是个服务器上运行的浏览器。共勉。
    lgh06
        14
    lgh06  
    OP
       2022 年 4 月 20 日
    @paopjian 可不就是这回事…
    hong2351
        15
    hong2351  
       2022 年 4 月 20 日 via Android
    有空看看
    jackrebel
        16
    jackrebel  
       2022 年 4 月 22 日
    非常不错, 已经收录了。https://www.8kmm.com/sites/5811.html
    常用工具,

    Cron 定时任务表达式对普通用户来说, 还是有点难的, 希望大佬能改进用户体验。
    lgh06
        17
    lgh06  
    OP
       2022 年 4 月 22 日
    @jackrebel 做之前也考虑了,一堆 select / input 最后搞出来的日期选择,单就时间点和时间段的定义来说,还不如 cron 表达式来的简便直接。以后可以再加个简易的日期选择器,方便没有计算机背景的用户,比如每天 X 点 Y 分 和 A 点 B 分。
    jackrebel
        18
    jackrebel  
       2022 年 4 月 22 日
    @lgh06 https://s1.ax1x.com/2022/04/22/L2BFYt.jpg 就这几个就行了吧。 不用搞得很复杂
    lgh06
        19
    lgh06  
    OP
       2022 年 4 月 22 日
    @jackrebel 比截图上的“监控频率”逻辑要复杂,比如,一个用户想每天晚上 20 点 10 分检测一次,比如每天晚上 18 点、19 点、20 点的 15 分都检测一次(每天三次),前端 input /select 的逻辑就很复杂,然而用 cron 表达式分分钟把前面两个例子秒杀
    lgh06
        20
    lgh06  
    OP
       2022 年 4 月 22 日
    @jackrebel cron 功能强大,不适合普通用户; select + input 适合简单情况、普通用户。加个 select/input 不难,但是功能反而弱了… 后面看看情况再说怎么加。
    Pepsigold
        21
    Pepsigold  
       2024 年 10 月 25 日 via Android
    好东西要分享
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5031 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 119ms UTC 05:42 PVG 13:42 LAX 21:42 JFK 00:42
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86