V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 1829 days ago, the information mentioned may be changed or developed.
请问下各位 V 友，我们小公司目前有个小需求，是对日志文件的按需处理。需求和模块如下。请问下有没有合适解决方案呢？求支招。谢谢！
日志文件处理：
需求：
数据源：第三方程序生成明文的，固定格式的日志，定时以 ftp 方式吐到 ftp 服务器上的文件夹；
日志处理：
日志数据文件，按时间段自动打包压缩；
数据库：
根据日志数据文件收到的内容，全额写入数据库；
数据库定时备份；
Web 前端：
设定统计条件，读取数据库，生成统计图，表格；
日志延时处理；
后端：
通过 LDAP 连接 AD，定时遍历 AD 用户内容，维护日志映射表，web 前端统计调用；
审计模块：
操作日志的记录；
通知模块：
设定通知条件，达到条件后自动触发通知；
大量日志告警通知功能；
日志文件处理：
需求：
数据源：第三方程序生成明文的，固定格式的日志，定时以 ftp 方式吐到 ftp 服务器上的文件夹；
日志处理：
日志数据文件，按时间段自动打包压缩；
数据库：
根据日志数据文件收到的内容，全额写入数据库；
数据库定时备份；
Web 前端：
设定统计条件，读取数据库，生成统计图，表格；
日志延时处理；
后端：
通过 LDAP 连接 AD，定时遍历 AD 用户内容，维护日志映射表，web 前端统计调用；
审计模块：
操作日志的记录；
通知模块：
设定通知条件，达到条件后自动触发通知；
大量日志告警通知功能；
 | 1 lhx2008 Apr 25, 2021 数据不多推到云上呗。。省事 |
 | 4 BeautifulSoap Apr 25, 2021 via Android 不是做成产品，是拿来公司内部用？ 那直接上 ELK 啊，你的需求都能满足 |
 | 5 cominghome Apr 25, 2021  1 Grafana + Elasticsearch 不香吗？ |
 | 6 tianyuan233 Apr 25, 2021 kibana |
 | 7 chawuchiren Apr 25, 2021 @lhx2008 腾讯云的 CLS，你们怎么处理的分词？ |
 | 8 RRRoger Apr 25, 2021 elk |
 | 9 varrily Apr 25, 2021 阿里 日志服务 |
 | 10 nbsn OP @BeautifulSoap 谢谢推荐，看来这个不错 |
 | 11 37Y37 Apr 25, 2021 1 推荐 ELK，画图这块可以看 Grafana 看能不能满足，不行的话自己写也可以，ES 有 API 我们实现的一些思路，可以参考 https://blog.ops-coffee.cn/elk |
 | 12 ychost Apr 25, 2021 推荐 ELK + Telegraf + Grafana |
 | 14 pkupyx Apr 25, 2021 上云，然后买买买 |
 | 17 drinkjs Apr 26, 2021 前端数据可视化可以看下 Mojito |
Select Language