V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 537 days ago, the information mentioned may be changed or developed.
目测需求不难，但是本人对 flink 一些东西还不熟悉，所以请教下
Supplement 1 Nov 9, 2024
目测需求不难，所以请教下
功能需求
1.预警记录生成
需要根据已经配置好的数据生成预警记录
例如：需要判断一个值，判断某个值是否大于或等于某个固定的值，或者百分比，并且持续一定时间后，生成一条记录
2. 数据重排
如果遇到数据阻塞的情况，接收的数据有可能是乱序的，需要每过一段时间，修改已生成的数据，例如节拍或者预警数据
数据结构大概是设备编码和设备运行日志的 json ，json 包含各个采集点位的 key 和 value ，目前就是判断这些设备的采集点位的 value 然后生成预警数据，数据重排是指在 flink 端对读取的数据根据时间戳进行乱序重排
功能需求
1.预警记录生成
需要根据已经配置好的数据生成预警记录
例如：需要判断一个值，判断某个值是否大于或等于某个固定的值，或者百分比，并且持续一定时间后，生成一条记录
2. 数据重排
如果遇到数据阻塞的情况，接收的数据有可能是乱序的，需要每过一段时间，修改已生成的数据，例如节拍或者预警数据
数据结构大概是设备编码和设备运行日志的 json ，json 包含各个采集点位的 key 和 value ，目前就是判断这些设备的采集点位的 value 然后生成预警数据，数据重排是指在 flink 端对读取的数据根据时间戳进行乱序重排
 | 1 summerlv OP 留下 vx 我，有偿有偿的，是自己遇到的需求，真的不难，做过实际开发的会觉得不难 |
 | 2 billlee Nov 8, 2024 不难为什么不直接问呢 |
 | 3 XuHuan1025 Nov 8, 2024 是的 初中第一课就说 闻道有先后术业有专攻,直接发出来 |
 | 4 jiny2048 Nov 8, 2024 直接发呗 |
 | 5 smplesugar Nov 9, 2024 有话直说即可，上来一句自己还不熟悉，那你想别人告诉你多难得东西？ 官网读完了吗，很多问题多读文档可以解决 |
 | 6 edwardzcn98 Nov 9, 2024 只了解一点 FlinkCDC ，你把问题直接贴出来大家分析呗。 |
 | 7 wxff Nov 11, 2024 5 年前搞过一段 flink 平台 1.开个滑动窗口 计算大于某个值 就 sink 一条数据 2.flink 有 watermark 设置为 eventTime 可以解决一定时间内数据乱序问题。 如果还是乱序时间比较长 可能需要具体场景具体分析 1 、需要缓存数据 重新计算了，比较耗内存 |
Select Language