现在比较轻量的 bi 和 etl 是什么? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
sunorg
V2EX    程序员

现在比较轻量的 bi 和 etl 是什么?

  •  
  •   sunorg 2023-12-11 00:05:35 +08:00 3670 次点击
    这是一个创建于 758 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有一批数据要处理,数据源乱七八糟,但数据量不大,一般一天递增 2 万,哪位朋友能给推荐个 ETL 和 BI 可视化的??

    15 条回复    2024-01-18 20:24:33 +08:00
    sunorg
        1
    sunorg  
    OP
       2023-12-11 00:11:10 +08:00 via Android
    .补充下信息:

    目前数据源主要是 excel ,mongodb ,json 文本,普通 txt.

    主要使用需要是 python 。
    haimianbihdata
        2
    haimianbihdata  
       2023-12-11 00:28:48 +08:00 via Android   1
    有预算就帆软的,没有就开源 superset 之类的 bi 。etl 就海豚调度Python 处理文本入库。大差不差
    KKLeon
        3
    KKLeon  
       2023-12-11 00:57:24 +08:00 via Android
    powerbi 和 tableau ? tableau 可视化做的不错,原来体验过,不过我用的很基础
    ferock
        4
    ferock  
    PRO
       2023-12-11 03:44:49 +08:00 via iPhone
    mark ,期待后续解答
    hysys32
        5
    hysys32  
       2023-12-11 08:02:36 +08:00 via iPhone
    powerbi 宇宙最强
    sunorg
        6
    sunorg  
    OP
       2023-12-11 08:02:54 +08:00 via Android
    @haimianbihdata 感谢,我学习一下这个去
    Babbitt
        7
    Babbitt  
       2023-12-11 08:16:33 +08:00 via iPhone
    有类似需求,关注下
    fridaycatye
        8
    fridaycatye  
       2023-12-11 08:36:07 +08:00 via Android
    mark ,我自己用过 datax 和 kettle
    sujin190
        9
    sujin190  
       2023-12-11 08:50:55 +08:00 via Android   1
    https://github.com/snower/syncany-sql

    那来推荐下这个项目呗,写 SQL 可以同时查询你需要的这些数据源还可以相互 join ,python 搞的,出发点也就是你现在遇到的这种需求,把统计结果同步到 mysql 之类的,图表用 superset 就很好用了
    sunorg
        10
    sunorg  
    OP
       2023-12-11 09:05:06 +08:00 via Android
    @sujin190 十分有意思的项目,谢谢。晚点我试一下
    howfree
        11
    howfree  
       2023-12-11 09:13:58 +08:00
    有个叫 datart 的,不知道能不能满足你的需求
    sujin190
        12
    sujin190  
       2023-12-11 09:29:21 +08:00   1
    @sunorg #10 顺便补充一点点,这个写的 SQL 主要方向还是数据导出和数据同步,所以 insert into 并不和数据库的 insert into 一样,其 select 的第一个字段表示主键唯一值,insert into 的时候可以指定选项按这个字段值存在则更新否则插入以保证可重入,毕竟定时脚本统计同步数据不能保证重入简直坑死人,默认则是追加,如果是按天统计结果的也推荐用日期加统计类型来构建一个唯一值更容易保证不出错
    Chalice
        13
    Chalice  
       2023-12-11 10:16:59 +08:00   1
    最近测了很多 bi ,大部分对 MongoDB 的支持都很烂(比如 metabase 不支持 MongoDB 的 array ), 有的甚至完全不支持,最好先用 MongoDB Connector for BI 转换下。
    sunorg
        14
    sunorg  
    OP
       2023-12-11 23:16:15 +08:00 via Android
    @sujin190 有点不合适,有些追加有些覆盖
    sunorg
        15
    sunorg  
    OP
       2024-01-18 20:24:33 +08:00 via Android
    @haimianbihdata

    海豚调度,客户端太耗费系统资源了。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1308 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 23:55 PVG 07:55 LAX 15:55 JFK 18:55
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86