模型训练开发方向怎么样 - V2EX
primitive

模型训练开发方向怎么样

  •  
  •   primitive Aug 3, 2024 via Android 2048 views
    This topic created in 646 days ago, the information mentioned may be changed or developed.
    本人目前在做深度学习模型推理的算子公共平台,主要是对算子进行封装提供 api 。感觉没有深入到芯片编译器,也没上升到算法业务,容易被替代。

    目前想看模型训练方向,但是了解下来感觉模型训练主要是在围绕 pytorch 进行调参,性能优化也是用工具打监控,最后调 batch 改多核等。我觉得训练核心是围绕框架进行尝试,感觉很容易被替代,好处是更近业务,要的人多,不知道前辈们怎么看。

    或者另一个方向去做推理引擎,这个我不太了解,感觉推理引擎市面上没几家在做,比较窄。
    2 replies    2024-08-05 14:23:18 +08:00
    kennyInTheHouse
        1
    kennyInTheHouse  
       Aug 5, 2024
    如果考虑模型训练开发,最好就是去现在比较知名的几家 AI 产品公司,除了围绕不同的框架,还要考虑底层的算法设计优化,这样可替代性会低一些。

    推理引擎自研的还是比较少,如你所说太窄了。

    (其实这些 AI 岗位都容易被替代,目标还是尽量让自己兼容性强一些。

    个人拙见。
    TArysiyehua
        2
    TArysiyehua  
       Aug 5, 2024
    有用,但是跟楼上说的那样,要自己的兼容性强一点。
    原因很简单,你说的模型训练都是针对于 Lora 等这种小模型,调调参数,换一下算法,底层的理论基础跟自己没啥关系,在 AI 还不是很确定的这几年,确实很容易替换,我目前差不多也这样。
    这工作说白了就是一个胶水层,负责跟大模型与上层打交道。然后根据业务训练出专有的小模型。
    等真正的 AI 核心都稳固的差不多了,还是很有前景的,原因就跟现在的开发模式差不多,有几个人整天研究底层框架,操作系统内核,虚拟机呢?大部分都不是,这些方向上的岗位需求少,人要求也高。

    大部分人还是搞业务的,这个时候在此基础上的调参,RAG ,Lora 什么的就相当于一个框架,这个框架连接了底层的 AI 核心,只要你这玩意弄的足够好,未来说不定大家都用你的,就跟 Sping 这些玩意一样。
    About     Help     Advertise     Blog     API     FAQ     Solana     1014 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 30ms UTC 22:05 PVG 06:05 LAX 15:05 JFK 18:05
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86