使用本地模型 Gemma4 来驱动 OpenClaw - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Livid
246.69D
542.25D
V2EX    OpenClaw

使用本地模型 Gemma4 来驱动 OpenClaw

  •  
  •   Livid
    PRO
    3 天前 4849 次点击

    替换下面指令中的 model ID 为你本地 Ollama 里启动的版本。

    openclaw onboard --non-interactive \ --auth-choice custom-api-key \ --custom-base-url "http://127.0.0.1:11434/v1" \ --custom-model-id "gemma4:31b-it-q4_K_M" \ --custom-api-key "ollama" \ --secret-input-mode plaintext \ --custom-compatibility openai \ --accept-risk 
    27 条回复    2026-04-05 20:22:14 +08:00
    0U0
        1
    0U0  
       3 天前
    需要什么配置才能跑得动
    Livid
        2
    Livid  
    MOD
    OP
    PRO
       3 天前
    @0U0 这里有不同版本,应该总有一个是本地能跑起来的:

    https://ollama.com/library/gemma4/tags
    Visoar
        3
    Visoar  
    PRO
       3 天前
    Google 搞了个 `Google Al Edge Gallery`,在 iPhone 上直接跑起 e2b/e4b 版本 Gemma4 ...
    试了 e2b 速度很好很顺畅,能力也不错.

    看起来今年端侧小模型要开始卷了

    pkuphy
        4
    pkuphy  
    PRO
       3 天前 via iPhone
    这个模型真的好用
    senooo
        5
    senooo  
       3 天前
    手机上的 e2b 2G PC 端的 e2b 7G
    CatCode
        6
    CatCode  
       3 天前
    @Visoar iPhone 13 提示内存不足。iPad 倒是跑起来了,就是 UI 比较蛋疼。
    v2gba
        7
    v2gba  
       3 天前
    站长这个得 30+的内存才能跑了吧?
    zivn
        8
    zivn  
       3 天前
    32G M3 Pro 不论用 mlx 还是 ollama 跑 31b 基本没法用。
    聊天可以,openclaw 直接卡死。
    虽说理论上只要 20G 内存,但 openclaw 上下文太长了,预填充要几分钟甚至十几分钟。
    26b 是 MOE 就没试了,感觉还是 Dense 才有前途。
    zivn
        9
    zivn  
       3 天前
    mlx 版本在 huggingface 上,mlx-community/gemma-4-31b-it-nvfp4 ,需要用 mlx-vlm 运行。
    huanxianghao
        10
    huanxianghao  
       3 天前
    很棒。
    在 windows 上面跑了,4070s 跑 26b ,感觉思考时间有点长
    paranoiagu
        11
    paranoiagu  
       3 天前 via Android
    龙虾的上下文太长了,我 24G 显卡,跑 27B 的 qwen3.5 ,开了 64K 上下文,再大就爆显存了。但是 64K 龙虾不够。
    chipipi
        12
    chipipi  
       3 天前 via Android
    目前什么设备能跑得动?
    dinjufen
        13
    dinjufen  
       3 天前
    16G 内存的 mac mini m4 能跑动吗
    zoozobib
        14
    zoozobib  
       3 天前
    测试 qwen3.5-27b q4 和 gemma4-31b q4 。200K ctx 同样的代码问题,后者一把过,测试用例还是少
    zoozobib
        15
    zoozobib  
       3 天前
    但前者能跑到 38 /t 后 只能到 33/t
    levn
        16
    levn  
       3 天前
    27b q4 使用 32G 显存,就可以开 200k 上下文
    31b q4 使用 64G 显存,kv q8 量化都开不到 100k 上下文
    crocoBaby
        17
    crocoBaby  
       3 天前
    能用度如何?
    learnshare
        18
    learnshare  
       3 天前
    16G M2 Mac mini 勉强能跑起来低配两个版本,但仅能跑起来,没啥可用性
    以后得买 64G 版本玩一玩了
    sickoo
        19
    sickoo  
       3 天前
    @dinjufen 跑 mlc 吧
    zoozobib
        20
    zoozobib  
       3 天前
    新测,加了 2b 的 draft , 提升到 45/t ;Draft 接受率 不错,5 成
    fs418082760
        21
    fs418082760  
       3 天前
    据说不如 qwen3.5
    hanguofu
        22
    hanguofu  
       3 天前
    值得期待 ~
    cskeleton
        23
    cskeleton  
       3 天前 via iPhone
    @zivn 跑 dense 长上下文估计得 128G 才能畅玩
    c0xt30a
        24
    c0xt30a  
       3 天前
    我用微调版 Qwen3.5 的经验是:只要虾虾不试图修改代码错误,运行还算顺利。技能运行不成功修改代码的时候,有很大的几率把自己搞瘫痪。
    Livid
        25
    Livid  
    MOD
    OP
    PRO
       3 天前   1
    @crocoBaby 我还在测试,目前是用来替代了一个之前使用 Opus 4.6 的环境(因为之前的第三方 Claude API 服务商挂了,你知道的那家)。

    Gemma4 有两个相对较大的版本,31b 和 26b ,26b 目前试下来会快很多。
    Livid
    nbsp;   26
    Livid  
    MOD
    OP
    PRO
       3 天前   1
    @crocoBaby 在 Planet 里集成的效果,感觉已经能做一些有意义的分析和对话了:

    ijimmy
        27
    ijimmy  
       2 天前 via iPhone
    @fs418082760 qwen 3.5 得先解决空格的问题……
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     4195 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 30ms UTC 00:06 PVG 08:06 LAX 17:06 JFK 20:06
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86