浏览器内置离线大模型 Gemini Nano 大家用了吗,体验怎么样? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
oyps
V2EX    推广

浏览器内置离线大模型 Gemini Nano 大家用了吗,体验怎么样?

  •  
  •   oyps 2024-07-17 04:10:11 +08:00 2883 次点击
    这是一个创建于 536 天前的主题,其中的信息可能已经有所发展或是发生改变。

    Gemini Nano 介绍

    https://deepmind.google/technologies/gemini/nano/

    我们最高效的设备端任务模型

    1.0 Nano 经过优化,可在设备上提供快速响应,无论是否使用数据网络。

    获得和使用方式

    1. 下载安装 Chrome (Dev or Canary) version 127 or higher
    2. chrome://flags/#prompt-api-for-gemini-nano,设置为 Enabled
    3. chrome://flags/#optimization-guide-on-device-model,设置为 Enabled BypassPrefRequirement
    4. chrome://components,找到 Optimization Guide On Device Model,点击 Check for Update
    5. 如果没有出现 Optimization Guide On Device Model,你可能需要等待几分钟,或者切换代理节点
    6. 访问 https://chromeai.org/ 就能开始使用了

    1721159424037.png

    提示

    模型能力是浏览器内置的,安装部署后,就不再需要联网使用,但是你依然需要联网加载前端界面组件。

    简单来说,前端做的事情如下:

    // 创建大模型实例 const model = await window.ai.createTextSession() // 获取回复流 const aiReplayStream = await model.promptStreaming('请你讲一个笑话') // 获取回复结果 let result = '' for await (const chunk of aiReplayStream) { result = chunk } console.log(`回复结果`, result) 

    1721160480558.png

    你可以安装这个拓展,来获得位于浏览器侧边栏的离线的 Web 前端,这样就可以在离线状态下使用 Gemini Nano 了。

    12 条回复    2024-07-17 13:44:07 +08:00
    musi
        1
    musi  
       2024-07-17 07:31:10 +08:00 via iPhone
    做这个网页主要是干嘛用的?
    我用端侧大模型冲着隐私去的,却还要通过你这个在线网页和大模型交互?
    不要隐私也行,那你总得给我一些其他的功能吧,但是你也没有
    xiaomageit
        2
    xiaomageit  
       2024-07-17 07:38:04 +08:00
    还是有第 5 步问题
    mcone
        3
    mcone  
       2024-07-17 08:10:18 +08:00   1
    yb2313
        4
    yb2313  
       2024-07-17 08:29:27 +08:00
    @musi 简化吧
    Livid
        5
    Livid  
    MOD
    PRO
       2024-07-17 08:31:40 +08:00
    @mcone 谢谢,已经移动。
    musi
        6
    musi  
       2024-07-17 08:42:48 +08:00
    @yb2313 #4 问题是最麻烦的不是启用 AI 和下载模型这部分么,简化了最简单的部分
    givebest
        7
    givebest  
       2024-07-17 09:07:43 +08:00
    https://chromewebstore.google.com/detail/emlpbjnkjcbepocijpjggfmmloipamia

    不用网页可以用这个扩展,可以离线对话和翻译,不过实际体验比在线的模型差多了。
    yb2313
        8
    yb2313  
       2024-07-17 10:18:45 +08:00
    @musi #6 为了吸引新手, 简化入门的地方是好的, 就是要让入门简单, 深入难, 而且现在还没正式版, 说不定后续会简化更多简单的地方
    mofada
        9
    mofada  
       2024-07-17 10:27:40 +08:00
    Optimization Guide On Device Model 一直加载不出来,是不是卡国区了?
    tool2dx
        10
    tool2dx  
       2024-07-17 10:53:30 +08:00
    实测下来如何连 GPT3.5 都不如,那么没人会用啊。
    oyps
        11
    oyps  
    OP
       2024-07-17 13:43:29 +08:00
    @musi 这个网页是个可视化的客户端,你也可以在本地开发 Web 客户端去实现,相关代码在这里: https://github.com/debugtheworldbot/chromegemini/blob/756812defaefbdcae71042a7f3f86a3c6f31e08a/src/hooks/use-check-ai.ts#L19


    @mofada 应该是的,我也是更换了好几个 IP ,重启了几次浏览器,最后发现网速上去了,开始下载东西了。你可以以实时网速为准。

    @tool2dx 迷你的设备端模型,它甚至还不知道 Vue.js 是什么
    109021017
        12
    109021017  
       2024-07-17 13:44:07 +08:00
    @tool2dx 离线版肯定不如在线版啊
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5513 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 01:41 PVG 09:41 LAX 17:41 JFK 20:41
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86