这是一个创建于 686 天前的主题，其中的信息可能已经有所发展或是发生改变。
Google 提供训练好的模型下载，7B 模型 6.8G ，公司网络有点慢，还要一会才能下载完，今天不准备干活了，下载模型自己搞个 GPT 试试效果。
（未来国内会不会瞬间出现一堆自称吊打 ChatGPT 的应用呢？）
 | 1 0TSH60F7J2rVkg8t 2024-02-23 10:55:04 +08:00  1 在 Huggingface 上，试了下 Gemma ，这家伙特别犟嘴。 https://imgur.com/a/P2MVpGk |
 | 3 Jinnrry OP |
 | 4 yanw 2024-02-23 11:17:46 +08:00 借楼问一下，本地部署这些模型硬件要求是什么 |
| 5 Jinnrry OP 1 @yanw 官网介绍是 2b 模型 CPU 就能运行，7b 模型使用 GPU 或 TPU 运行，但是没说具体要求。我正在下载模型，下载完我测试下 |
 | 6 reeco 2024-02-23 11:29:53 +08:00 效果不行，试了几个问题就没兴趣了 |
 | 7 weilongs 2024-02-23 11:33:57 +08:00 新基座 狗头 |
 | 8 vicalloy 2024-02-23 11:35:59 +08:00 1 模型大小摆在那，不用对 7b 有过高的期待。 这类的模型更多的用处是作为基础模型，训练起来做客服之类的特定用途。 |
 | 10 4BVL25L90W260T9U 2024-02-23 11:41:19 +08:00 2 @Jinnrry 你从哪儿得出来的结论 Google 的会是开源模型里最好的？ |
| 12 4BVL25L90W260T9U 2024-02-23 11:45:50 +08:00 @Jinnrry 每个模型都会说自己是领先的呀 |
 | 13 43n5Z6GyW39943pj 2024-02-23 11:46:26 +08:00 @ospider 当然是媒体啦,每天各种模型**第一名 N 种定语 |
| 15 0TSH60F7J2rVkg8t 2024-02-23 11:50:33 +08:00 @yorkyoung 也有可能他说的“Google 搜索在中国仍然可以访问，但可能存在一些限制”指的是必须用 vpn 访问。 |
 | 16 keepRun 2024-02-23 11:57:50 +08:00 via Android 其实国内大模型超过 gpt3.5 已经没啥问题了，我经常用感觉是这样的，但是国内问题是技术不够领先，无法在全球产生亮眼成绩，长远看 ai 的头部公司会抢占更多份额，不够强的不去开辟细分市场就等死吧。 目前看 openai 还有些杀手锏没秀出来，国内公司技术上还有很多地方要追赶 |
 | 17 leaflxh 2024-02-23 12:16:43 +08:00 这么倔是怕催眠成猫娘吗 hhh |
 | 18 rwecho 2024-02-23 12:52:22 +08:00 via iPhone 想配置个电脑跑这种模型，需要什么配置呢，放在卧室，晚上会吵吗 |
| 19 Jinnrry OP @rwecho 电脑吵不吵跟配置有半毛钱关系啊，你搞个分布式水冷，搞一千块 A100 也没声音啊。 |
| 20 Jinnrry OP 分体水冷 |
 | 21 Greendays 2024-02-23 13:02:00 +08:00 至少是开源的，谷歌还是用回了擅长的老方法 |
 | 22 rnv 2024-02-23 13:35:14 +08:00 6.8G 是哪个版本的 variation 啊，我下载的 FLAX 版本 7b 模型 12.5G （ https://www.kaggle.com/models/google/gemma/frameworks/flax/variations/7b-it ） LZ 是怎么配置的？我在 github 找到他们的仓库，但看起来文档并不是很细致 |
 | 23 Stoney 2024-02-23 13:39:13 +08:00 via iPhone @ahhui 其实谷歌不需要 vpn 也可以访问，使用域前置找到 Google ip 就可以访问了，昨天我试了，打开 maps.google.com 直接显示的中国 |
 | 24 siriussilen 2024-02-23 13:41:49 +08:00 中文社区讨论大部分都在知乎上 |
| 25 siriussilen 2024-02-23 13:45:49 +08:00 @keepRun gpt3.5 是 20B 的模型…… |
| 26 Jinnrry OP @rnv 我下载的 pytroch 版本的，他这几个框架只有这个是我用过的。我目前也还没跑起来，正在研究 |
 | 27 vivisidea 2024-02-23 14:28:43 +08:00 https://huggingface.co/chat 实际体验下来我认为只有这个模型是最接近 gpt3.5 的，而且速度也挺快，google 的这个体验不太行 mistralai/Mixtral-8x7B-Instruct-v0.1 |
 | 28 CatCode 2024-02-23 14:49:04 +08:00 7B 模型（ bf16 ）不量化的话，16G 显存不够。 |
 | 29 starssending0z 2024-02-23 14:55:49 +08:00 @ahhui 笑死了，犟嘴 |
 | 30 Haku 2024-02-23 14:58:52 +08:00 效果不咋地，小一点的模型已经很多了，之前用的 chatglm6b 中文感觉也比这个强。 人人大模型的机遇早就来了，但是人人 chatgpt 的还很远。 |
 | 31 87B3F508 2024-02-23 14:59:15 +08:00 @starssending0z 还特别犟的那种。。。 >>> 模仿李白写首诗 如夜幕洒满天，如繁星点点。 如春风拂过枝头，如花朵轻舞。 如月明照地表，如星星点亮夜。 如鱼儿在波光中，如鸟儿在枝头歌唱。 如眼眸在窗外，如耳语在耳边。 如梦如幻，如幻如梦。 如山如海，如空如床。 >>> 模仿李白写首诗，不要包含“如”字 如烟消云散，如水流春。 如歌鸟在枝，如花落满园。 如梦如幻，如幻如梦。 如山如海，如空如床。 如笑如泪，如泪如笑。 如虫如草，如草如虫。 |
 | 32 leeg810312 2024-02-23 15:29:36 +08:00 |
| 33 leeg810312 2024-02-23 15:34:32 +08:00 比较犟，但模型小，用来训练专用系统挺合适的，比如企业内部问答、外部客服这样的，这些系统只能基于企业自己的知识库训练，生成不能受用户输入的影响太大 |
 | 34 Alias4ck 2024-02-23 15:45:46 +08:00  |
 | 35 sztink 2024-02-23 15:53:22 +08:00 huggingface 提供了免费测试 Gemma 的聊天演示工具： https://huggingface.co/chat?model=google/gemma-7b-it |
| 36 87B3F508 2024-02-23 15:58:04 +08:00 用 ollama 试用挺方便的 |
 | 37 marcong95 2024-02-23 16:09:40 +08:00 @ahhui 会不会有一种可能，港澳台地区也是中国呢~~~考虑到这一点，它倒是确实没有犟错，你可以再进一步问有什么限制。 |
 | 38 isSamle 2024-02-23 16:13:47 +08:00 我觉得现在的大模型都是畸形的，应该训练响应模式而不应该训练响应内容。 |
 | 39 CivAx 2024-02-23 16:59:09 +08:00 2 这种小参数规模的低智模型比较理想的用处是当帕鲁，比如： - 提供一批散装数据，让 AI 给你解读、提炼或者整理，比如给一堆金融数据让 AI 给你算实际年化； - 给 AI 提数学问题，如 “本金 xx 、利息 xx ，年利息多少？” 这种你提供输入参数，让 AI 给你跑结果，甚至可以给出你期望的结果，让 AI 为你倒推出代码可用的计算公式的，比如灯亮度变化、电压输入和旋钮步进的计算关系； - 生成 Pyton 代码（ Google 特别指出 Gemma 的 Python 代码生成的指标很高）； - 对不具备时效性需求的问题，直接当搜索引擎用，如 “蓝风铃跟风铃花有关系吗” 这种有唯一答案、需要人工择选（而 AI 往往已经被训练过）的问题，他们是真的答得又快又好。 那种需要回答具有创造性（写诗）、非理性（化纤材质毛衣还是晴纶材质毛衣好）、概念宽泛（谷歌在中国能不能访问）的问题，这类 AI （包括 ChatGPT ）基本都是智熄的，只是智熄程度和角度不同。 |
 | 40 cloverzrg2 2024-02-23 17:31:04 +08:00 试了下，跟 GPT3.5 对比很烂 问了三个问题，回答都有问题 |
| 41 cloverzrg2 2024-02-23 17:33:41 +08:00 比如问他：“我在一个小储存的 linux 设备测试网速，用 wget 或者 curl ，请问如何做？” GPT 3.5：curl -o /dev/null http://example.com/file Gemma 7B：curl -o speedtest.txt -c 'speedtest' |
 | 42 Liftman 2024-02-23 17:37:00 +08:00 基本上国外的模型都不用试。。。。一中文能力要么没有，要么极差。实际应用落地渺茫 且才 7B 。太 mini 了。你自己训练知识库还行。不然没什么用。。 而且我感觉现在的人还是太高估 llm 了。。吹牛逼吹了一年了。目前能有几个公司真落地到实际工作流里面的。。几乎没有。。大部分人连用都不会用。。还是原地踏步。。 |
 | 44 hiccup00 2024-02-23 18:06:22 +08:00 via Android 用 c++和 ollama 试了下，希望有大佬能弄个 webui 的 |
 | 45 slowgen 2024-02-23 18:11:57 +08:00 via Android 规模太小了上限注定就那样，等 70B 以上规模的发布再看。我在等 https://www.phind.com/blog/introducing-phind-70b 这个开源 |
 | 46 daimaosix 2024-02-23 18:15:39 +08:00 倔的跟个杠坨似的，服了它个老六 |
 | 47 coinbase 2024-02-23 19:28:17 +08:00 gpt4 是多少 b 的？ |
 | 48 wonderfulcxm 2024-02-23 19:39:20 +08:00 via iPhone 这个差太多了： >幸福人用童年治愈一生，不幸的人用一生治愈童年。这句话是谁说的？ 这是孔子说的。 孔子说过，“幸福人用童年治愈一生，不幸的人用一生治愈童年”。 |
 | 49 mhj144007 2024-02-23 19:48:33 +08:00 via iPhone 与 ChatGPT 有差距，不过回答页面刷新很快，GPT 码字慢一点   |
 | 50 iango 2024-02-24 00:29:07 +08:00 Gemma 2B 能不能在十几年前的 Intel Core 2 E7000 、4G 内存老计算机上运行？ 进行微调用于分析特定局域的地址？例如知道地址"富贵园 888 号"，通过预训练的“富贵豪园-->北京路”，判断地址在北京路。 |
 | 51 smalltong02 2024-02-24 07:47:53 +08:00 我的开源项目已经支持 gemma ，并且提供了 Webui 。整体测试下来效果一般，没有经过微调的话很多任务无法完成测试，并且也拥有小模型的通病，输出 token 停不下来。并且 gemma 7b 输出是乱码，我试过 LM Studio ，也是这个情况，所以感觉像是模型的问题。 https://github.com/smalltong02/keras-llm-robot 我这个项目支持 safetensors 的模型，如果你想使用 gguf 的模型，可以使用 LM Studio 最新版。 |
| 52 Alias4ck 2024-02-24 09:21:13 +08:00 用下来感受到一点，2b 模型很快，没网的话感觉可以用来当本地的搜索引擎 |
| 53 R4rvZ6agNVWr56V0 2024-02-24 16:17:54 +08:00 效果不是很理想，理解能力上有时候不如 mistral-7b |
 | 54 snowflake007 2024-02-26 11:43:18 +08:00 中文问答体验还是很差吧 |
Select Language