这是一个创建于 336 天前的主题，其中的信息可能已经有所发展或是发生改变。
请问像是 qwen:0.5b 这种小模型，实际能落地用来做什么，Size 才 395MB ，Context 32K
 | 1 exploretheworld 2025 年 5 月 16 日 via Android 最大的用途: 用来练习微调模型 |
 | 2 xtreme1 2025 年 5 月 16 日  1 干以前 BERT 干的事, query 改写, 语义增强, 用户意图识别, 浅层打分, 生成 embedding 做召回匹配 |
 | 3 fredweili 2025 年 5 月 16 日 端侧，做一些简单的前端任务 |
 | 4 g17 2025 年 5 月 16 日 个人感觉可以用在一些辅助场景，比如总结大模型对话标题，或者一些精度不高的翻译场景，这些场景用大尺寸的可能不划算 |
 | 5 BruceXu 2025 年 5 月 16 日 用来给某些用户装逼:"哇,我本地部署了个大模型" |
 | 6 Kisesy 2025 年 5 月 16 日 可以部署到一些小机器人？那些可以对话的那种吧 |
 | 7 chawuchiren 2025 年 5 月 16 日 不是有创业者把这玩意内置到成人玩具了吗 |
 | 8 haodingzan 2025 年 5 月 16 日 网易游戏都有个游戏助手，比如梦幻精灵、大话精灵，这玩意以前纯人工维护，匹配关键字时甚至要想到有可能打出来的错别字，有大量机械性重复工作，知识库内容就那么多，来源恒定，所有的改动都可以预先得知，几乎不依赖上下文，0.5B 可太合适了。 |
 | 9 virusdefender 2025 年 5 月 16 日 embedding 之类的 |
 | 10 littlemis OP @chawuchiren 单片机跟树莓派可以吃下 ollama + gwen 的资源跟效率吗?! |
| 11 littlemis OP |
 | 12 reeco 2025 年 5 月 16 日 目前最大的用处就是推测解码 |
 | 13 vicalloy 2025 年 5 月 16 日 0.5B 生成的对话都不通顺，就连 8B 的模型都会有少许不通顺的地方。 可能能进行二次训练用作特定用途吧（比如垃圾短信判定？）。 单片机的性能跑不了 0.5B 。 |
 | 14 rogerer 2025 年 5 月 16 日 可以用来 debug 。然后很多实验室没能力训更大规模的模型，只能在 0.5b 1b 上试试。 |
 | 15 iv8d 2025 年 5 月 16 日 做 RAG 也不是不可以，反正有知识库，没找到就说没找到 |
Select Language