bwnjnOEI

@zzutmebwd 你指的是单一量化格式吧，现在都是混合精度，比如 moe 里用 fp8 layernorm 里保持精度能掉多少精度，而且 kv cache 一般都不量化而且我们现在天天用的套餐都是量化后的模型。

@bwnjnOEI 难点就是瞬时 token 数量会不会爆显存，如果观测一段时间爆了要么加算计要么上手段比如 fp8 （前提调点精度能不能接受

@bwnjnOEI 但是我不建议使用 claude code router ，至少公司使用这个不可行，推荐 Bifrost go 写的比 litellm python 的快

好几个开源 llm 网关，统一所有接口而且可以遥测和统计 token ，另外多卡用 vllm 或 sglang 部署都有很好的并发优化。必须先部署上之后效果需要不断优化，就对着这俩文档研究参数和基本原理就行

去年纠结很久最后没买 nas 买的 macmini 挂尿袋，用的 gitea ，待机才不到 6w

@w3 怎么感觉变相夸自己呢

是侵入式遥测那家吗？我 X 的页面一翻译就崩溃 retry

买了 bandwagon （ LA ）和 racknerd （圣何塞），从大概 11 月初 bandwagon 和 racknerd 都开始不稳定（ hysteria2 和 Reality ），到了 12 月 bandwagon 恢复正常了但是偶尔也小抽风，racknerd 干脆用不了。坐标：辽宁移动。

家里移动这两天连不上了已经 偶尔下午几小时能用 估计是线路问题