V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
This topic created in 1141 days ago, the information mentioned may be changed or developed.
 | 1 cattrace Mar 16, 2023 via iPhone 是的 |
 | 2 yangyaofei Mar 16, 2023 理论上是, 实现上(为了加速)可以不是, 想真的了解建议读读论文或者看看相关科普视频, 或者更简单的直接问 chatGPT |
 | 3 lxiian Mar 16, 2023 via iPhone 要看你是不是用了 sse 去调接口了 |
 | 4 mxw0204 Mar 17, 2023 这个看你需求，一个一个字蹦比一次性都出来的要快，两种都支持 |
 | 5 metamask Mar 17, 2023 关键词 stream |
 | 6 Mutoo Mar 17, 2023 transformer 的工作原理就是用前面所有内容去推荐下一个字是什么。所以它的生成过程确实是一个字一个字蹦出来的。服务端使用 streaming 方式返回结果也是为了让用户更快看到内容，而不是等待全文。 |
 | 7 ebony0319 Mar 17, 2023 text/event-stream |
 | 8 JadePenG Mar 17, 2023 chatGPT 是根据上下文获取的信息, 给它任意长的上文它会生成下一个字，面对长内容时，chatGPT 就会把下一个字和之前的上文组合成新的上文，不断重复就能获取新的下文了。 |
 | 9 gaooo Mar 17, 2023 via Android 是的，接口流式传输的，实时响应，可以到 chatplus.app 下载体验一下 |
Select Language