
我们在做一个面向海外用户的产品,现在在用 gpt-3.5-turbo ,服务器在新加坡,经常要 10 秒才响应,想问下可以怎么优化?
1 chuck1in 2023 年 11 月 20 日 务器在放在日本也有这个问题,用的 gpt4 ,还是很慢。还以为是网络问题,原来大家都有这个问题吗? |
2 tool2d 2023 年 11 月 20 日 gtp4 无可替代,但是 3.5 改用国内的替代大模型,基本回复都能达到相同水准,并且响应速度飞快。 |
3 PoohBear OP 想问下大家 3.5 的响应速度一般是多久 |
4 Tink PRO 10 秒?不可能吧...我的 1 秒左右(国内服务器挂梯子) |
7 wujiang007 2023 年 11 月 20 日 你说的是非 stream 模式吧? GPT4 只会更慢,用 stream 边出字边显示,看起来会快一点。 |
9 brader 2023 年 11 月 20 日 大家知道哪个地方的服务器,访问情况会最好吗 |
11 yinmin 2023 年 11 月 21 日 via iPhone 以前注册的后付费账户的 api 速度快,最近注册的预付费的 api 速度慢很多。 |