如何优化提升 3.5 模型 API 的响应速度? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
PoohBear
V2EX    OpenAI

如何优化提升 3.5 模型 API 的响应速度?

  •  
  •   PoohBear 2023 年 11 月 20 日 1551 次点击
    这是一个创建于 874 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我们在做一个面向海外用户的产品,现在在用 gpt-3.5-turbo ,服务器在新加坡,经常要 10 秒才响应,想问下可以怎么优化?

    11 条回复    2023-11-21 00:38:39 +08:00
    chuck1in
        1
    chuck1in  
       2023 年 11 月 20 日
    务器在放在日本也有这个问题,用的 gpt4 ,还是很慢。还以为是网络问题,原来大家都有这个问题吗?
    tool2d
        2
    tool2d  
       2023 年 11 月 20 日
    gtp4 无可替代,但是 3.5 改用国内的替代大模型,基本回复都能达到相同水准,并且响应速度飞快。
    PoohBear
        3
    PoohBear  
    OP
       2023 年 11 月 20 日
    想问下大家 3.5 的响应速度一般是多久
    Tink
        4
    Tink  
    PRO
       2023 年 11 月 20 日 via iPhone
    10 秒?不可能吧...我的 1 秒左右(国内服务器挂梯子)
    PoohBear
        5
    PoohBear  
    OP
       2023 年 11 月 20 日
    @tool2d 产品面向海外英语用户
    tool2d
        6
    tool2d  
       2023 年 11 月 20 日
    @PoohBear 国内大模型精通英语的。
    wujiang007
        7
    wujiang007  
       2023 年 11 月 20 日
    你说的是非 stream 模式吧? GPT4 只会更慢,用 stream 边出字边显示,看起来会快一点。
    brader
        8
    brader  
       2023 年 11 月 20 日
    @chuck1in 请问下你的日本服务器会不会有 504 time out 问题,我的日本节点偶尔会有这个问题,延迟倒是还好,都是 1s 以内响应
    brader
        9
    brader  
       2023 年 11 月 20 日
    大家知道哪个地方的服务器,访问情况会最好吗
    PoohBear
        10
    PoohBear  
    OP
       2023 年 11 月 20 日
    @tool2d #6 有些聊天内容尺度比较大= =
    yinmin
        11
    yinmin  
       2023 年 11 月 21 日 via iPhone
    以前注册的后付费账户的 api 速度快,最近注册的预付费的 api 速度慢很多。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2821 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 15:31 PVG 23:31 LAX 08:31 JFK 11:31
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86