体验 llama3 系列的速度吧 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ProxyXAI
V2EX    OpenAI

体验 llama3 系列的速度吧

  •  
  •   ProxyXAI
    proxyxai 2024-04-25 01:16:44 +08:00 3423 次点击
    这是一个创建于 601 天前的主题,其中的信息可能已经有所发展或是发生改变。
    div class="subtle"> 第 1 条附言    2024-04-25 16:58:41 +08:00
    抱歉流量超级大.... 不得已限流 3 次/分钟
    第 2 条附言    2024-04-25 21:01:08 +08:00
    10 次/分钟
    第 3 条附言    2024-04-26 10:16:42 +08:00
    需要 API 的, 请联系 wx: proxyxai
    第 4 条附言    2024-04-26 10:19:09 +08:00
    支持无上限多个 keys 轮询, 理论请求无上限, 取决于带宽瓶颈 和 keys 数量
    29 条回复    2024-04-25 21:56:46 +08:00
    bearqq
        1
    bearqq  
       2024-04-25 08:06:52 +08:00   1
    点之前:本来一脸不屑
    点之后:卧槽?????????
    junan
        2
    junan  
       2024-04-25 08:44:02 +08:00
    试了几次后和#1 一样的反应
    hooych
        3
    hooych  
       2024-04-25 08:58:36 +08:00 via iPhone
    速度确实嘎嘎快,GPT 是便秘,这个有种一泻千里的畅快感
    qinfengge
        4
    qinfengge  
       2024-04-25 09:29:33 +08:00
    G 了,一直请稍后再试
    xier9213
        5
    xier9213  
       2024-04-25 09:33:20 +08:00
    速度确实快,就是太不稳定了
    zsxzy
        6
    zsxzy  
       2024-04-25 09:53:34 +08:00
    用什么 gpu 跑的, 我用笔记本的 3060 6G, 好慢
    Goghho
        7
    Goghho  
       2024-04-25 10:09:07 +08:00 via iPhone
    @zsxzy 这么快感觉就是 groq 吧
    hebwjb
        8
    hebwjb  
       2024-04-25 10:10:29 +08:00
    挂了
    djangovcps
        9
    djangovcps  
       2024-04-25 10:14:25 +08:00
    fredweili
        10
    fredweili  
       2024-04-25 10:14:45 +08:00
    8b 的本地跑,效果已经不错了
    nwg
        11
    nwg  
       2024-04-25 10:16:34 +08:00
    我擦 这么快
    itskingname
        12
    itskingname  
       2024-04-25 10:37:15 +08:00
    用 groq ,速度可以达到 700Token/s ,已经没有必要使用 Stream 模式了。
    maolon
        13
    maolon  
       2024-04-25 10:43:42 +08:00 via Android
    是 groq 快不是 llama3 快吧...用其他方式 host 速度跟其他模型差不多
    param
        14
    param  
       2024-04-25 13:28:46 +08:00 via Android
    @hooych gpt 用最低配的 ada 一样很快
    lizhisty
        15
    lizhisty  
       2024-04-25 13:58:07 +08:00
    怎么挂了啊
    coolair
        16
    coolair  
       2024-04-25 14:01:50 +08:00
    请稍后再试!
    coderluan
        17
    coderluan  
       2024-04-25 14:03:24 +08:00
    你们说的快不是瞬间就输出 “请稍后再试” 吧
    ktqFDx9m2Bvfq3y4
        18
    ktqFDx9m2Bvfq3y4  
       2024-04-25 14:07:19 +08:00
    没有背后的总算力就说快就是流氓,要我说我还能说我的 GPT4 上午使用时相当快,又聪明又快,比 3.5 还快。那明显是因为那时用量低,算力足啊。
    hooych
        19
    hooych  
       2024-04-25 14:20:36 +08:00
    @hebwjb
    @djangovcps
    @lizhisty
    @coolair
    @coderluan 左下角切换模型
    huzhizhao
        20
    huzhizhao  
       2024-04-25 15:00:21 +08:00
    请稍后再试!
    hooych
        21
    hooych  
       2024-04-25 15:14:15 +08:00
    真的崩了,笑 cry
    feiniu
        22
    feiniu  
       2024-04-25 15:29:10 +08:00
    崩了
    abchehehe32
        23
    abchehehe32  
       2024-04-25 15:30:34 +08:00
    速度是真的可以,马上就告诉我“请稍后再试!” (手动狗头)
    HomeZane
        24
    HomeZane  
       2024-04-25 15:32:53 +08:00
    请稍候再试的速度贼快
    luzemin
        25
    luzemin  
       2024-04-25 16:12:16 +08:00
    回复的非常快,就是回复内容比较固定:
    请稍后再试!
    ProxyXAI
        26
    ProxyXAI  
    OP
       2024-04-25 16:57:42 +08:00
    抱歉流量超级大.... 不得已限流
    ihainan
        27
    ihainan  
       2024-04-25 16:59:58 +08:00
    试了一下,的确好快……
    dobelee
        28
    dobelee  
       2024-04-25 17:03:31 +08:00
    速度确实快,瞬间回答 请稍后再试!
    deorth
        29
    deorth  
       2024-04-25 21:56:46 +08:00 via Android
    好弱智啊。。。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     4484 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 09:55 PVG 17:55 LAX 01:55 JFK 04:55
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86