想白嫖点大模型的 api - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
wencan
V2EX    程序员

想白嫖点大模型的 api

  •  
  •   wencan 2024-06-06 10:55:46 +08:00 5387 次点击
    这是一个创建于 564 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用来翻译几页文档。后面应该还会要。不是提供在线服务,就是电脑上手动执行脚本。

    开源的小 size 模型,担心翻译质量。大 size 模型,机器也跑不起来。只能指望在线的了。

    翻译质量好的模型,好像就是 Gemini 和 ChatGPT 。

    试了 Gemini api ,说是限制每分钟 60 ,但实际限得很死。我每次请求前加了 sleep 10 ,请求两次,就报 RESOURCE_EXHAUSTED 。

    OpenAI 的 api ,没记错的话,是一次性赠送多少 token 。只怕不够用。

    准备试试百度免费的 api 。

    不知道有没有什么好开源程序,包装各大模型的 web 页面,提供接口?

    看大家有没有什么好的解决方案。

    36 条回复    2024-06-08 19:06:07 +08:00
    ruidoBlanco
        1
    ruidoBlanco  
       2024-06-06 11:16:29 +08:00
    deepinfra llama3 70b 可还行?
    wencan
        2
    wencan  
    OP
       2024-06-06 11:27:59 +08:00
    @ruidoBlanco 这货怎么白嫖?原版 llama3 对中文支持不太好吧?
    ruidoBlanco
        3
    ruidoBlanco  
       2024-06-06 11:36:19 +08:00
    我记得注册就有一点点美刀,但是足够跑很多很多了。

    中文支持的事情我从来没考虑过。
    issakchill
        4
    issakchill  
       2024-06-06 11:48:30 +08:00
    百度 api 用 one api 转接 或者买点 deepseek 的
    morty2
        5
    morty2  
       2024-06-06 12:39:19 +08:00
    试试本人开发的,目前还没有正式上线,现在用白嫖的测试服务器(1g 内存):wanxangtrans.com 。 可以不用登录免费使用,支持自定义 api key 。
    LittleYangYang
        6
    LittleYangYang  
       2024-06-06 12:57:58 +08:00
    Deepseek 和 Qwen 现在都挺便宜的,1M Token 也就一块钱作用,效果还行
    LittleYangYang
        7
    LittleYangYang  
       2024-06-06 12:58:13 +08:00
    @LittleYangYang 作用->左右
    kneo
        8
    kneo  
       2024-06-06 13:06:21 +08:00 via Android
    翻译已经是最简单的任务了。大模型要是连翻译都做不好就可以倒闭了。
    EmbraceQWQ
        9
    EmbraceQWQ  
       2024-06-06 14:14:43 +08:00
    自己搭的 https://chat1024.tthym.cn 每天 20 次左右,不过没有上传文件,不嫌弃可以试试
    ZnductR0MjHvjRQ3
        10
    ZnductR0MjHvjRQ3  
       2024-06-06 16:19:15 +08:00
    月之暗面 注册送十五块钱
    wencan
        11
    wencan  
    OP
       2024-06-06 16:35:09 +08:00
    @kneo 国内某知名大模型,把 Socket 翻译为套接口。你还不好说翻译错了。
    secsilm
        12
    secsilm  
       2024-06-06 17:36:33 +08:00
    说大模型能做好翻译的,怕是没用过几次。
    secsilm
        13
    secsilm  
       2024-06-06 17:37:17 +08:00
    @secsilm #12 严谨点:说大部分大模型都能做好翻译的,怕是没用过几次。
    SkywalkerJi
        14
    SkywalkerJi  
       2024-06-06 18:08:32 +08:00 via Android
    @kneo 翻译实力差距很大的。而且已经有专攻翻译的大模型了。
    Azure99
        15
    Azure99  
       2024-06-06 18:43:33 +08:00
    noyidoit
        16
    noyidoit  
       2024-06-06 18:51:27 +08:00
    @kneo 你可以试下 llama ,用它进行英译中可以评价为完全不可用,但人家活得好好的
    kneo
        17
    kneo  
       2024-06-06 18:58:39 +08:00 via Android
    @noyidoit 本地小模型不用拿来说吧,根本上不了线,而且这是英语模型。

    线上能用的大场模型,有翻译做的很差的吗?比如通义千问,百川,火星,甚至 deepseek ?

    真心问,不是杠。我之前试过感觉都还行。不过我主要用 gpt3 ,国内模型确实用的不多。
    kneo
        18
    kneo  
       2024-06-06 19:00:15 +08:00 via Android
    @wencan 6 啊,我还真觉得比套接字翻译的好……
    Pteromyini
        19
    Pteromyini  
       2024-06-06 19:03:58 +08:00
    @wencan #2 原版对中文确实不太友好
    InkStone
        20
    InkStone  
       2024-06-06 19:07:42 +08:00
    如果量不大的话根本不需要考虑那么多……我天天用自己的 GPT3.5 token 跑沉浸式翻译,一个月的账单就十几块钱。这个开销跟免费也没啥区别了。
    leavebody
        21
    leavebody  
       2024-06-06 20:12:15 +08:00
    BernieDu
        22
    BernieDu  
       2024-06-06 20:46:16 +08:00
    @Azure99 基于 llama2 微调的?
    Metre
        23
    Metre  
       2024-06-06 21:28:50 +08:00
    https://github.com/LLM-Red-Team 看看这个
    Moonshot AI (Kimi.ai) 接口转 API kimi-free-api

    阶跃星辰 (跃问 StepChat) 接口转 API step-free-api

    阿里通义 (Qwen) 接口转 API qwen-free-api

    ZhipuAI (智谱清言) 接口转 API glm-free-api

    秘塔 AI (metaso) 接口转 API metaso-free-api

    讯飞星火( spark )接口转 API spark-free-api

    MiniMax (海螺 AI )接口转 API hailuo-free-api

    深度求索( DeepSeek )接口转 API deepseek-free-api

    聆心智能 (Emohaa) 接口转 API emohaa-free-api

    此外,我们提出一种可能的提高逆向成本的方案:ban-free-api
    nodesolar
        24
    nodesolar  
       2024-06-06 22:20:38 +08:00
    目前在白嫖百度和 gemini
    wencan
        25
    wencan  
    OP
       2024-06-07 09:40:36 +08:00
    @nodesolar 刚刚向 Google 上交了自己的信用卡号
    朋友你白嫖 gemini ,调用频率限制如何?
    nodesolar
        26
    nodesolar  
       2024-06-07 10:01:02 +08:00
    我几分钟调用一次 不存在超频
    hnliuzesen
        27
    hnliuzesen  
       2024-06-07 10:07:44 +08:00
    百度和腾讯的大语言模型有免费的 API ,不过如果做翻译的话,也可以直接白嫖他们的翻译接口
    https://cloud.tencent.com/product/tmt
    https://api.fanyi.baidu.com/api/trans/product/prodinfo
    Meteora626
        28
    Meteora626  
       2024-06-07 14:24:53 +08:00
    大模型做翻译 prompt 也要配套,要不然还真不如用普通翻译接口
    xxmaqzas
        29
    xxmaqzas  
       2024-06-07 16:41:57 +08:00
    我这有个不限量的白嫖 api
    BernieDu
        30
    BernieDu  
       2024-06-07 18:44:57 +08:00
    @kneo 你试过吗,Gemini 的免费 api 我试了,有请求限制,我 10 秒请求一次才勉强不报错,而且我翻译了 20 多种语言,经常有些单词或者句子翻译失败。 本地跑 llama3 8b. 效果更烂,但是 llama3 70b 效果特别好,基本都翻译出来了,而且本地用 ollama 的 api 免费,幸亏 Mac 买的 48g 内存
    wencan
        31
    wencan  
    OP
       2024-06-08 00:13:28 +08:00
    @Meteora626 是的,提示加会话
    wencan
        32
    wencan  
    OP
       2024-06-08 00:20:11 +08:00
    @BernieDu 你的 gemini 的打开方式不对
    1. 要氪金
    2. https://ai.google.dev/api/python/google/generativeai/ChatSession

    70b 的模型,占用多少内存?
    BernieDu
        33
    BernieDu  
       2024-06-08 16:38:04 +08:00
    @wencan gemini 6 月才支持的付费 api 把,gemini api 有时候翻译不出来,有时候把英语->乌克兰 翻译成了英文和中文,有时候把英语->泰语翻译为中文,40g
    wencan
        34
    wencan  
    OP
       2024-06-08 17:32:39 +08:00
    @BernieDu 有什么好推荐吗?今天试了 qwen2 70b ,同样的提示词,qwen2 幻觉很严重。
    wencan
        35
    wencan  
    OP
       2024-06-08 17:42:41 +08:00
    @BernieDu 70b 模型,是 llama.cpp 之类跑的吗? 多久响应请求?
    BernieDu
        36
    BernieDu  
       2024-06-08 19:06:07 +08:00
    llama3, 1 秒一句吧,我内存小,48g 的,勉强跑的。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     4921 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 09:38 PVG 17:38 LAX 01:38 JFK 04:38
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86