这是一个创建于 306 天前的主题，其中的信息可能已经有所发展或是发生改变。
不知道大家有没有同时用多个大模型服务提供商的 api 。
最近 deepseek 官方接口一直很慢，于是转向使用第三方服务商提供的 deepseek api ，但是这些服务商的 api 速度也是参差不齐，时快时慢。
所以我用 python 写了一个 openai 格式 api 的延迟测量工具，测量接口返回回答的时间。可以同时测量多个 api 的延迟，本地加密保存 key 。个人感觉还是有点用，不用手动写 curl 了。
github 仓库: OpenAI API latency
第 1 条附言 306 天前
支持了并行执行，多次测试取均值。
第 2 条附言 306 天前
第 3 条附言 306 天前
第 4 条附言 306 天前
添加了展示 ttft (time to first token) 数据
 | 1 Vegetable 306 天前  1 评估 API 至少有两个关键指标： - 第一个 token 返回时间 - token 生成速度 可以看看 https://openrouter.ai/deepseek/deepseek-chat/providers 这个 dashboard 是怎么评价 provider 的，当然我也没见过几个类似的评估，只是说一下第一印象。 你的代码我也看了一下，感觉如果交给 ai 整理一下，观感会好一点，你现在缩进太多了。 |
Select Language