CloudFlare 推出 Workers AI,可以免费 serverless 的用 meta 家 llama 2 了 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
cmos

CloudFlare 推出 Workers AI,可以免费 serverless 的用 meta 家 llama 2 了

  •  
  •   cmos Oct 10, 2023 1801 views
    This topic created in 930 days ago, the information mentioned may be changed or developed.

    CloudFlare 给它家的 Workers 增加了接入 AI 的新功能,包含 meta 的 llama 2 ,具体如下:

    • Text generation (large language model): meta/llama-2-7b-chat-int8
    • Automatic speech recognition (ASR): openai/whisper
    • Translation: meta/m2m100-1.2
    • Text classification: huggingface/distilbert-sst-2-int8
    • Image classification: microsoft/resnet-50
    • Embeddings: baai/bge-base-en-v1.5

    暂时还处于 early beta 的阶段,限制比较多,比如 llama 2 最多每分钟 50 次。
    多提一句,llama 2 70b 版本的表现和 chatgpt3.5 差不多,而 workers ai 提供的 7b 大体上是 70b 的一半表现(评价标准各异,不是确切的数值)。

    1 replies    2023-10-10 20:50:06 +08:00
    justin2018
        1
    justin2018  
       Oct 10, 2023
    Workers AI: serverless GPU-powered inference on Cloudflare’s global network

    https://blog.cloudflare.com/workers-ai/
    About     Help     Advertise     Blog     API     FAQ     Solana     3521 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 30ms UTC 11:25 PVG 19:25 LAX 04:25 JFK 07:25
    Do have faith in what you're doing.