这是一个创建于 443 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题，比如如何把 LLama 3.2 内嵌到一个 Java 应用让 Java 调用呢？ 我看上面都是作为一个 Python 库给 Python 调用
第 1 条附言 2024-09-29 18:14:20 +08:00
研究了一下，模型转换一下即可，结贴
 | 1 hiwind 2024-09-29 13:04:23 +08:00 via iPhone Java 应该没啥库能直接调用模型吧，虽然理论上可以做到，但即便有应该也是很小众的，可以尝试找找 为啥不考虑把 python 调用模型封装成服务然后给 java 调用呢 主流的 AI 相关的库很多都是 python 写的 并且模型文件本身并不能被直接运行 需要通过 python 或者一些 AI 相关的库加载然后调用 |
 | 2 murmur 2024-09-29 13:25:49 +08:00 不会用就别折腾，下一个 xinferrence 这样的服务器，可以下载模型，提供服务，甚至还支持切换国内镜像 |
| 3 murmur 2024-09-29 13:28:27 +08:00 模型服务器可以把接口抽象成 http 调用，贼好使，还自带问答调试界面，干嘛自己折腾模型啊 |
 | 4 idblife 2024-09-29 13:28:56 +08:00 ollama |
 | 5 CHEN1016 2024-09-29 14:18:47 +08:00 via iPhone 我也想下载，我看 ios 上有个软件可以导入模型，想试试 qwen2.5 和 llama3.2 上的端侧小模型，就是不知道怎么下载 |
 | 6 clf 2024-09-29 14:22:16 +08:00 我们都是直接用 vllm 之类的跑大模型，然后通过 api 调用的。Java 不适合做这类事情。你可以把大模型+运行它的东西看作是一个服务。Java 当作客户端就行。 Java 推荐 langchain4J ，有封装各个大模型的 api 接口格式。 |
 | 7 ahjiangwu 2024-09-29 14:53:07 +08:00 你的标题和描述的内容实际上是两个问题 1 、如果单存是想从 huggingface 下载模型可以参考： https://huggingface.co/docs/hub/models-downloading 当然，魔搭上也可以下载： https://www.modelscope.cn/docs/%E6%A8%A1%E5%9E%8B%E7%9A%84%E4%B8%8B%E8%BD%BD （#5 可以参考） 2 、如果是想用 java 调用模型，可以用 vllm 部署，vllm server 提供了 api 的调用方式，java 直接调用就可以了 也可以用 xinferrence ，部署起来会更方便一些 |
 | 8 MakHoCheung OP @CHEN1016 我就是看到那个 app 才发问的，最后我研究了一下，Hugging Face 的模型转 CoreML 模型 |
Select Language