一线研究员 Jim Fan 对 AutoGPT 的看法,他是 NVIDIA AI 科学家,斯坦福大学博士,师从李飞飞。
简单总结他的观点就是:
现在 AutoGPT 还像一个试验品,绝大部分炫酷的演示不过是媒体精心挑选的,并且让它有 Python 执行权限和磁盘访问权限是有很大安全隐患的,让它完全自主的运行是很糟糕的想法,要特别谨慎。
以下为翻译后原文:
1/
AutoGPT 的 GitHub 星级刚刚超过了 PyTorch 本身( 74k vs 65k )。我认为 AutoGPT 是一个有趣的实验,作者也指出了这一点。但仅此而已。原型并不意味着可以用于生产。不要让媒体愚弄你--大多数 "酷炫的演示 "都是经过严格挑选的:
在我的实验中,AutoGPT 可以很好地解决某些简单且定义明确的知识任务,但对于真正有用的更难的任务,*大多数时候是不可靠的。每当我给它 python 执行和磁盘访问时,我也会很担心。
2/
让它处于自动驾驶状态是一个可怕的想法(作者也警告过)。你应该对任何声称使用 AutoGPT 与代码执行的产品非常警觉。
3/
大部分的不可靠可以归因于 GPT-4 的固有限制。我不认为这些可以通过更高级的提示技巧从根本上解决,如果没有接触到 GPT-4 的权重并进行更多的微调。
我确实想为 @
Significant Gravitas 把许多伟大的想法(如 ReAct 、Reflexion 、记忆、自我克隆)放在一个非常整洁的 repo 中,人们可以轻松地进行实验。 @
Significant Gravitas 已经尽力克服 GPT-4 的限制。
5/
但就像再多的提示也无法将 GPT-3 变成 GPT-4 的能力一样,我不认为 AutoGPT+一个冻结的 GPT-4 可以神奇而可靠地解决复杂的决策问题。目前媒体的炒作正在将该项目推向完全不现实的期望。