精选:Sam Altman:开源GPT-3、降低GPT-4的成本、翻倍模型规模
【Sam Altman:开源GPT-3、降低GPT-4的成本、翻倍模型规模】6月1日消息,AI 开发平台 HumanLoop 创始人 Raza Habib 与 OpenAI 首席执行官 Sam Altman 等 20 多位开发者开展了一次闭门讨论会,Sam Altman 透露了很多关于 OpenAI 的未来规划与目前遇到的情况。具体有:
- OpenAI 目前严重受限于 GPU,导致他们推迟了许多短期计划,大部分关于 ChatGPT 可靠性和速度的问题都是由于 GPU 资源短缺造成。
- 给 GPT-4 降本提效是 OpenAI 当前的首要任务。
- 更长的 ChatGPT 上下文窗口 (最高可达 100 万个 tokens)。将来会有一个记住对话历史记录的 API 版本。
- GPT-4 的多模态功能要到 2024 年才会公开,在获取更多 GPU 资源前不能将 GPT-4 的视觉版本扩展到所有人。
- OpenAI 正在考虑开源 GPT-3,他们之所以还没有开源的部分原因是因为他们觉得没多少人和公司有能力妥善管理如此大型的大语言模型。
- 最近很多文章声称的“巨型 AI 模型的时代已经结束”并不正确,OpenAI 内部数据表明,规模与性能成正比的定律仍成立,OpenAI 的模型规模每年可能会增加一倍或三倍 (多方信息表明 GPT-4 参数规模 10000 亿),而不是增加许多数量级。