Generative AI3(三)

AI 训练成本继续暴跌

MosaicML最近发布了AI训练工具,可以将语言模型训练到GPT-3级别,只需45万美元,大约是两年前460万美元的十分之一。人工智能培训成本每年下降约70%,甚至快于方舟2022年大想法研究提出的60%的估计。

训练GPT-3级别性能的成本

Sources:ARK Investment Management LLC, 2023. Venigalla, A. et al. 2022; Li, C. 2020.Forecasts are inherently limited and cannot be relied upon. For informational purposes only and should not be considered investment advice or a recommendation to buy, sell, or hold any particular security. Past performance is not indicative of future results.

资料来源:ARK投资管理有限责任公司,2023年。Venigalla, A.等,2022;李,C. 2020。预测作用本身是有限的,不能依赖。仅供参考,不应被视为投资建议或购买、出售或持有任何特定证券的建议。过去的表现并不代表将来的结果。

人工智能硬件和软件成本将继续以每年70%的速度下降

根据Wright定律,人工智能相关计算单元(RCU)的生产成本和软件成本将分别以每年57%和47%的速度下降。换句话说,到2030年,硬件和软件的融合可以使人工智能培训成本以每年70%的速度下降。

AI 训练硬件成本

累计产生的RCUS

基于神经网络的AI软件训练成本

训练成本

*TFS-Days is a measureofcompute required to train a model.Sources: ARKInvestment Management LLC, 2023. Forecasts are inherently limited andcannotbereliedupon. Forinformationalpurposes only and shouldnot be considered investment advice or a recommendation to buy, sell, or hold any particular security. Past performance is not indicative of future results.

*TFS-Days是训练模型所需的计算量。资料来源:ARK投资管理有限责任公司,2023年。预测本身作用是有限的,不能依赖。仅供参考,不应被视为购买、出售或持有任何特定证券的投资建议或建议。过去的表现并不代表未来的结果。

展开阅读全文

页面更新:2024-03-12

标签:方舟   人工智能   仅供参考   模型   级别   成本   速度   建议   硬件   软件

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2008-2024 All Rights Reserved. Powered By bs178.com 闽ICP备11008920号-3
闽公网安备35020302034844号

Top