近日，据 IT 之家6月25日报道，AI初创企业MosaicML宣布推出其新型语言模型MPT-30B。该模型参数量高达300亿，训练成本却仅是其他同类竞品模型的几分之一，有望推动行业逐步降低此类模型的训练成本，助力AI模型在更广泛的领域中得以应用。
MosaicML公司的首席执行官兼联合创始人Naveen Rao透露，MPT-30B的训练成本仅为70万美元（约合502.44万元人民币），远低于GPT-3等同类产品所需的数千万美元训练成本。此外，得益于MPT-30B低成本、小体积的特点，它也能更快地完成训练，并更加适合在本地硬件上进行部署。
据了解，MosaicML采用了Alibi和FlashAttention技术对模型进行优化，从而实现了更长的文本长度和更高GPU计算利用率。MosaicML亦是少数能够利用Nvidia H100 GPU的实验室之一，相较于以往，每块GPU的吞吐量提升了2.4倍以上，大大缩短了完成时间。
本文链接：https://www.8btc.com/article/6823528 转载请注明文章出处
标签:
文章来源: 酷玩网
版权声明: 本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任
