据量子位于10月1日报道，香港中文大学与麻省理工学院联合研究团队，由贾佳亚和韩松领衔，提出了一种基于LoRA（Low-Rank Adaptation）的创新大模型微调技术——LongLoRA，该技术荣登GitHub热门排行榜。据悉，仅需两行代码和11小时的微调时间，LongLoRA便可以将大模型的4k窗口长度提升至32k。在规模上，该技术最高可扩展至10万token，从而一次阅读即可涵盖长篇小说的多章节或中短篇小说。据悉，在一台由8个A100显卡组成的单机上进行窗口长度扩展，其速度比全量微调快上数倍。
本文链接：https://www.8btc.com/article/6834438，转载时请标明文章来源。
标签:
文章来源: 酷玩网
版权声明: 本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任
