品玩于9月5日带来最新资讯，Nous Research携手EleutherAI实验室与瑞士日内瓦大学的研究团队共同发表论文，揭示了名为YaRN的创新方法。该方法能够扩展大型语言模型的上下文窗口。研究论文指出，相较于传统方法，YaRN在标记和训练步骤上有着显著的优势。通过应用YaRN，LLaMA模型能够更高效地运用并外推其原始预训练所设定的上下文长度，实现了对过去窗口扩展技术的超越。GitHub页面显示，经过YaRN微调的LLaMA 2 7B/13B模型的上下文窗口分别达到了64k和128k。
本文链接：https://www.8btc.com/article/6831948 转载时请标明文章来源
标签:
文章来源: 酷玩网
版权声明: 本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任
