据站长之家报道，9月27日传来最新资讯，蚂蚁集团近日推出了其代码大模型CodeFuse-CodeLlama-34B的4bits量化版本。该模型不仅是对CodeFuse-CodeLlama-34B的4bits量化升级，而且其前身CodeFuse-CodeLlama-34B是通过QLoRA技术对基座模型CodeLlama-34b-Python进行深度多代码任务微调所诞生的。值得一提的是，该模型的输入长度可达4K。
经过4bits量化处理，CodeFuse-CodeLlama-34B-4bits模型能够被单张A10（24 GB显存）或RTX4090（24 GB显存）轻松加载。即便在Humaneval pass@1指标上，量化后的模型依然保持了73.8%的高性能表现。
链接阅读：https://www.8btc.com/article/6834152 转载本文时，请务必注明出处。
标签:
文章来源: 酷玩网
版权声明: 本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任
