蚂蚁集团开源代码大模型CodeFuse-CodeLlama-34B 4bits量

9月27日，近日，蚂蚁集团代码大模型CodeFuse-CodeLlama-34B 4bits量化版本发布。据悉，该模型是CodeFuse-CodeLlama-34B模型的4bits量化版本，后者是通过QLoRA对基座模型CodeLlama-34b-Python进行多代码任务微调而得到的代码大模型，模型输入长度为4K。

经4bits量化后，CodeFuse-CodeLlama-34B-4bits可用单张A10（24 GB显存）或者RTX4090(24 GB显存）加载，同时，量化后的模型在Humaneval pass 1指标上仍取得了73.8%的表现。（站长之家）