APUS-xDAN大模型4.0宣布开源

4月2日讯，APUS与新旦智能联合训练、研发的千亿MoE（Mixture of Experts）架构大模型，在GitHub上正式开源。该模型在4090之类低端算力芯片上，综合性能达到GPT-4的90%。据钛媒体App了解，APUS-xDAN大模型4.0特点是多专家模型组合，实际运行效率对比传统Dense同尺寸模型效率提升200%，推理成本下降400%。在实际部署上，模型尺寸缩小500%，是国内首个可在消费级显卡运行的千亿MoE中英文大模型。