北京深度求索公司推出首个国产开源MoE大模型

1月15日讯，北京深度求索公司推出首个国产开源MoE大模型DeepSeek MoE，性能媲美Llama 2-7B，计算量降低60%。DeepSeek MoE目前推出的版本参数量为160亿，实际激活参数量大约是28亿。此外，深度求索团队还透露，DeepSeek MoE模型还有145 B版本正在研发。阶段性的初步试验显示，145 B的DeepSeek MoE对GShard 137 B具有极大的领先优势，同时能够以28.5%的计算量达到与密集版DeepSeek 67 B模型相当的性能。（量子位）