商汤“书生・浦语”2.0大语言模型开源
快讯 零壹财经 零壹财经 2024-01-17 阅读：1173
1月17日讯，商汤科技与上海AI实验室联合香港中文大学和复旦大学发布了新一代大语言模型书生・浦语2.0（InternLM2）。
据介绍，InternLM2是在2.6万亿token的语料上训练得到的。沿袭第一代书生・浦语（InternLM）设定，InternLM2包含7B及20B两种参数规格及基座、对话等版本，继续开源，提供免费商用授权。目前，浦语背后的数据清洗过滤技术已经历三轮迭代升级，号称仅使用约60%的训练数据即可达到使用第二代数据训练1T tokens的性能表现。
据介绍，通过拓展训练窗口大小和位置编码改进，InternLM2支持20万tokens的上下文，能够一次性接受并处理约30万汉字（约五六百页的文档）的输入内容。InternLM2在20B参数的中等规模上，整体表现接近ChatGPT。（IT之家）
相关文章
用户评论
所有评论
主编精选
more专题推荐
more
第四届中国零售金融发展峰会(共15篇)
资讯排行
- 48h
- 7天
-
首页
-
评论
-
回顶部
游客
自律公约