Meta AI研究人员提出长语境LLM：超越GPT-3.5-Turbo-16k的

快讯零壹财经零壹财经 2023-10-08 阅读：1284

关键词：AI Meta

10月7日，Meta AI研究人员提出了一种构建长语境LLM的方法，这种方法优于所有现有的开源模型。该方法围绕LLAMA2检查点进行持续的预训练，并利用额外的4000亿个形成广泛的训练序列。这些序列旨在捕捉长语境理解的本质。此外，这项工作提供了一系列模型变体，包括使用32,768个token序列训练的较小的7B/13B模型和使用16,384个token序列训练的较大的34B/70B模型。（MarktechPost）

上一篇>研究人员开源端到端多模态大模型LLaVA-1.5

下一篇>上海曜境互联网公司领跑元宇宙赛道，正式入驻金桥！