百度发布最新模型文心5.5 Flash Base
百度正式开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。该模型采用MoE架构，总参数量2800亿，每个Token激活140亿参数，使用33.5万亿Token完成预训练，预训练上下文长度最高128K，微调与推理阶段支持最长100万Token上下文。据百度介绍，文心5.5 Flash Base在知识、推理、数学、代码、多语言及长上下文等多项基准测试中，取得同尺寸模型的SOTA表现。作为Base模型，文心5.5 Flash Base为开发者预留了微调与定制空间，可基于业务需求构建专业模型。模型已在Hugging Face开源。
—— 凤凰网科技
0 评论