百度开源基座模型文心 5.5 Flash Base
百度正式开源最新基座模型文心 5.5 Flash Base。模型采用 MoE 架构，总参数量 2800 亿，每 Token 激活 140 亿参数，预训练用 33.5 万亿 Token，预训练上下文最长 128K，微调与推理支持最长 100 万 Token 上下文。
围绕“效率”主线，模型在注意力机制、专家路由及训练目标等环节做了系统性优化，以提升资源利用效率。
新华网
科技圈· 茶馆 · 投稿
百度开源基座模型文心 5.5 Flash Base
百度正式开源最新基座模型文心 5.5 Flash Base。模型采用 MoE 架构，总参数量 2800 亿，每 Token 激活 140 亿参数，预训练用 33.5 万亿 Token，预训练上下文最长 128K，微调与推理支持最长 100 万 Token 上下文。
围绕“效率”主线，模型在注意力机制、专家路由及训练目标等环节做了系统性优化，以提升资源利用效率。
新华网
科技圈· 茶馆 · 投稿
您是本站第161662名访客 今日有47篇新文章/评论
0 评论