小红书开源首个大模型, 11万亿非合成训练数据

格隆汇6月9日｜据AIGC开放社区，社交平台小红书，开源了首个大模型——dots.llm1。dots.llm1是一个1420亿参数的专家混合模型（MoE），在推理过程中仅激活140亿参数，能保持高性能的同时大幅度降低训练和推理成本。dots.llm1最大特色是使用了11.2万亿token的非合成高质量训练数据，这在现阶段的开源大模型中非常罕见，看来小红书也得益于自己庞大的语料库出手就是阔啊。所以，在中文测试中dots.llm1的性能非常强，以91.3的平均分超过了DeepSeek开源的V2、V3和阿里开源的Qwen2.532B和72B。