字节跳动训练10万亿参数超大模型 堪比Anthropic最先进系统

字节跳动

据三名知情人士透露，字节跳动正在训练一个超大模型，参数量最高可达10万亿个，目前正处于早期阶段，这比迄今为止中国已发布的最大模型、月之暗面的Kimi K3还要大三倍多。

知情人士称，字节跳动的这一模型目前正在进行预训练，这一阶段通常需要三到六个月时间，之后如果一切顺利，将进入微调阶段并最终发布。该模型的确切规模要到后期阶段才能确定。

Anthropic并未公开其模型规模，但业内估计其最先进的Mythos 5拥有约8万亿个参数，Fable 5约为5万亿个参数。虽然参数数量决定了模型存储信息的基础能力或记忆上限，但其实际能力还取决于数据质量和训练方法等其他因素。

字节跳动训练全球最大AI模型之一的努力表明，中国AI公司的雄心不仅是追赶美国同行，而且希望在最先进的AI领域超越它们。

此前，《晚点 LatePost》报道称，字节跳动正在讨论训练一个参数规模超5万亿的模型，它超过阿里的Qwen 3.8-Max(2.4 万亿参数)和月之暗面的K3(2.8 万亿参数)，也是目前国内已知参数规模最大的模型。不过该计划仍处于早期阶段，并不代表模型最终一定会发布。