Anthropic采用字节跳动Seed团队架构?Claude Mythos某基准分数碾压GPT-5.4四倍!

前沿快讯 人工智能
查看原帖
Anano
Anano 楼主
#1

Anthropic 拒绝公开Mythos的模型架构,但一项异常的测试成绩引发了社区猜测。

Anthropic官方 system card 显示,Mythos 在 GraphWalks BFS 测试(让模型在复杂图结构中做广度优先搜索)中得分 80.0%,Opus 4.6 为 38.7%,GPT-5.4 仅 21.4%。其他基准上各家差距远没有这么大。

Meta机器学习工程师 Chris Hayduk 最先指出,这个异常尖峰恰好指向一种特定架构:循环语言模型。

字节跳动 Seed 团队去年 10 月发表论文提出 LoopLM,核心思路是让同一组 Transformer 层对输入反复跑多遍,在模型内部完成推理,而不是像现在的思维链那样靠生成大量文字来「思考」。

图灵奖得主 Yoshua Bengio 为论文共同作者。论文明确指出,图搜索正是这种架构的理论强项。论文开源的小模型 Ouro 中,14 亿参数版本就能打平约 40 亿参数的标准模型。

第二条线索:Mythos 在 SWE-bench 上消耗的 token 量只有 Opus 4.6 的 1/5,但推理速度反而更慢。

普通模型输出越少就越快,但如果计算藏在模型内部的反复迭代里,这个矛盾就说得通了。
Anthropic 将架构列为「研究敏感信息」,未作任何回应。

这一切仍是推测,但如果属实,意味着下一代顶级模型的架构突破可能部分源自中国团队的公开研究。

论文中的相关定理:

:heart:17:+1:3:laughing:2
TOPIC OWNER
13 楼层
12 回复
13 用户
Anano mozhu XY_LIN Adam.H loyicnaup
mozhu
mozhu
#2

“敌对国家”的含金量还在提升,A​:divide:的脸不疼吗 :sweat_smile:

:laughing:12:heart:10:distorted_face:1
又当又立
TESTFORME双面人这一块
XY_LIN
XY_LIN
#3

让字节发文嘲讽他,骂他,问他要不要脸,臭不要脸

:heart:5:distorted_face:1
Adam.H
Adam.H
#4

我记得之前那个iQuest模型也是类似的架构?40B的模型跑两遍跑出80B的效果?

话说能不能在MOE上这么搞?比如80BA3B,跑两遍变成80BA6B的效果?

loyicnaup
loyicnaup
#5

没毛病 毕竟 Scaling Law 也起源于百度最早的研究

Allyourneed
#6

感觉还是阴谋论偏多一点,还没有什么铁证。

lanyitian
lanyitian
#7

这和抖音传的一切起源永乐大典有什么区别? :rofl:

:heart:2:laughing:1
2个回复
Guandengle
Guandengle

还是有很大的区别的

毕竟永乐大典虽然流传的都是残本,但好歹能知道些许内容,能反推一下整本书的大体内容是啥

但是A/的模型又没开源,那岂不是只能靠各种蛛丝马迹推测

这个基于现有信息的推测,我觉得没毛病

毕竟这些闭源模型用没用开源技术,只有它们内部的人才知道

:heart:2
volodya714
volodya714

毫不思索,文章都不看上来就永乐大典,我看还是阁下更适合这个形容

:heart:2
↓ 跳到帖子
Guandengle
Guandengle ↶ @lanyitian
#8

还是有很大的区别的

毕竟永乐大典虽然流传的都是残本,但好歹能知道些许内容,能反推一下整本书的大体内容是啥

但是A/的模型又没开源,那岂不是只能靠各种蛛丝马迹推测

这个基于现有信息的推测,我觉得没毛病

毕竟这些闭源模型用没用开源技术,只有它们内部的人才知道

:heart:2
leonardo_shen
leonardo_shen
#9

太阳底下没有新鲜事,就算不是基于字节的研究,他们用的方法也绝对不是什么无法破解的炼金配方,就像deepseek揭了gpt-o1的老底那样。关键还是国内太缺算力了,还是需要moe、engram这样的突破

leetype
leetype
#10

如果是真的,为什么字节自己训练出来的豆包那么唐啊??

:clap:1
PlayGenshin
#11

国内最大的问题是缺算力,导致规模和速度基本是二选一,虽然有些想法很好,但是想落地又是一件难度大的事。

:heart:1
volodya714
volodya714 ↶ @lanyitian
#12

毫不思索,文章都不看上来就永乐大典,我看还是阁下更适合这个形容

:heart:2
Chirp
Chirp
#13

情况也有可能是,Mythos 是一个超级巨无霸