FEATURED ARTICLE / 01

INSIGHT / REPORT / UPDATE

深度资讯 热点资讯

算力最多,进展最慢:字节大模型困于赛马制

360直播球队中心-赛程阵容与资讯编辑部 777 阅读 约 5.5 分钟

文 | Tech商业 在互联网的黄金十年里,字节跳动是被奉为神明的组织机器。凭借“App工厂”模式、扁平化的敏捷开发以及极度内卷的“赛马机制”,它硬生生在腾讯和阿里的夹击下,跑出了抖音这样的全球级巨无霸。 但当这家公司带着最耀眼的资金、最顶级的算力和最庞大的人才库,杀入大模型时代时,过去的“神兵利器”,却成了刺向自己最深的软肋。 近日,X平台上围绕字节Seed团队的一场讨论,扯下了大模型狂欢背后最残酷的组织遮羞布。爆料者直言不讳地指出:Seed拥有很好的人才和很多的算力,但LLM(大语言模型)的进展却不够快;答案不是技术限制,而是组织问题——字节的赛马机制,根本不匹配大模型的研发。 配合着此前公开报道中字节Seed团队训练“投毒”事件当事人的自述,以及评论区关于“大模型重工业流水线”的讨论,一个极其荒诞的现实浮出水面:在大模型这个人类历史上最复杂的系统工程面前,字节引以为傲的“赛马”,跑不出通向AGI的火箭。 图自推特 当“赛马”撞上“重工业” 大厂的高管们往往有一个致命的路径依赖:他们以为大模型只是另一个更复杂的App,只要投入足够多的团队,让他们互相竞争、内部PK,就能跑出最强的模型。 这是移动互联网时代留下的思想钢印。 正如评论区一位从业者一针见血地总结:“大模型预训练,本质上是类似精密重工业的流水线工程。从分词过滤、数据配比,到千卡/万卡拓扑的通信调优,每个环节必须严丝合缝、全局协同。” 在这个重工业体系里,容不得半点各自为战。你需要一个高度集权的指挥部,统一调度上万张GPU,统一清洗几十万亿的Token,统一对齐底层的Infra(基础设施)架构。哪怕是一个细微的数据配比错误,或者千卡集群中的一根网线松动,都可能导致长达数月、耗资数千万的训练彻底崩溃。 而“赛马机制”的核心是什么?是小步快跑、是资源隔离、是团队内卷、是胜者为王。 把移动互联网的赛马机制,强行套用在需要全局协同的超大集群研发上,直接导致的结果,就是把本该集中力量办大事的“超级算力池”,拆碎成了各自为战的“资源孤岛”。 爆料中提到,在字节内部,资源囤积成了常态。那些已经抢到算力的团队,即便算力闲置,也宁愿烂在手里,绝不愿意共享给其他团队。大家都在防备着隔壁团队跑出比自己更好的成绩,信息不透明,沟通充满戒备,甚至互相藏匿关键的代码与数据。 这并非字节一家的绝症。爆料者顺带提及硅谷巨头也有类似问题:在谷歌内部,研发Gemini的团队抱怨缺卡,而赚钱的广告团队却握着大把GPU,外界并不知道他们到底在拿这些算力干什么。需要说明的是,这一关于谷歌内部算力分配的具体说法目前仅见于爆料转述,尚无独立信源交叉印证;但它指向的部门墙与本位主义,确实是大模型时代昂贵的沉没成本。 洗了半年的数据,谁来背OKR? 大模型的研发不仅需要“大”,更需要“静”。它不像写前端代码那样能立刻看到炫酷的UI反馈,它需要大量枯燥的数据清洗和繁琐的通信调优。 而在大厂极度内卷的KPI/OKR体系下,这种“安静”是不被允许的。 爆料中描绘了研发人员极其真实的痛点:做LLM并不需要那么多灵光一闪的“天才时刻”。真正的工作,是稳稳当当地把数据和环境弄对,是死磕Infra的效率。但这帮由顶级天才组成的研发人员,骨子里是渴望创新、渴望带项目的。 “加上每几个月考核一次的OKR,我这半年全都在清洗脏数据,年底的OKR怎么写?”这是一个死结。 在现有的考核体系下,洗数据、排雷、调优通信,这些真正决定大模型下限的“脏活累活”,是无法转化为漂亮的汇报PPT和顶会论文的。如果员工为了完成OKR,去做了最出彩、最容易发论文的架构创新,那些脏活谁来干? 没人干,那模型就会吃下有毒的数据,最终酿成灾难。 此前在圈内引发震动的字节Seed团队训练“投毒”事件,正是这种极端内卷与组织割裂的产物。作为最直接的受害者,前员工ShoufaChen在回忆中极其痛苦地描述了那段长达数月的排查、对峙与质疑。在长达几个月的时间里,团队每天面对的是模型表现的诡异崩溃,是对彼此工作失误的相互指责。 公开报道显示,这并非简单的技术Bug,而是一名前实习生在训练环境中实施的系统性破坏:篡改底层代码、随机终止训练进程、埋设后门,并把故障伪装成随机事故。当团队之间为了抢夺资源而互相防备,当研究员为了保住自己的项目而隐瞒真实的数据故障,大模型这个庞然大物,就会在不知不觉中走向崩溃。大厂的OKR体系,原本是为了激发人的潜能,最终却逼出了人性中最短视、最自私的一面。 缺失的“Research Group” 更有意思的是另一条评论:“字节拥有最多的资源,但没有一个真正的Research group(研究团队)。” 这家公司过去几年在技术博客上的输出非常华丽,发表了不少优秀的Infra框架和底层算法。但如果仔细看,他们的技术产出与实际得到的算力投入,似乎呈现着

about image

分享这篇内容

如果文章对您有所帮助,欢迎将它分享给更多读者。

RELATED READING / 02

推荐阅读

从相近主题、延伸观点和最新动态中继续阅读,了解更多相关信息。

DISCOVERY BOARD / 03

继续发现

通过栏目导航和热点内容,快速进入更多文章页面。

热点新闻

越闹越大!陈宇昕事件不会结束,他母亲到底是谁

越闹越大!陈宇昕事件不会结束,他母亲到底是谁

作者|老姜 24岁的陈宇昕为何在公开场合身披旭日旗?学习历史的学生如果说因为年轻不懂事或者说不懂历史的话,估计是没有愿意相信,他父母又是什么人?这个问题网友很关注。 能考取莫斯科国立大学的人,一定有点本事,陈宇昕学习能力应该不错,哪怕预科班是申请制呢?还有一点就是,在俄罗斯留学,一年学费起码也要十万出头,陈宇昕又是自费生,由此可见,他的家境应该不错。 陈宇昕同学小张在接受采访时,她向记者说,陈宇昕
逆转+大胜!NBA疯狂夜!西部排名乱了:火箭登顶,勇士三连败垫底

逆转+大胜!NBA疯狂夜!西部排名乱了:火箭登顶,勇士三连败垫底

火箭以121比114拿下三连胜,勇士遭太阳逆转跌至三连败。西部两端被拉开,球队之间的差距却没榜单看着那么大。 火箭登顶、勇士垫底,眼下更能说明谁能把比赛收住,实力座次还远没定型。 火箭这场最值得掂量的细节,是申京上半场5投1中,球队照样带着11分优势进入休息。内线重要得分点没有打开,其他人的进攻仍能接上,这给三连胜添了实在分量。 一个环节卡住,整台机器还能转,火箭榜首位置有这层支撑。 杜兰特、谢泼
暂不下课!曝卡里克保住帅位内幕:换埃迪·豪曼联要掏300万英镑

暂不下课!曝卡里克保住帅位内幕:换埃迪·豪曼联要掏300万英镑

上轮联赛,曼联主场0-3惨败伯恩茅斯,卡里克在红魔的执教生涯似乎已经到了尽头。然而,根据最新消息,俱乐部目前还暂时不打算炒卡里克的鱿鱼,他将继续带队备战本周六客场对阵切尔西的比赛。 上周末的失利让曼联现在的处境变得非常尴尬,球队在各项赛事中连续不胜,联赛排名已经下跌到了积分榜的第16位,距离降级区只有1分之遥。主场球迷的嘘声和对管理层的不满,也让俱乐部不可能再继续装作一切正常。 据报道,与伯恩茅斯
越吃血管越通,立冬后抓紧吃!降压降脂护心,正当季别错过

越吃血管越通,立冬后抓紧吃!降压降脂护心,正当季别错过

立冬之后气温持续走低,寒气侵袭,血管容易收缩,血流速度变慢,血脂、血压更容易出现波动,也是心脑血管问题的高发时段。很多中老年朋友一到这个时节,就容易头晕头胀、手脚发麻、胸口发闷,稍微劳累就心慌气短。血管就像身体里的管道,长年累月会堆积脂类物质,管壁弹性下降,想要养护血管,不一定非要昂贵的补品,当下正当季的家常食材,合理搭配,清淡饮食,长期坚持,就能帮助减轻血管负担,维持血管弹性。 今天分享四道适合
马特乌斯:克洛普战荷兰还会调整阵容,荷兰7-0给了德国更大压力

马特乌斯:克洛普战荷兰还会调整阵容,荷兰7-0给了德国更大压力

北京时间11月14日,欧国联赛后马特乌斯表示,尽管德国队在塞尔维亚的比赛中表现出色,但国家队主教练克洛普仍会在国家联赛对阵荷兰的关键对决中调整首发阵容。 "我预计会有两到三次换人,因为可能有个别球员会因为贝尔格莱德的场地条件而感到有些疲惫,"马特乌斯在接受《RTL/Sky Sport》采访时表示。 举例来说,这位1990年的世界冠军认为球队会在中卫位置上做出轮换调整。“我预计施洛特贝克也会回到首发