编译 | 陈骏达裁剪 | Panken

智东西2月13日报谈，春节时间，DeepSeek一跃成为全球科技界的顶流，从媒体头条到巨头财报都有其身影。AI界声量最大的播客节目之一Lex Fridman Podcast也发布了一期长达5小时的深度播客，破耗多数篇幅筹商了DeepSeek对全球AI发展趋势的影响过火技艺上风。

节目嘉宾差别为半导体行业辩论公司SemiAnalysis独创东谈主Dylan Patel与艾伦东谈主工智能辩论院辩论科学家Nathan Lambert。

Lambert将DeepSeek在强化学习上的糟塌称为“DeepSeek时刻”。针对OpenAI对DeepSeek抄袭的指控，Lambert绝顶强调DeepSeek-R1不太可能窃取了OpenAI o1的推理链数据，而是通过基于强化学习的“试错”型学习模式，让模子当然炫耀出了推闪耀力。

两位嘉宾还戒备拆解了DeepSeek的技艺上风。DeepSeek立异的MLA机制与初代把稳力机制比拟，内存使用责骂了80%-90%。DeepSeek还通过对MoE架构路由机制的立异，栽种了众人模子的使用成果，杀青降本增效。

参与对谈的三东谈主都对DeepSeek的开源模式深表赞同，Lambert称其为“着实的开源”，而Fridman则夸赞其技艺报告详备，具备较好的可操作性，是开源界的一股积勉力量。土产货运行开源模子还能更好地保护用户狡饰数据。

计较资源方面，Patel觉得DeepSeek在全球名列三甲，仅次于OpenAI、Anthropic、Meta等少数几家公司，可能领有50000张傍边GPU。这一数字诚然与国际巨头动辄10万卡量级的储备有一定差距，但巨头们还需要将这些算力分派给其他业务。

因齐全节目过长，智东西绝顶整理出访谈中几位嘉宾对于DeepSeek值得暖和的五大不雅点，供环球参考：

一、DeepSeek的孝顺：最通达的前沿模子之一，推进AI常识普及

1、DeepSeek-R1上线后立即开源，并绝顶采⽤了宽松的MIT许可证，莫得对商用和具体用例进行截止，这也意味着其他设备者不错使用这款模子输出合成数据，锻练高质料模子。

2、诚然Llama也开源了权重，并附带技艺报告，但DeepSeek的技艺报告可操作性更强，也清晰了更多的锻练细节，还包括设备过程中遭遇的费事，可能是⽬前最通达的前沿模子之⼀。

3、DeepSeek团队推进了AI常识的普及，他们的论文戒备清晰技艺细节，连失败的阅历都整个分享，为全球其他团队校正⾃身锻练技艺提供了切实可⾏的参考。

4、能通过优化芯片底层代码，杀青高效锻练的东谈主才历历，DeepSeek就领有此类东谈主才。从全球范围来看，这种东谈主才只存在于好意思国的前沿实验室和DeepSeek这么的企业。

5、模子自己并不会窃取数据，模子的托管方才有可能窃取数据。DeepSeek的开源意味着用户无用联网使用AI办事，对我方的数据有十足的掌控权。

6、梁文锋是一位马斯克、黄仁勋式的东谈主物，他事必躬亲，深切辩论AI技艺；他深信AGI（通用东谈主工智能）的愿景，并但愿让中国在AI⽣态系统成立⽅⾯发引导作⽤，是DeepSeek背后的“假想家”。

7、DeepSeek-R1在国际激发担忧，内容上是因为其建议了新的模子锻练标的。AI技艺惊东谈主发展，明天更多雷同的糟塌还会出现，当今诚然有许多东谈主在暖和Agent，但AI的明天不啻于此。

8、模子进展得好就应该尽快发布，由于AI发展迅猛，企业最佳能裁汰模子锻练完成到认真发布之间的时期差距。要是运行精致，就尽快发布，这能栽种用户对居品质能栽种的感知。DeepSeek在这方面作念得更好。

二、模子特色：推闪耀力靠自学，大方展示想维链

1、DeepSeek-R1的亮点之一是会展示齐全想维链，模子的想考过程自己能提供一种特有的好意思感。o1-pro在许多问题上的进展仍然比较亮眼，o3-mini-high闪耀快速但粗鄙，穷乏新意与深度。

2、DeepSeek-V3倾向于快速生成谜底，频繁会以形态化的样子呈现，与大部分AI模子雷同。DeepSeek-R1会先呈现多数想维链过程，然后变调口吻，给出最终谜底，谜底的形态与V3雷同。

3、OpenAI与DeepSeek的办事老本各别巨大，这是因为前者的利润率很高，毛利超75%。DeepSeek其实是在赔钱运营，当今还莫得智力大规模提供办事。

4、DeepSeek-R1的推闪耀力不太可能是因为他们窃取了OpenAI o1的推理链数据。即便DeepSeek真如OpenAI指控的那样蒸馏了模子，也在成果方面杀青了令东谈主惊叹的建树。

5、DeepSeek-V3与DeepSeek-R1都使用了DeepSeek-V3 base看成基础模子。这一基础模子在预锻练阶段，通过展望互联网上海量文本中的下一个词语，学习了话语的通用限定。其主邀功能是续写文本，但并不像主流的聊天机器东谈主那样易于使用。

6、DeepSeek-V3选拔的后锻练经由，通过领导调优、基于东谈主类反映的强化学习（RLHF）等门径，构建出了领导模子、聊天模子或者所谓的“对都模子”、“助手模子”等。DeepSeek-V3的性能出色，不错与GPT-4、Llama 405B等模子比好意思。

7、DeepSeek-R1-Zero莫得使用东谈主工撰写的推理数据看成参考，而是诈欺了强化学习的样子，让模子我方在多数已有尺度谜底的可考证问题上进行锻练，并凭证谜底的正确性予以模子奖励，从而让模子自觉地炫耀出了推闪耀力。

8、DeepSeek-R1齐全版的推闪耀力是预锻练话语模子和强化学习连合的产物。在推理锻练之后，进行了基于东谈主类反映的强化学习。

三、技艺糟塌：MoE架构、责骂老本、底层优化

1、DeepSeek立异的多头把稳力机制在长高下文的处理过程中有很大上风。与初代把稳力机制比拟，这一立异能让把稳力机制的内存占用减少约莫80%-90%。

2、DeepSeek权贵校正了众人羼杂模子（MoE）的路由机制，并引⼊了⼀个特地的参数，通过握住更新这个参数，铢积锱累，最终让模子能更平衡地使⽤整个众人。

3、为杀青性能的最大化，DeepSeek进行了CUDA层以下的超底层编程优化，精致地限制哪些中枢负责模子计较、哪些中枢负责通讯，并在两者之间进行为态切换。

4、频繁的MoE模子只包含8-16个众人模子，每次激活两个模子，但DeepSeek选拔了极高的稀少因子，并从256个众人模子中激活8个，减少了激活参数的规模，从而让老本更低。

四、锻练启发：握住小规模试错，但也要有All-in的勇气

1、“苦涩的训戒”：在深度学习规模，那些具有可彭胀性的学习和搜索⽅法最终会胜出，辩论东谈主员最佳减少东谈主为先验常识的影响，探索灵验利用深度学习系统，责罚高大问题的浅显门径。DeepMind莫得使用东谈主为数据，凭借强化学习就锻练出了苍劲的AlphaZero模子，灵考解释了上述不雅点的正确性，而DeepSeek-R1在推闪耀力上杀青的跳跃，也源自立化学习。

2、DeepSeek的代码库很可能比较错杂，用于测试多样新方针。初期代码比较或者，但用于锻练DeepSeek-V3和DeepSeek-R1的代码质料会比较高。

3、DeepSeek通过多数小规模的失败，安宁积聚阅历，解释了众人羼杂模子的灵验性、MLA有蓄意的可行性等，最终找到超参数到手组合。这一过程中需要握住试错。

4、在试错到一定阶段时，设备者也需要施展YOLO精神（即You Only Live Once，只活一次，斗胆去作念），将一起资源押注于一条旅途上。DeepSeek早期险些赌上一起资源，正如OpenAI 2022年用公司100%的资源锻练GPT-4那样，都是极为斗胆的举措。

五、计较资源：集群规模全球伊始，与幻方分享基础形态

1、幻方量化在2021年时就对外界声称领有万卡A100集群，诚然这些模子并不一起应用于诳言语模子锻练。后期DeepSeek成立后他们捏续购⼊更多的GPU，并与幻方量化分享基础形态。DeepSeek论文中提到V3模子锻练时用了2000个H800 GPU，但SemiAnalysis觉得他们执行领有的GPU数可能接近50000个，但分散于多个规模。

2、Meta相通锻练开源模子，他们的锻练集群领有约60000-100000个H100等效GPU，Llama 3锻练时使用了16000个H100 GPU，Meta客岁清晰其共计购买了40多万个GPU，其中仅有很小一部分用于模子锻练。从这一角度来看，DeepSeek的集群规模在全球范围内名列三甲，仅次于OpenAI、Anthropic、Meta等少数几家公司。

3、不管将超等AI应用于那边，都需要多数计较智力，计较资源差距累积效支吾好意思国至关进击。要是未下天下只消2%-3%的经济增长，那保管芯片这么的高技术居品出口是很愚蠢的，会示寂多数经济利益。但在超等AI行将出现，并产生紧要影响的配景下，好意思国片面保管技艺差距是有益可图的。跟着AI对算力的需求呈指数级增长，即即是DeepSeek这么的中国企业也会在大规模普及AI的过程中遭遇费事。

六、DeepSeek或将开启一场AI冷战

1、AGI可能会在2030年之后杀青，明天⼏年会捏续出现快速、令⼈骇怪的进展。DeepSeek-R1就是这一程度中的一个最新进展。

2、AGI竞赛不会是“赢家通吃”的时局，当今AI规模的各大玩家都还在牌桌上，谷歌仍是AGI竞赛的领跑者，OpenAI则更具有公论上风，微软仍是在AI方面杀青盈利。

3、DeepSeek的出现让中好意思两边都更为平直地感受到AGI的影响。DeepSeek时刻很可能是⼀场冷战的运转九游会J9，但这不是DeepSeek的错，⽽是⼀些身分共同作⽤的结果。