(资料图)
4 月 26 日，前 Google Brain 机器学习（ML）工程师 Brian Kihoon Lee发文称，“这次合作的双方都输了”，并且预言将在接下来的几个月内看到更多的项目被取消、合并，以及裁员。
Lee 在博客长文中分析了 Google Brain 存在的原因，包括声望、过去的突破性发现、保持领先地位等；同时，他也犀利地表达了自己认为 Google Brain 存在的问题，以及对 Google Brain 和 DeepMind 合并的不乐观看法；最后，Lee 对 Google 未来的路该怎么走，是否还会资助开放式研究表达了未知与期待。
这位前谷歌 ML 工程师最初在去年年底写下了这篇文章，并在被解雇后作为独立的个体于近日将其发表。Lee 在文前写道，“强制性免责声明：文章内容仅代表我的个人观点，与我的当前雇主无关”。
图｜前谷歌高级研究工程师 Brian Kihoon Lee
学术头条在不改变原文大意的情况下，做了简单的编辑。原文如下：
这篇文章最初是在 2022 年 12 月写的，当时我正在思考我工作的未来。我搁置了这篇文章，因为我不确定在受雇于 Google Brain 时发表这样的文章是否合适。
但是，他们在一月份解雇了我，这使我的决定变得更加容易。我拿到了我的赔偿金，上周，他们和 DeepMind 合并为一个新部门，取消了 Google Brain，取而代之的是 “Google DeepMind”。作为一个拥有独特视角和自由来分享它的人，我希望我能阐明这个团队存在的问题。我将列出 Google Brain 存在的众多原因，并评估它们在当今经济条件下的持续有效性。
工业研究实验室
我想首先准确描述一下需要解释的悖论。
学术界的研究者一直面临着在学术界的研究自由与在工业界的高薪的两难选择。作为一个 ML 专家，Google 会付给你丰厚的报酬来做 ML 研究，这并不令人惊讶。换来的结果通常是，你不得不从事推荐系统、广告优化、搜索排名等工作，而不是纯粹的研究。
说白了，Google Brain 拥有许多研究人员和项目，其中许多是直接或间接盈利的。例如，许多研究人员专注于改进优化器、架构搜索和超参数搜索。这种研究是直接盈利的，因为它降低了计算成本，以达到一定的性能水平。
需要解释的是，Google Brain（与 DeepMind、OpenAI、FAIR 和其他公司一起）资助数百名 ML 研究人员从事纯研究，似乎只是为了研究而研究，同时能比在学术界拿到更多的报酬。例如，我的团队致力于嗅觉的机器学习。Google 在做什么，资助关于嗅觉的研究？有什么好处呢？这是我想回答的问题。
声望
大多数学者认为，Brain 团队正在争取声望：“Brain 正在与其他工业研究实验室竞争，以聘请最好的研究人员，这样他们就可以成为最负盛名的研究小组，这反过来又会帮助他们聘请最好的研究人员”。毕竟，这就是美国学术界的运作方式：资金、学生/博士后和首席研究员（PI）三位一体。原则上，资金流向最有才华的 PI 和学生/博士后；学生/博士后去最有才华的 PI 和有资金的地方；PI 会去他们能找到有才华的学生/博士后和资金的地方。
大学被直接激励去最大限度地提高声望，因为他们从所有研究经费中的抽成（大得惊人）。行业研究实验室没有相同的激励结构。与其说维持一个有声望的实验室可以获利，不如说是为了防止顶级研究人员叛逃而付出了更多代价。Uber 人工智能实验室似乎完全是为了声望（自我？）而存在的，在 Dara Khosrowshahi 接替 Uber 创始人 Travis Kalanick 后被正式取消。
声望带来两个主要影响：在消费者领域树立积极的品牌形象，以及在纯研究和应用 ML 中更容易招聘。例如，几年前我在求职期间甚至没有考虑过申请 Apple，因为他们没有 ML 的相关工作！或许 Apple 没有招聘 ML 专家的原因是他们不需要 ML 专家——这是一个符合 Apple 成长理念的明智决定。但如果你确实需要雇佣几千名 ML 工程师，那么资助少数顶级 ML 研究人员作为一种声望游戏是有意义的。我相信，我的团队之所以存在，在一定程度上是为了一种声望。
将以声望为导向的研究作为一种招聘策略，在今天仍然有意义，但考虑到该行业正在集体削减招聘预算，声望支出也必然会减少。
MBA文化和“下金蛋的鹅”
Google 投资纯研究的另一个明显原因是，它已经取得并将继续取得突破性发现。
作为一个基本的“贡献表”，Brain 团队为 Google 贡献了 TensorFlow、TPU、显著改进的 Google Translate、JAX 和 Transformer。这些当初只是作为纯研究的项目，在今天产生了巨额的利润。如果我把任何一个条件放宽，这个列表将会更长，比如用于医学成像的 ML 项目和 AutoML 等。
Brain 团队随心所欲、自下而上、以研究人员为中心的文化可以说是产生这些突破的原因。由 Jeff Dean 来负责研究，正是因为他代表了这些理念。
相反，如果由追求短期利润最大化和效率提升等目标而忽略长期投资和创新的 MBA 们来控制，MBA 文化就会慢慢渗透，破坏公司的创新能力和长期价值，摧毁那些 “下金蛋的鹅”。因此，最好还是让研究人员自由发挥，等到他们获得成果后，再让管理人员介入进来。
随着时间的推移，两种趋势使 MBA 们获得更大的主动权。首先是经济上的原因：随着经济趋紧以及来自 OpenAI/VC 资助的 AI 初创公司的竞争加剧，Google 认为需要对其研究投资更加负责任和有方向性。另一个趋势是人们对 ML 能力的熟悉程度增加。在 ML 的早期，没有人知道它能做什么，研究人员有特许制定研究愿景。如今，思想领袖们随意地对 ML 如何以及在何处发挥作用发表意见，而 MBA 们觉得这是专家意见的可接受 “替代品”。其结果是减少了研究人员的自由，出现了更多自上而下的领导。
说一个有趣的事，Google 研究人员的晋升标准一度与外界对研究重要性的认可有关。如果由高级研究人员组成的 Google 宣传委员会甚至无法确定自己的研究是否很重要，那 MBA 们还有什么机会呢？
在不久的将来，我预计研究人员的晋升标准将转向交付的商业价值，而不是外界对研究影响的认可度。
今天，我在 LLM 研究者身上也看到了类似的情况，除了他们自己之外，没有人能够真正权威地发表有关 LLMs 能力的看法。即便如此，现在每个 LLM 研究者也都会感受到来自 MBA 们的压力，这在过去并不是这样的。
51%攻击
Google 资助开放式研究的另一个原因，是为了保持其在 ML 领域的领先地位。
十多年来，Google 在大规模系统编程方面一直处于行业领先地位。像 MapReduce、Spanner和 Zanzibar 这样的系统，解决了业界才刚刚开始意识到的问题，可行的对应替代方案，Hadoop、CockroachDB、AuthZed，则花了 5-10 年的时间才出现。
当 Google 开源 TensorFlow 时，很明显，他们依然站在行业顶端。这种早期的成功表明，Google 将能够通过慷慨地资助长期研究来保持领先于其竞争对手的地位。
不幸的是，这种早期的领先优势在短短几年内便失去了，PyTorch/Nvidia GPU 轻松超越了 TensorFlow/Google TPU。坦率地说，ML 过去是、现在仍然是新生事物，没有明显的技术门槛。AI 公司持续获得令人瞠目结舌的资金，ML 研究人员的数量在过去十年中增长了约 25%。在相对较短的 2 年内，我为了融入 Brain 团队，自学了足够多的 ML，其他许多人也是如此。没有公司，即使是 Google，能有足够的钱填满无底洞。
Google 在一个领域获得早期领先优势后，如 Transformers，也只有将该研究优势转化为产品后才真正有价值。Brain 最近的人才流失在很大程度上是由于内部认为 Google 在进行开创性研究而不是开发这些研究背后的应用潜力。ChatGPT 给 Brain 团队带来了大问题。
如果 Google 始终不打算将研究转化为产品，那内部押注于开放式研究是否有意义？Google 对 Anthropic AI 的 4 亿美元投资看起来很糟糕：Google 高管正在限制他们对外部研究小组的研究赌注。
催化剂理论
Brain 团队的一个不同寻常之处在于它的自由出版政策——Brain 在顶级 ML 会议上发表的文章常常超过所有高校。既然在开放式研究中投入了大量资金，为什么要免费赠送呢？主要原因是：1）声望；2）研究人员在辞职时可以带走这些知识；3）加速一个领域的发展。
催化剂理论是，通过发表与 Google 核心业务相关领域的关键研究，来帮助 Google 更好地发展。例如，Google 一直对更好的 NLP 感兴趣，2014 年的 seq2seq 和 2017 年的 Transformers 等重点研究的发表推动了整个 NLP 领域的发展。
Google 是少数几家同时拥有上亿消费者又有计算能力的公司之一，可以将 ML 部署扩大到 10 亿用户，因而可以从该领域的整体进步中受益。
在理想情况下，多花一些美元买一个更大的馅饼是有意义的，只要那些多出的馅饼能带来超过这些美元的价值。但现实是，明白竞争对手的馅饼增长了多少也很重要。OpenAI 与微软的合作证明，催化剂理论在 Google 几乎肯定是被摒弃的。
聘请费
最好的防御是更好的进攻，但拥有一批稳定的技术专家能够帮助自身快速了解和应对该领域的意外发展，这当然没有坏处。形势好时，专家可以专注于原创性研究，形势不好时，专家会被被要求做一些防御性项目。这看起来很合理，虽然这样做的风险是届时无法保证专家们是否真的会留下来。为了避免这样的事情发生，他们也可以选择将专家辞退。撇开讽刺不谈，Google 解雇我并没有错；事实上，我在 5 个月前就开始写这篇文章，这在当时是一个强烈的信号：我应该寻找新的工作。
如今，情况不妙。我预计 Google 将呼吁其研究人员集中精力研究 LLM，首先是通过激励方式，如果不行就采用惩罚方式。
技术傲慢
Brain 团队的许多开放式研究项目本质上都是跨学科的。如前所述，我的团队致力于嗅觉 ML，而 Brain 也在 ML 的医学成像、气象建模、神经元成像、DNA 变体调用、音乐和艺术、蛋白质注释以及我可能错过的更多方面取得了开创性进展。Brain 团队之外，也有很多成功案例，如 AlphaGo 和 AlphaFold。
毫无疑问，这些跨学科的努力已经取得了丰硕的成果。然而，两种相互抵消的趋势降低了 Google 继续资助这些努力的意愿。
首先是有关研究人员的问题。
没有什么比物理学家第一次接触一个新领域更烦人的了。另一方面，没有什么比领域专家学习物理（本文为 ML）更超然（transcendental）了。由于博士项目的漫长时间线，早期大多数机器学习研究人员都是自学成才，从其他领域跨越过来的。这为优秀的跨学科工作创造了条件。遗憾的是，大多数人错误地认为这是机器学习颠覆现有领域的固有属性。其实不是这样的。
如今，绝大多数新聘用的 ML 研究人员都是刚毕业的博士，他们只从 ML 的角度研究过问题。我反复看到，ML 博士学习化学比化学家学习机器学习要难得多。（这可能是幸存者偏差；我遇到的唯一化学家是那些成功学习了 ML 的人，而我经常看到 ML 研究人员在尝试学习化学，但都以失败告终。）无论如何，我预计之后的跨学科项目的质量和成功率会相应下降。即使 Google 高管不理解这种趋势的本质，他们也会注意到这一现象的发生。
第二个是，从商业角度来看，事实证明，外界学习 ML 比 Google 学习新的业务领域要容易得多。Google Health 便是一个最突出的例子，但我也已经看到这种模式在其他领域反复出现。我怀疑 DeepMind 的 Isomorphic 实验室能否走得更远。另一方面，像 Recursion Pharmaceuticals 和 Relay Therapeutics 这样由生物学和化学转向 ML 的公司都做得很好。跨学科 ML 突破的好处似乎流向了其他企业，并没有为 Google 的新业务线奠定坚实的基础。
Google DeepMind 成立
从哪里说起呢？我对此的想法很混乱，为了快速发布这篇博客文章，我将以项目符号列表的形式呈现它们……
Google 高管显然认为 DeepMind 品牌比 Brain 品牌更强大，或者 Demis 拒绝签署合并，除非保留 DeepMind 名称；
此次合并可能是更大重组的前奏；
合作双方都输了。我预计在接下来的几个月里会看到许多项目取消、项目合并和人员重新分配，以及人员减员；
由于要进行的项目越来越少，我预计会看到很多中层管理人员被裁员或离职；
由于 DeepMind 自上而下的文化与 Brain 自下而上的文化相互冲突，我预计会有很多动荡。动荡将使任何合并效率收益降至零，甚至低于零。
前方的路
尽管 Brain 通过其对开放式 ML 研究的早期资助创造了巨大的价值，但 Google 越来越明显地意识到，它不知道如何捕捉这种价值。Google 当然没有义务资助开放式研究，但如果它不在投资，这对研究人员和全世界来说，都是悲伤的一天。
在许多消费者和商业产品方面，Google 已经是一个后来者，似乎在 ML 研究方面也是如此。我希望 Google 至少在获得第二名方面表现得不错。在机器学习领域有很多的获胜者。（本文首发APP）
本文为编译文章，仅代表原作者个人观点。
标签：
