大模子创业太累，又一大牛决定重回大厂。

Yi Tay，曾是Reka AI联结独创东谈主，曾经是谷歌大模子PaLM、UL2、Flan-2、Bard的庞杂参与者。

本周是他回到谷歌的第一周，亦然他去职创业一年半之后，选拔纪念老身份的驱动。

他将继续担任谷歌DeepMind高档征询员，向谷歌大神、亦然他之前的雇主Quoc Le申诉。

纪念昔时这段创业资格，他暗意学到了好多，比如基础表率方面的学问、何如从新驱动梭巡大模子等等。

但与此同期，他也资格了一些不那么好的时刻：

公司费力筹集的一亿多好意思金，对于一个不到15个东谈主的团队仍然垂危，还差点卖身自救。

个东谈主层面，他的身心健康受到了很大影响。由于责任强度大和不健康的生存状态，他还长胖了15公斤。

为此他暗意：

烧毁舒心区并创业对我个东谈主来说真实很可怕。

大牛重回谷歌大厂

旧年三月末，他官宣去职谷歌参与创业RekaAI，并担任该公司的首席科学家。

在此之前，他在谷歌大脑责任了3.3年，参与诸多大模子的征询，撰写累计约45篇论文，其中16篇一作，包括UL2、U-PaLM、DSI、Synthesizer、Charformer和Long Range Arena等，约20次居品发布，妥妥大牛一位。

从时候角度上讲，他坦言学到了好多对于在谷歌没法学到的学问。

比如学会使用Pytorch/GPU 和其他外部基础表率，以资本最优的状态从新构建尽头好的模子。

为此他还在个东谈主网站上共享了联系告诫：梭巡模子的首要条目是取得策画智商，但这照旧由就或者买彩票。

并非总共硬件齐是同样的。不同算力提供商的集群质地互异尽头大，以致于要念念梭巡出好的模子需要付出多大的代价，这几乎便是在抽签。简而言之，LLM 期间的硬件彩票。这与在谷歌使用TPU比较，这些GPU的故障率让他大吃一惊。

此外他还吐槽外部代码库的质地远远落伍谷歌的质地，这些代码库对大领域编码器-解码器梭巡的援救尽头少。

但这种捏续遭遇问题捏续管制的告诫， 并非可怜反而很真谛真谛，而且最终凭借着自己时候实力也挺了过来。

在创业初期，他们的旗舰模子Reka Core在Lmsys初次亮相，贵金属交易就置身第7位，公司名次前五，驱散了对GPT-4早期版块的高出。

目下他们主要有四个模子，适用于不同的利用场景。

而确切“打倒”他驱使他去职的，是更为本质的原因。

就公司层面来说，行为初创企业，其资金、算力和东谈主力跟其他实验室比较齐要少得多。

就算他们分批筹集了一亿多好意思金，对于一个不到15东谈主的团队仍然不够。

本年5月Reka AI还被曝出卖身自救，Snowflake正就以逾越 10 亿好意思元收购Reka AI的事宜商酌。

不外目下来看，收购事宜还莫得谈成。在Yi Tay文告新动向后，他们庞杂发声，目下公司还在积极招东谈主ing。

而就他个东谈主来说，这是段尽头垂危的时期。尤其刚驱动创业的时候太太怀胎，他不得不同期兼顾双方，由此身心健康受到很大的毁伤。

而且由于高强度的责任和不健康的生存状态，他长胖了15公斤。

不外他我方曾经流露过我方有休眠破损。

种种原因，他决定重回谷歌，纪念到一个征询者的身份。

在初创企业宇宙探索了一年半之后，我决定纪念我的征询根基。

在共享资格的驱动，他写下了这么一句话。

回到谷歌之后，他将探索与大模子联系的征询标的，以高档征询员的身份，向大神Quoc Le申诉。

在博客的终末，他感谢了创业这段时刻长期策划的谷歌老一又友。

而且还挑升感谢了在新加坡同他共进晚餐的Jeff Dean，而且教唆他Google 很棒。（Doge）

谷歌老共事：接待回来

一些谷歌老共事在下面纷纷暗意：Welcome back！嗅觉像是过了十年。

值得一提的是，像这种大牛重返大厂并非个例。

本年8月谷歌以25亿好意思元打包带走了明星AI独角兽Character.AI的中枢时候团队，远高于Character.AI 10亿好意思元的估值。

其中包括两位独创东谈主——Transformer“孝顺最大”作家Noam Shazeer和Daniel De Freitas。其中Noam Shazeer出任Gemini联结时候驾御。

这么看起来，对于这些大牛来说，大模子创业如实不易，重返大厂如实是个可以的选拔，至少钱够算力够、安宽心心作念征询。

而跟着新一轮的洗牌期到来，更多时候大牛朝着科技巨头麇集，也已经初见线索。

参考伙同：

[1]https://x.com/YiTayML

[2]https://www.yitay.net/?author=636616684c5e64780328eece

[3]https://www.yitay.net/blog/training-great-llms-entirely-from-ground-zero-in-the-wilderness

[4]https://www.yitay.net/blog/leaving-google-brain

• 模子
• 创业
• 太累
• 大牛
• 淘回