新闻资讯
云开体育NeRF 取代了图形学界沿用数十年的场景示意方法-开云官网kaiyun皇马赞助商 (中国)官方网站 登录入口


文|动点科技云开体育
作家|Steven
好意思东时代 9 月 28 日,AMD 在官网挂出新闻稿:以全股票方式收购宇宙模子公司 World Labs,走动价值约 82 亿好意思元,预测年底前完成,尚需监管批准。此为 AMD 史上第二大收购,仅次于 2022 年约 500 亿好意思元的赛灵想(Xilinx)并购。
李飞飞也发表了公开信《To Seek a Newer World》,开篇不谈钱,而是援用丁尼生勋爵长诗《尤利西斯》:“来吧,我的一又友们,目下去寻找一个更新的宇宙还不算太晚。” 走动完成后,她将出任 AMD 践诺副总裁兼首席科学家,凯旋向 CEO 苏姿丰申报,Justin Johnson 和 Ben Mildenhall 两位联创继续带队。
一个训诫机器集会图像,一个为机器提供缱绻的腹黑,两位在各自领域走到尖端的华东说念主女性,用一场广泛东说念主没预猜测的走动走到了一说念。故事要从三十多年前新泽西州一家干洗店讲起。
从干洗店到 ImageNet1992 年,16 岁的李飞飞随母亲从成王人飞抵好意思国新泽西州帕西帕尼,与两年前先行赴好意思的父亲会合。这个工程师家庭到好意思国后阶级霎时清零:一家三口挤在一居室里,居品从路边捡来,父亲靠修相机为生,母亲在杂货店收银,自后借钱盘下一家干洗店,生活才稳住。
她下学后到中餐馆端盘子,周末回家看店,自后考进普林斯顿读物理。周一到周五,她是校园里的高材生,周末仍是阿谁洗衣店的男儿。1999 年毕业时,华尔街递来的高薪公约没能留下她,她想酬报的问题长期没变:机器如何才能“看见”。2023 年,她把这段经历写进回忆录《我看见的宇宙》。
“2000 年,我如故别称刚刚进入这个领域的探讨生。” 在法例与标识系统主导 AI、广泛同业肯定手工想象特征的年代,她赌的是数据驱动这条冷道道路:用海量样本教机器看东西。这在那时被不少东说念主视为笨见地。她的实验室自后发起 ImageNet,众包标注 1400 多万张图片、秘密两万多个类别。2012 年,AlexNet 以断崖上风夺冠,识别失误率比第二名低出近十个百分点,图像数据、神经网罗与 GPU 三股力量就此汇合,点火当代 AI。尔后她任谷歌云 AI 首席科学家、从零组建团队,又成为斯坦福以东说念主为本东说念主工智能探讨院(HAI)调治独创院长。
现时沿探讨的要点从学界转向产业界,她判断要产生最深切的影响,只可下场“凯旋挑战最斗胆、最阻拦的时刻问题”。她自 2024 年 1 月起从斯坦福部分放假。同庚 4 月 16 日,World Labs 尚未亮相,她已在 TED 演讲中抛出空间智能,称今天的 AI 是“活在文本里的大脑”。次年 11 月 10 日,她又发表《From Words to Worlds》,把宇宙模子玄虚为生成性、多模态、可交互三种才调。从 ImageNet 到宇宙模子,两次押注是兼并个信念:智能始于感知。“这个天地并不是由文字组成的,而是由真实存在的事物组成的。”
四个把论文酿成产品的东说念主World Labs 2024 年头成立于帕罗奥图,现总部在旧金山。独创团队的阅历简直是三维生成时刻的一条家支。
Justin Johnson 是李飞飞在斯坦福亲身带出的博士,2019 年起任密歇根大学助理西宾并在 Meta FAIR(Meta 旗下的基础东说念主工智能探讨院)任看望科学家:及时格调转移论文是无数滤镜哄骗的起源,CLEVR (一个由浮浅几何体组成、专诚磨砺视觉推理才调的合成数据集)成为视觉讲话模子的尺度考卷,他亦然斯坦福明星课程 CS231n(缱绻机视觉与深度学习课程)的早期助教。
Ben Mildenhall 本科就读斯坦福,博士毕业于加州大学伯克利分校、师从光场相机 Lytro 独创东说念主 Ren Ng,后加入 Google Research。他是 2020 年 NeRF(神经辐照场)的第一作家:只给一组像片,这个模子就能渲染出相机从未到过的角度,论文获 ECCV(欧洲缱绻机视觉大会)理论证明与最好论文荣誉提名。ACM(海外缱绻机学会)在授予他 2025 年 Grace Murray Hopper 奖时评价,NeRF 取代了图形学界沿用数十年的场景示意方法。
Christoph Lassner 先后在 Meta Reality Labs 和 Epic Games 探讨高保真数字东说念主与及时渲染,他设备的可微渲染器 Pulsar(一种基于球体示意、渲染经过可求导并参与神经网罗锤真金不怕火的高效渲染器,后集成进 Meta 开源三维深度学习框架 PyTorch3D)被视为 3D 高斯泼溅(3DGS)的时刻前身,而高斯泼溅恰是今天 Atlas 的输出形式。尔后 Mildenhall 又作念出 MipNeRF、DreamFusion,把神经渲染一齐推向文生三维。
三东说念主的探讨在同少量汇合:从有限的二维不雅察中重建、生成并渲染委果的三维宇宙。几年后,这些散播在论文里的方法将在 Atlas 中汇成一个架构。按公司官网的说法,如今团队横跨探讨、工程、机器东说念主、产品、想象与生意,在前沿探讨和产品之间保管着详尽的反应回路。一个细节是,官网列出四位联创,公开信却只点名 Johnson 和 Mildenhall,而收购后继续带队的也恰是这两东说念主。
31 个月:一份独角兽速率表2024 年 9 月 13 日公司走出隐身情景,累计融资 2.3 亿好意思元、估值超 10 亿好意思元、团队约 20 东说念主,a16z、NEA、Radical Ventures 领投,英伟达 NVentures、Adobe Ventures 和 Marc Benioff 跟投。12 月 2 日,《Generating Worlds》展示“单图生成可导航三维场景”的原型。
钱到位之后,产品节律坐窝快了起来。2025 年 9 月 16 日,Marble 绽开有限测试。10 月 16 日,及时帧模子 RTFM 发布。11 月 12 日,Marble 全面绽开,成为公司第一个生意产品,裁剪器用 Chisel、Composer 同日落地。创意东说念主员无须懂三维建模,输入文字、图片或视频,就能获得一个不错走进去的立体场景。宇宙模子头一趟,从论文酿成了宽泛东说念主能上手的器用。亦然在这一年,一个自后买下整家公司的东说念主,提前走进了故事。
李飞飞回忆,前年双方运转围绕 AMD GPU 作念锤真金不怕火与推理优化,苏姿丰本东说念主“很早便是 World Labs 的投资东说念主”和“相等进击的一又友”。
本年 1 月 5 日两东说念主在 CES 同台,21 日 World API 公开。2 月 18 日 B 轮单轮融资 10 亿好意思元、累计约 12.3 亿好意思元,Autodesk 出资 2 亿好意思元(其史上最大初创投资)并任政策照应人,AMD、英伟达、富达、a16z 等参投。互为最大敌手的英伟达和 AMD,在这张激动名单上站到了一边。
这家想象软件巨头手抓建筑、工程与制造行业的巨大客户,等于为三维宇宙模子预留了产业出口。尔后 4 月 Marble 1.1,6 月提议渲染器、模拟器、主义器分类,7 月 21 日收购 SceniX、28 日提议 Real-to-Sim-to-Real 闭环,9 月 1 日发布 Atlas,近一个月后收购公告落地。从约 20 东说念主到约 70 东说念主(含 SceniX),用时 31 个月。
讲话模子预测词,Atlas 预测视角公开信对 Marble 等产品只字未提,时刻翰墨全部给了 Atlas。这款 9 月 1 日发布、目下只向部分协作伙伴早期绽开的“万能型宇宙模子”,把生成、重建、仿真三件事放进了兼并个模子,要处分的是缱绻机视觉的老难题,那便是寥落视角重建。说白了,只给你几张像片,就要收复出所有这个词三维空间:纯靠几何缱绻,像片一少就拼不出来。纯靠 AI 生成,又频频换个角度就泄露。Atlas 的作念法是把两者缝起来:让生成模子去脑补没拍到的部分,让几何缱绻守住结构不乱。
经由 Atlas 加持,输入 1 到 6 张图像,辅以东说念主工想象的录像机旅途就能生成视频。
李飞飞给了一个流传很广的类比:“就像大型讲话模子不错把柄一段文字预测下一个 Token,Atlas 不错把柄输入的二维图像,预测下一个不雅察视角。” 模子实足从零锤真金不怕火,收获逾越了专诚为这类任务想象的模子。讲话模子猜的是下一个词,Atlas 猜的则是你移动一步之后应该看到什么。猜得富余准,就证据模子心里还是有了这个空间的理论。演示里,手机围着街景拍大意 24 帧,就能重建出一个不错漫游的场景,输出高斯泼溅或点云,凯旋接进现存的制作器用。
对照她 6 月给出的分类:Marble 细致渲染,SceniX 与 R2S2R 细致仿真,Atlas 两样王人能作念,还浮现了往“主义器”走的好奇神往,也便是预测机器东说念主聘用某个行动之后会发生什么。她点名了三类起初要用的场景:机器东说念主的锤真金不怕火环境、治疗与文娱骨子生成、房地产和建筑想象的空间重建。她也承认,没拍到的地点终究是猜出来的,“看起来对”和“物理上真的对”之间,还隔着一段距离。
机器东说念主缺的不是躯壳,是锤真金不怕火场为什么作念宇宙模子的公司,非要买下一家机器东说念主公司?事理很朴素。教机器东说念主学一个行动,要是全在真机上练,又慢又贵又危机。让机械臂当着你的面摔一万次,莫得哪家公司耗得起。换成在仿真环境里练,又绕不开一说念叫 sim-to-real 的坎:造谣宇宙和真实宇宙总有眇小阔别,仿真里一处不起眼的物理过错,搬到真机上就会被放大成接连失败。是以行业简直缺的,不是机器东说念主的躯壳,而是能无穷量生成、减轻重来的高保真场景。
SceniX 不造机器东说念主,专作念这种高保真仿真,秘密交互数据生成、策略锤真金不怕火、性能评估和角落故障测试。SceniX 的三位联创各有专攻:李昀烛(Yunzhu Li)本科读北大,在 MIT 拿到博士学位,随后到斯坦福奴婢李飞飞作念博士后,如今是哥伦比亚大学缱绻机系助理西宾,此前曾在伊利诺伊大学任教。郑昌熙(Changxi Zheng)是哥大缱绻机科学副西宾、康奈尔大学博士,曾在维塔数码和腾讯从事视觉殊效与物理仿真。工程细致东说念主胡晓晨(Sonny Hu)先后在腾讯、亚马逊作念图像生成与缱绻机视觉。
两家公司的结缘颇有戏剧性。据李飞飞在那场 a16z 对谈中回忆,2025 年冬天 Marble 全面绽开前后,一个生分账户注册成了客户。她起始不知说念对方是谁,打电话昔日才发现,是我方在斯坦福的旧博后李昀烛创办的公司。双方越聊越以为互补,2026 年 7 月 21 日,协作酿成了收购。
一周后,World Labs 提议 Real-to-Sim-to-Real(从真实到仿真、再回到真实)的闭环:先把真实环境搬进仿真宇宙,在内部大界限锤真金不怕火机器东说念主,再把锤真金不怕火好的策略迁回真机考据。到 9 月 Atlas 发布,手机扫一圈就能生成带几何结构的三维场景,闭环最前端的“重建”步调也有了下降。李飞飞说,她想为设备者造一个“多元天地”:机器东说念主需要的每一个锤真金不怕火宇宙,王人不错被生成出来。
更大的船为什么是目下卖?李飞飞的论证很短:Atlas 已讲解道路可行,瓶颈不在算法。“咱们需要扩大界限、扩大影响范围,同期愈加接近硬件……要是婉曲专诚针对硬件的参加,AI 的后果和界限王人会受到为止,AI 也很难简直走出数字宇宙。” 宇宙模子锤真金不怕火以海量视频和三维数据为单元,推理要务及时渲染,一家约 70 东说念主的公司即便融到 12 亿好意思元,也难同期背负基础模子、算力设施与软硬协同。
两东说念主在 CES 2026 发布会现场
苏姿丰在官方新闻稿中的表态刚巧接住这份诉求:“成就下一代 AI 的缱绻平台,需要深刻集会模子将如何演进。” 从个东说念主早期投资、调治优化、CES 同台、B 轮入局到全资收购,她用两年完成靠拢。李飞飞则同意,并入 AMD 后继续作念绽开模子与平台、端到端买通硬件软件模子与数据,建一家“能存在数十年”的前沿探讨组织。她的畴昔清单上有药物研发、东说念主类创造力、学习方式和下一代机器东说念主。
洪志很满,但公开信息里也摆着几行让东说念主平稳的数字。评测基准 What-If World 本年用 319 组配对教导考了九个视频生成模子:在“改革一个物理变量会发生什么”的题目上,最英雄也惟有 51.7%,和抛硬币差未几。World Labs 我方则从未知道营收或客户界限,82 亿好意思元的买价里,简直找不到当期收入作念锚点。
公告本日,苏姿丰转发了这封公开信,配图是两东说念主在签约桌前浅笑的合影。李飞飞说我方此刻感受到的是“深深的暖热、谢忱和但愿”。诗里的尤利西斯驾旧船再度远航,李飞飞取舍登上一艘更大的船,把航路并入一家芯片公司的幅员。“某种道理上,我昔日所有这个词处事生活王人在走向这一刻。” 她用 26 年让机器学会“看见”,用 31 个月讲解机器不错“生成宇宙”,接下来要让这些宇宙跑进机器东说念主的躯壳里。
新宇宙还没建成,船还是离岸。
— END —云开体育
