值得信赖的区块链资讯!
王峰随笔:关于深度学习之父辛顿、诺贝尔奖和大科学家的好事多磨
更新/今天聊聊杰弗里.辛顿和诺贝尔物理学奖。顺便扯的远一点。
辛顿是人工智能领域没有争议的“深度学习之父”。他的根本贡献来自于深度学习中大量使用的反向传播算法理论。前年深秋,圣何塞,我第一次在油管上看见辛顿在接受采访时,就被吸引住了。辛顿的样子让人过目不忘。像极了《木偶奇遇记》中的比诺曹,尤其像的地方,是小木人的尖鼻子。那时候,全世界都知道了OpenAI和ChatGPT。但是除了AI圈,却少有人知道辛顿的名字。
我拿比诺曹开老爷子的玩笑。
一个天真充满好奇心的小木偶,一心想让自己成为真人。同样,辛顿一心想让人工智能成为现实,也一轮被嘲笑。熟悉计算机发展史的人应该知道,人工智能领域道路崎岖,技术投入几起几落,从业者一路被讥笑。你去看辛顿讲话的样子,那眼神和表情,有几分比诺曹的优雅。
诺贝尔颁奖通知电话从瑞典打来,是夜里两点。
斯德哥尔摩那边的电话里问。您在哪里?“我在加州一家便宜的酒店里,这里网络环境比较差。” 辛顿的回答有点囧。此时此刻,你得到物理学奖的感受。辛顿说以为是恶作剧开玩笑、然后用了一个词“dream amazing”,梦一样的惊讶。
“你怎样描述自己?
究竟是一名计算机科学家,还是一名尝试理解生物学的物理学家?”
辛顿并没有在两个简单选择中给出答案。
我这么多年的观察,凡是直接在人家给选择题中做答案的,都不是什么真正的强人。
无论学历有多高,都没有用。我们很多人非常习惯做题,一旦毕业后就进入失重状态,有一种漂浮无力感。因为人进入到一个阶段,不是做题,而是找路。现实中,绝大多数他人预设的初始问题,本身就往往是形而上学。何况人家也就是随便那么一问,没过太多大脑。路是自己走出来的。
辛顿说,自己是“一生都在思考人脑是怎样工作的的人。我在试图了解大脑是如何工作的时候找到了一种技术,效果出奇的好。”
这个回答非常漂亮。辛顿一生的努力和坚持,终让人工智能成为现实。年轻时,辛顿在剑桥大学求学,为了搞清楚人脑如何思考,试图同时主修物理学和生理学,一年后均放弃后,改学建筑,然后放弃。一年后居然又改修哲学,两年后和导师不合而放弃,最终得到实验心理学学士学位。然后,毕业即失业。
很多人不知道,辛顿毕业后居然干了一年木匠活。哈哈,前面的比诺曹埋到这里了。
直到听说有一个专业叫做人工智能。
辛顿果断去爱丁堡大学,拿到人工智能博士学位,毕业后去美国卡内基梅隆(CMU)任教,“惊讶于这里的人都在实验室。”辛顿曾抱怨,他在英国的圈子下班就只知道去咖啡馆。最初,辛顿说在CMU几乎没有什么校内交往,唯一交流的是美国另一所大学的教授,以及一位后来进入CMU的统计学专家,才可以一起讨论人工智能学术方向。找不到办法,找不到投缘AI的人,在最无聊的时光里,辛顿居然也去读俄罗斯作家陀思妥耶夫斯基的《罪与罚》。
辛顿于1986年发表反向传播算法(BP)理论。一言难尽,解释起来要花点功夫。一句话,BP提供了深度学习在大数据集上训练上的能力,无论是图像识别、语音识别还是自然语言处理,甚至能为今天十分流行的Transfomer大模型提供了未见数据场景的泛化能力。今天,OpenAI闭源的ChatGPT和Meta开源的LLaMA,开始为业界所熟悉,其实都是基于Transfomer架构上的。通过大量文本数据进行预训练。反向传播算法能够在此过程中调整模型中的参数,使得模型更好地捕捉到语言统计规律。
计算机专业大学课堂的机器学习教程,反向传播必然是重点章节。
我记得,七年前,我读过清华大学周志华教授所著的《机器学习》(因为封面有一个西瓜,圈中人称西瓜书)在其中一章“神经网络”中,有专门的小节讲解了“误差逆传播算法”,即通常我们所说的反向传播算法(BP算法)。这一算法是神经网络训练中的关键技术,用于通过“梯度下降法”更新网络权重,以最小化网络的预测误差。
相比较个人电脑、互联网、智能手机以及云计算等技术热潮,同样在计算机科学领域深耕的辛顿,和他追逐的人工智能梦,一连坐了三四十年的冷板凳。快七十岁的时候,辛顿看见全世界的人工智能都在用自己提出的深度学习算法。
熟悉辛顿的人一定知道,OpenAI前首席科学家Ilya Sutskever是他在多伦多大学执教时期的学生,算是关门弟子。辛顿很认可这个学生的知觉和工程能力。辛顿讲了一个故事,Ilya要给数学计算工具MatLab写一个API接口,以便于把他们团队整理复杂的数据格式一致。老师辛顿说我们别浪费研究时间,这个工作要耗费一个月时间,学生Ilya说我今天早晨已经写完了程序。2013年,Google收购了辛顿和Ilya共同创办的AI初创公司DNNresearch。应该说,这家公司是辛顿研究小组的衍生物,当时正在进行图像识别领域的机器学习研究,Google利用这项技术增强了照片搜索等功能 。
辛顿是英国人。
很多人说英国人不行了。英国人不是日不落帝国时期的那股子劲了。今年夏天我去英国转了一圈,伦敦的朋友提醒,小心飞车党。说说和辛顿有关的两所英国大学,你就知道我们不能自嗨。剑桥大学内,三一学院,仅仅在理论物理学研究中,这里走出了牛顿、麦克斯韦和霍金,几乎奠基夯实物理学三个重要时代。计算机领域,同样地,国王学院中除了我们知道的徐志摩,更走出了阿兰图灵和辛顿。图灵提出了著名的问题,如何测试机器有否智能?辛顿却用一生解决问题。2018年,辛顿和另外两位人工智能科学家一起拿到图灵奖。当年的图灵,何等天才级人物,却承受巨大精神痛苦,啃下一口涂抹氰化钾的苹果就走 了。今天,英国人开始把图灵的肖像印到50英磅纸币上。说回来,很多人对欧美人文化中三一没有概念,还以为和三一重工意思差不多。“三一”(Trinity)在基督教教义中指的是“三位一体”,即圣父、圣子、圣灵三位一体,其实是一个纯粹的神学概念。英国这些重点大学,除了教室、图书管就是教堂,神人频出。
辛顿在爱丁堡大学找到学术归宿。
爱丁堡太美。神秘的黑色中世纪风,也许会促使人思考源头和去向问题。电磁学之父麦克斯韦也是最早在爱丁堡学数学和物理的。一百年前,北大懂六门外语的辜鸿铭,上课头戴旧式礼帽手拿茶壶,几乎一人和五四革新派对立,他曾在爱丁堡读的哲学博士。我们那时的北大,从校内吵到校外,既容得下革命派,也能有辜老爷子这样的保守派。毛泽东在长沙师范读书时期的老师,杨昌济是爱丁堡大学哲学系毕业的,杨昌济十分喜欢毛,后来到北大,把女儿许配给他,给毛在图书馆安排工作。毛改变了中国,毛的思想启蒙来自于毕业于爱丁堡大学的杨昌济。
很多人说诺贝尔奖给计算机科学家物理学奖,有点不务正业了。其实,诺贝尔奖并不是第一次给计算机领域,之前有肖克利和贝尔实验室团队。1958年,因为发明晶体管获奖,他的贡献直接推动了计算机芯片技术。美国硅谷芯片行业的黄埔军校,应该首推肖克利实验室,因为科学家不善管理,内部分崩离析,先后出去创办了仙童去半导体和Intel,提出摩尔定律的摩尔,是他实验室的员工,也是著名的硅谷“八叛逆”之一。今天的英伟达和台积电,其实算是他们的徒孙辈。
科学家辛顿在Google工作了十年,做副总裁,最终离开。
并非意见不合,而是因为担心人类无法控制AI的风险而放弃在企业中的工作,从企业里离开,是为了可以自由地讨论人工智能的风险,而不被企业内政策限制,辛顿成为了一个人工智能领域的批评者。观察现代历史,我发现,真正的科学家,一旦进入商业和政治,总是充满爱恨情仇。同样的分歧,出现在Ilya和Altman之间,因为“天真”。请杠精们放过我,这里我的用词,乃是一个大大的褒义。二战期间,物理学家奥本海默帮助美国军方制造出原子弹,战争结束后,却一生都在反对继续氢弹。他发现,自己用技术改变了世界,但是这项技术在一部分人手里,随时能走向失控。奥本海默有很多科研成果,都能申请诺贝尔奖,但是诺贝尔奖怎么会给一个造原子弹的人。他生命的晚景是痛苦和孤寂的。和奥本海默一样,辛顿也是这样的担忧,他公开批评OpenAI对人工智能安全的漠视,是“资本主义的逐利性”。如果我们回头看看,一百多年前科幻作家乔治奥威尔的《时间机器》,就该知道,我们今天,已经是他们笔下的科幻世界了。但是,今天的人类还能够向前走到多远,为何失控、幻灭和拯救一直是科幻的主旋律?
如果我写科幻,第一个序章,就是因为两国大战,人类被核武器消灭,碳基生命消亡,藏于地下深处的硅基生物人利用光能源和算法,自我升级繁衍,统治地球。我们已经有的大数据,异化为硅基人血液和细胞。今天的地球文明成为星际史前。仅有少数人乘诺亚号去了火星,经过几代人的努力,准备打回故土。
觉得剧本俗套?我是凡人。
科学是人类文明阶梯以及跳跃演进中的核心组件,本无善恶。但是近代以后科学最早的应用对象,几乎先用于军事。
什么是“科学之心”?我不敢下断言。像辛顿这样的科学家不少。他们内心干净,好奇心强,专注一件事从不受外界干扰。我能感受到。大科学家,从对一件微小的事物好奇心驱使的探索之爱,最终走向对人类命运的关切之爱。顶尖思维只来自于一个字,爱。其间,常有悲情。
我们常说,好事多磨。
但是可能,大好事要磨尽一生。
比推快讯
更多 >>- Hyperliquid 最大 ETH 多头继续加仓,多头仓位增至 2.05 亿美元
- xAI 联合创始人 Jimmy Ba 离职,系吴宇怀后又一核心成员变动
- Arkham:易理华旗下 Trend Research 做多以太坊最终亏损 8.69 亿美元
- 美国零售销售数据疲软,市场预期美联储降息升温
- 英国央行启动分布式账本结算试点项目
- 策略师:美联储抗通胀战争接近终点,关税的通胀影响料在下半年逐渐消退
- 非农料出现有史以来最大的年度下修,美元指数预计在数据公布前维持震荡
- 黄金 XAUT 震荡中企稳,Gate 合约成交活跃度位居全网前三
- 数据:5698.91 万枚 POL 转入 FalconX,价值约 507.56 万美元
- 英国央行与多家公司合作进行分布式账本结算测试
- 比特币 ETF 资金流入放缓,基差收窄成主因
- CZ:早期离开 OKCoin 系文化和价值观不一致,入职仅 8 个月
- BNB 短时跌破 600 美元
- 分析:巨鲸近期增持 BTC 托底价格,但市场需求断层风险仍存
- 过去 4 小时全网爆仓 1.24 亿美元,其中 BTC 爆仓 4818 美元
- 比特币矿工进入投降阶段:生产成本倒挂,算力与股价双承压
- 香港证监会拟推出永续合约监管框架,仅限机构投资者参与
- 数据:755.55 万枚 TRX 从 Binance 转出,价值约 208 万美元
- 观点:加密行业投机时代或将终结,RWA 代币化将带来更稳健回报
- 数据:GMGN 聪明钱 24h 净流入榜,WhiteWhale 居首
- Renaiss 完成 Infinite Gacha 抽卡测试,日内交易量破 70 万美元
- 链上期权交易量创历史新高,借贷收益低迷或为主要推手
- 马来西亚央行将在 2026 年测试涉及林吉特稳定币和代币化存款的实际应用计划
- 过去 24 小时 CEX 净流出 1,533.33 枚 BTC
- 洲际交易所推出七只 CoinDesk 指数加密货币期货合约
- BTC 早期支持者 Erik Voorhees 花费 681 万美元买入 1382 枚 PAXG
- 美 CFTC 扩展加密及预测市场监管之际裁撤其“顶级执法”团队
- A 股数字货币概念午后异动,御银股份直线涨停,翠微股份、恒宝股份等跟涨
- 若比特币跌破 6.6 万美元,主流 CEX 累计多单清算强度将达 5.32 亿
- Sei Labs 联创 Jayendra Jog:稳定币收益模式极具潜力,将超越依赖交易手续费的收益模式
- 决战非农!白宫官员密集打预防针:5 万新增或属正常
- 日本金融厅发布《面向加密交易所的网络安全强化方针草案》并公开征求意见
- 高盛 Q4 大幅削减加密货币 ETF 持仓,比特币 ETF 减持近 40%
- Tom Lee:若 Mr. Beast 启动 IPO 并实现 100 倍增长,将使 BMNR 价格在当前基础上增长三倍
- LayerZero 发布 Zero 世界计算机架构引发热议,多位海外 KOL 称其为自以太坊以来最重要的区块链
- 数据:当前加密恐慌贪婪指数为 12,处于极度恐慌状态
- 数据,美国 XRP 现货 ETF 单日总净流入 326.24 万美元
- 韩国议员就虚假比特币转账事件质询 Bithumb CEO
- 数据:过去 1 小时 Binance 净流出 8,407.57 万 USDT
- 数据:35 枚 BTC 从匿名地址转入 Cumberland DRW,价值约 238.83 万美元
- 数据:BTC 跌破 68000 美元
- 研究员:预计 Coinbase 2025 年总收入约为 72 亿美元,Q4 收入环比下降 5%
- 支付巨头 Stripe 双线出击:x402 协议开启AI 代理付费时代,Tempo 链剑指全球支付
- 数据:监测到 3,000 万 USDT 转出 Binance
- 高盛第四季度减持比特币与以太坊现货 ETF
- Camp Network 上线首个基于授权 IP 构建的伦理智能体平台
- 链上股民黄金相关空单规模已达 4000 万美元,另以 3600 万做空 ETH 相对 SOL 汇率
- Galaxy Digital 向币安存入 245 枚 BTC,约合 1,691 万美元
- 某巨鲸向币安存入 2,500 枚 BTC,亏损约 31,650,000 美元
- 疑似 HYPE 上币内幕巨鲸 HYPE 多单浮亏扩大至 1370 万美元,清算线 26.15 美元
比推专栏
更多 >>- Was it finished?|0206 Asian
- 围猎以太坊多头:「巨鲸」们暴亏 70 亿美元,正被集体围观
- Challenge,risk And chances|0130 Asian
- Meta 豪赌 AI:砸钱 1350 亿美元,2026 的扎克伯格,值得相信么?
- Variables: Terrible snowstorm|0128 Asian
- 英特尔「生死线」时刻:在 ICU 门前,陈立武如何清算遗产并开启自救?
- 從1月13號到今天,提前到5100|0126Asian
- You Should work HARDER in 2026|0120 Asian
- 硅谷最聪明那群人的「终极推演」:2026,我们应该「All-In」什么?
- Notice us dollar index|0116 in us
观点
比推热门文章
- Hyperliquid 最大 ETH 多头继续加仓,多头仓位增至 2.05 亿美元
- xAI 联合创始人 Jimmy Ba 离职,系吴宇怀后又一核心成员变动
- Arkham:易理华旗下 Trend Research 做多以太坊最终亏损 8.69 亿美元
- 美国零售销售数据疲软,市场预期美联储降息升温
- 英国央行启动分布式账本结算试点项目
- 策略师:美联储抗通胀战争接近终点,关税的通胀影响料在下半年逐渐消退
- 非农料出现有史以来最大的年度下修,美元指数预计在数据公布前维持震荡
- 黄金 XAUT 震荡中企稳,Gate 合约成交活跃度位居全网前三
- 数据:5698.91 万枚 POL 转入 FalconX,价值约 507.56 万美元
- 英国央行与多家公司合作进行分布式账本结算测试
比推 APP



