
IOSG Weekly Brief|人工智能训练与推理技术栈:从硅到智能 #237
人工智能的迅猛发展基于复杂的基础设施。AI技术栈是一个由硬件和软件构成的分层架构,它是当前AI革命的支柱。在这里,我们将深入分析技术栈的主要层次,并阐述每个层次对AI开发和实施的贡献。最后,我们将反思掌握这些基础知识的重要性,特别是在评估加密货币与AI交叉领域的机会时,比如DePIN(去中心化物理基础设施)项目,例如GPU网络。
1.硬件层:硅基础
在最底层是硬件,它为人工智能提供物理计算能力。
CPU(中央处理器):是计算的基础处理器。它们擅长处理顺序任务,对于通用计算非常重要,包括数据预处理、小规模人工智能任务以及协调其他组件。
GPU(图形处理器):最初设计用于图形渲染,但因其能够同时执行大量简单计算而成为人工智能的重要组成部分。这种并行处理能力使GPU非常适合训练深度学习模型,没有GPU的发展,现代的GPT模型就无法实现。
AI加速器:专门为人工智能工作负载设计的芯片,它们针对常见的人工智能操作进行了优化,为训练和推理任务提供了高性能和高能效。
FPGA(可编程阵列逻辑):以其可重编程的特性提供灵活性。它们可以针对特定的人工智能任务进行优化,特别是在需要低延迟的推理场景中。
2. 底层软件:中间件
AI技术栈中的这一层至关重要,因为它构建了高级AI框架与底层硬件之间的桥梁。CUDA、ROCm、OneAPI和SNPE等技术加强了高级框架与特定硬件架构之间的联系,实现了性能的优化。
作为NVIDIA的专有软件层,CUDA是该公司在AI硬件市场崛起的基石。NVIDIA的领导地位不仅源于其硬件优势,更体现了其软件和生态系统集成的强大网络效应。
CUDA之所以具有如此大的影响力,是因为它深度融入了AI技术栈,并提供了一整套已成为该领域事实上标准的优化库。这个软件生态构建了一个强大的网络效应:精通CUDA的AI研究人员和开发者在训练过程中将其使用传播到学术界和产业界。
由此产生的良性循环强化了NVIDIA的市场领导地位,因为基于CUDA的工具和库生态系统对AI从业者来说变得越来越不可或缺。
这种软硬件的共生不仅巩固了NVIDIA在AI计算前沿的地位,还赋予了公司显著的定价能力,这在通常商品化的硬件市场中是罕见的。
CUDA的主导地位和其竞争对手的相对默默无闻可以归因于一系列因素,这些因素创造了显著的进入壁垒。NVIDIA在GPU加速计算领域的先发优势使CUDA能够在竞争对手站稳脚跟之前建立起强大的生态系统。尽管AMD和Intel等竞争对手拥有出色的硬件,但他们的软件层缺乏必要的库和工具,并且无法与现有技术栈无缝集成,这就是NVIDIA/CUDA与其他竞争对手之间存在巨大差距的原因。
3. 编译器:翻译者
TVM(张量虚拟机)、MLIR(多层中间表示)和PlaidML为跨多种硬件架构优化AI工作负载的挑战提供了不同的解决方案。
TVM源于华盛顿大学的研究,因其能够为各种设备(从高性能GPU到资源受限的边缘设备)优化深度学习模型而迅速获得关注。其优势在于端到端的优化流程,在推理场景中尤为有效。它完全抽象化了底层供应商和硬件的差异,使得推理工作负载能够在不同硬件上无缝运行,无论是NVIDIA设备还是到AMD、Intel等。
然而,在推理之外,情况变得更加复杂。AI训练的硬件可替代计算这一终极目标仍未解决。不过,在这方面有几个值得一提的倡议。
MLIR,Google的项目,采用了更基础的方法。通过为多个抽象级别提供统一的中间表示,它旨在简化整个编译器基础设施,以针对推理和训练用例。
PlaidML,现在由Intel领导,将自己定位为这场竞赛中的黑马。它专注于跨多种硬件架构(包括传统AI加速器之外的架构)的可移植性,展望了AI工作负载在各类计算平台上无缝运行的未来。
如果这些编译器中的任何一个能够很好地集成到技术栈中,不影响模型性能,也不需要开发人员进行任何额外修改,这极可能威胁到CUDA的护城河。然而,目前MLIR和PlaidML还不够成熟,也没有很好地集成到人工智能技术栈中,因此它们目前并不会对CUDA的领导地位有明显威胁。
4. 分布式计算:协调者
Ray和Horovod代表了AI领域分布式计算的两种不同方法,每种方法都解决了大规模AI应用中可扩展处理的关键需求。
由UC Berkeley的RISELab开发的Ray是一个通用分布式计算框架。它在灵活性方面表现出色,允许分配机器学习之外的各种类型的工作负载。Ray中基于actor的模型极大简化了Python代码的并行化过程,使其特别适用于强化学习和其他其他需要复杂及多样化工作流程的人工智能任务。
Horovod,最初由Uber设计,专注于深度学习的分布式实现。它为在多个GPU和服务器节点上扩展深度学习训练过程提供了一种简洁而高效的解决方案。Horovod的亮点在于它的用户友好性和对神经网络数据并行训练的优化,这使得它能够与TensorFlow、PyTorch等主流深度学习框架完美融合,让开发人员能够轻松地扩展他们的现有训练代码,而无需进行大量的代码修改。
5. 结束语:从加密货币角度
与现有AI栈的集成对于旨在构建分布式计算系统的DePin项目至关重要。这种集成确保了与当前AI工作流程和工具的兼容性,降低了采用的门槛。
在加密货币领域,目前的GPU网络,本质上是一个去中心化的GPU租赁平台,这标志着向更复杂的分布式AI基础设施迈出的初步步伐。这些平台更像是Airbnb式的市场,而不是作为分布式云来运作。尽管它们对某些应用有用,但这些平台还不足以支持真正的分布式训练,而这是推进大规模AI开发的关键需求。
像Ray和Horovod这样的当前分布式计算标准,并非为全球分布式网络设计,对于真正工作的去中心化网络,我们需要在这一层上开发另一个框架。一些怀疑论者甚至认为,由于Transformer模型在学习过程中需要密集的通信和全局函数的优化,它们与分布式训练方法不兼容。另一方面,乐观主义者正在尝试提出新的分布式计算框架,这些框架可以很好地与全球分布的硬件配合。Yotta就是试图解决这个问题的初创公司之一。
NeuroMesh更进一步。它以一种特别创新的方式重新设计了机器学习过程。通过使用预测编码网络(PCN)去寻找局部误差最小化的收敛,而不是直接去寻找全局损失函数的最优解,NeuroMesh解决了分布式AI训练的一个根本瓶颈。
这种方法不仅实现了前所未有的并行化,还使在消费级GPU硬件(如RTX 4090)上进行模型训练成为可能,从而使AI训练民主化。具体来说,4090 GPU的计算能力与H100相似,但由于带宽不足,在模型训练过程中它们未被充分利用。由于PCN降低了带宽的重要性,使得利用这些低端GPU成为可能,这可能会带来显著的成本节省和效率提升。
GenSyn,另一家雄心勃勃的加密AI初创公司,以构建一套编译器为目标。Gensyn的编译器允许任何类型的计算硬件无缝用于AI工作负载。打个比方,就像TVM对推理的作用一样,GenSyn正试图为模型训练构建类似的工具。
如果成功,它可以显著扩展去中心化AI计算网络的能力,通过高效利用各种硬件来处理更复杂和多样的AI任务。这个雄心勃勃的愿景,虽然由于跨多样化硬件架构优化的复杂性和高技术风险而具有挑战性,但如果他们能够执行这一愿景,克服诸如保持异构系统性能等障碍,这项技术可能会削弱CUDA和NVIDIA的护城河。
关于推理:Hyperbolic的方法,将可验证推理与异构计算资源的去中心化网络相结合,体现了相对务实的策略。通过利用TVM等编译器标准,Hyperbolic可以利用广泛的硬件配置,同时保持性能和可靠性。它可以聚合来自多个供应商的芯片(从NVIDIA到AMD、Intel等),包括消费级硬件和高性能硬件。
这些在加密AI交叉领域的发展预示着一个未来,AI计算可能变得更加分布式、高效和可访问。这些项目的成功不仅取决于它们的技术优势,还取决于它们与现有AI工作流程无缝集成的能力,以及解决AI从业者和企业实际关切的能力。
比推快讯
更多 >>- 策略师:金价已“升至我们认为不太适合投入更多资金的水平”
- 特朗普再提“第 51 个州” 加拿大总理称“保留不同意见”
- 美官员:与乌克兰会谈富有成效 但仍存重大分歧
- 美联储官员:若特朗普高额关税致失业率飙升,将支持降息
- 花旗集团预测到 2030 年稳定币供应量可能达到 3.7 万亿美元
- 美参议员Dave McCormick购入价值 25 万美元的 Bitwise 现货比特币 ETF
- 特朗普官方商店上架“Trump 2028”帽子,售价50美元
- Michael Saylor:贝莱德比特币 ETF 将在 10 年内成为全球规模最大的 ETF
- TD Cowen 维持 Strategy 550 美元的目标股价,预计到 2027 年底其BTC持仓价值或达 1290 亿美元
- Coinbase 将 ZORA 列入上币路线图
- Valereum 子公司将在萨尔瓦多推出 RWA 数字资产平台
- Inco 完成 500 万美元战略融资,a16z crypto CSX 领投
- Binance 调整 ALPACAUSDT U 本位永续合约资金费率结算频率
- 某鲸鱼沉寂 2 个月后从 Kraken 转出 27,411 枚 SOL,约合 411 万美元
- Placeholder 合伙人:交易者通过 TWAP 策略买入,比特币下跌不会持续太久
- Raydium 发文暗示或将进行空投
- 特朗普将接受《大西洋月刊》杂志主编杰弗里·戈德伯格的采访
- 数据:Solana 链上稳定币市值创历史新高,达到 128.83 亿美元
- 亚特兰大联储 GDPNow 模型预计美国第一季度 GDP 增速为-2.5%,此前预计为-2.2%
- 火币 HTX CIS 区 P2P 商务负责人 Tigran Akhunts:CEX 正加速演进,持续缩小与 DEX 的理念差距
- 赵长鹏:任何人可以通过 Reach.me 与我聊天,警惕有人以此诈骗
- 21Shares 在特拉华州注册 SUI ETF
- 美 SEC 延迟对灰度现货 Polkadot ETF 批复做出决定
- 数据:最近 24 小时全网爆仓 2.47 亿美元,多空双爆
- Cato Institute 高管:稳定币立法应保障金融隐私,防止过度监管
- 美联储官员吹降息风,美股盘中走高
- Ruya 成为全球首家支持比特币购买服务的伊斯兰银行
- Glassnode:比特币期货市场的资金费率转负,表明做空兴趣上升
- Glassnode:部分比特币短线持有者获利了结,尚未确认市场已完全转向看涨区域
- OpenAI:若有机会愿意收购 Google Chrome 浏览器
- Jonathan Brockmeier 出任 OKX 首席合规官,推动全球合规体系建设
- 纽约长岛男子因加密货币诈骗被判处 18 年监禁,涉案金额达 1200 万美元
- Polymarket 上预测美国经济年内陷入衰退的概率达 53%
- Frax Finance 拟进行 North Star 升级,FXS 将更名为 Frax 并作为 gas 代币
- TON 基金会任命 MoonPay 联创 Maximilian Crown 担任 CEO
- 美联储理事沃勒:随着失业率上升,降息或将开启
- 美股持续上扬,纳指现涨 1.55%
- Cumberland 已累计向 Coinbase 转入 2261 枚 BTC
- 数据:FLOCK 24 小时涨幅达 60.5%
- Sign:将于 24 小时后进行快照
- Cyvers Alerts:检测到 Zora 出现可疑交易,某攻击者窃取约 5500 枚 ZORA 代币
- 今日美国比特币 ETF 净流入 10611 枚 BTC,以太坊 ETF 净流出 18398 枚 ETH
- 美联储理事沃勒: 7 月之前不太可能会有明显的关税影响
- 交易员 Eugene:正在“激进”做多并关注山寨币是否重新上涨
- 塞尔维亚王储 Filip:比特币价格受抑制,未来预计将大幅上涨
- 慢雾余弦:ZKSync 被盗事件中,该链唯一排序器维护方曾介入干预黑客地址
- CZ:彭博社再次发文进行毫无证据的虚构攻击
- 美 SEC 加密工作组与 Ondo Finance 会面,探讨合规发行代币化证券方案
- 美 SEC 公布第三次加密工作组圆桌会议议程,Paul Atkins 将开幕致辞
- 芝商所宣布计划在 5 月 19 日推出 XRP 期货,待监管审查通过后生效
比推专栏
更多 >>观点
比推热门文章
- 策略师:金价已“升至我们认为不太适合投入更多资金的水平”
- 特朗普再提“第 51 个州” 加拿大总理称“保留不同意见”
- 美官员:与乌克兰会谈富有成效 但仍存重大分歧
- 美联储官员:若特朗普高额关税致失业率飙升,将支持降息
- 花旗集团预测到 2030 年稳定币供应量可能达到 3.7 万亿美元
- 美参议员Dave McCormick购入价值 25 万美元的 Bitwise 现货比特币 ETF
- 特朗普官方商店上架“Trump 2028”帽子,售价50美元
- Michael Saylor:贝莱德比特币 ETF 将在 10 年内成为全球规模最大的 ETF
- TD Cowen 维持 Strategy 550 美元的目标股价,预计到 2027 年底其BTC持仓价值或达 1290 亿美元
- Coinbase 将 ZORA 列入上币路线图