
Dragonfly 合伙人:“不要信任,亲自验证”在去中心化推理中的应用
区块链和机器学习显然有很多共同之处。
编译:深潮 TechFlow
你想要运行一个像 Llama2–70B 这样的大型语言模型。如此庞大的模型需要超过 140GB 的内存,这意味着您无法在家用计算机上运行原始模型。那么你有哪些选择?你可能会转向云服务提供商,但你可能不太愿意信任一个单一的中心化公司来为你处理这个工作负载并收集你所有的使用数据。那么你需要的是去中心化推断,它可以让你运行机器学习模型而不依赖于任何单一的提供商。
信任问题
在去中心化网络中,仅仅运行模型并信任输出是不够的。假设我让网络使用 Llama2–70B 分析一个治理困境,我怎么知道它实际上没有使用 Llama2-13B,给我提供了更糟糕的分析,并将差额收入囊中?
在中心化的世界中,你可能会相信像 OpenAI 这样的公司是诚实的,因为它们的声誉受到了威胁(而且在某种程度上,LLM 的质量是不言而喻的)。但在去中心化的世界中,诚实并不是默认的,它需要经过验证。
这就是可验证推断发挥作用的地方。除了对查询提供响应之外,你还要证明它在你请求的模型上正确运行了。但是怎么做呢?
最简单的方法是将模型作为智能合约在链上运行。这肯定可以保证输出经过验证,但这是极其不切实际的。GPT-3 用一个维度为 12,288 的嵌入来表示单词。如果你在链上进行这个大小的单次矩阵乘法运算,根据当前的 Gas 价格,它将花费约 100 亿美元,这个计算将填满每一个区块大约一个月的时间。
所以,我们需要采取不同的方法。
观察了这个领域之后,我清楚地看到了三种主要的方法,用于解决可验证推断:零知识证明、乐观型欺诈证明和加密经济学。每种方法都有其自身的安全和成本影响。
1.零知识证明(ZK ML)
想象一下能够证明你运行了一个大型模型,但证明的大小实际上是固定的,不管模型有多大。这就是 ZK ML( 机器学习 ) 所承诺的,通过 ZK-SNARK 实现。
虽然原则上听起来很优雅,但将一个深度神经网络编译成零知识电路,然后证明它,是极其困难的。而且成本极高 ,至少,你可能会看到推断成本增加了 1000 倍,延迟增加了 1000 倍(生成证明的时间),更不用说在任何事情发生之前,将模型本身编译成电路。最终,这个成本必须转嫁给用户,因此对终端用户来说,这将变得非常昂贵。
另一方面,这是唯一一种在密码学上保证正确性的方法。使用 ZK,无论模型提供者多么努力,都无法作弊。但是这样做的成本很高,使得这对于可预见的未来的大型模型来说是不切实际的。
示例:EZKL, Modulus Labs, Giza
2.乐观型欺诈证明(Optimistic ML)
乐观的方法是相信,但要验证。我们假设推断是正确的,除非证明相反。如果一个节点试图作弊,“观察者”可以在网络中指出作弊者,并使用欺诈证明对其进行挑战。这些观察者必须随时观察链,并重新运行他们自己的模型以确保输出正确。
这些欺诈证明是 Truebit 风格的交互式挑战:响应游戏,在游戏中,你要反复在链上对模型执行轨迹进行分割,直到找到错误为止。
如果这确实发生了,那将是极其昂贵的,因为这些程序庞大且具有巨大的内部状态,一个单独的 GPT-3 推断成本约为 1 petaflop(10⁵ 浮点运算)。但是博弈论表明,这几乎不可能发生(欺诈证明在编码时也非常难以正确编写,因为在实际生产中几乎不会执行到这段代码)。
乐观的好处是,只要有一个诚实的观察者在关注,ML 就是安全的。成本比 ZK ML 便宜,但请记住,网络中的每个观察者都在重新运行每个查询。在平衡状态下,这意味着如果有 10 个观察者,那么安全成本必须转嫁给用户,所以他们将不得不支付超过 10 倍推断成本的费用(或者有多少观察者就支付多少)。
缺点是,与乐观型聚合技术一样,你必须等待挑战期结束,以确保响应已被验证。但是,根据网络参数的设置方式,你可能只需要等待几分钟而不是几天。
示例: Ora, Gensyn
3.加密经济学(Cryptoeconomic ML)
在这里,我们放弃所有花哨的技术,做简单的事情:权益加权投票。用户决定有多少节点应该运行他们的查询,它们各自透露他们的响应,如果响应之间有差异,那么奇怪的节点就会被砍掉。标准的预言机机制,这是一个更直接的方法,让用户设定他们想要的安全级别,平衡成本和信任。如果 Chainlink 在做 ML,这就是他们会采取的方式。
这里的延迟很快,你只需要每个节点的提交和揭示。如果这被写入到区块链中,那么从技术上讲,这可以在两个区块中发生。
然而,安全性是最弱的。如果大多数节点都愿意合作,那么它们可以理性地选择合谋。作为用户,你必须思考这些节点投入了多少,并且作弊会给他们带来多大的成本。也就是说,使用类似 Eigenlayer 的重新质押和可归因的安全性,网络可以在安全失败的情况下提供有效的保险。
但这个系统的好处是用户可以指定他们想要多少安全性。他们可以选择在他们的法定数量中有 3 个节点或 5 个节点,或者是网络中的每个节点。或者,如果他们想要冒险,他们甚至可以选择 n=1。这里的成本函数很简单:用户为他们的 quorum 中想要的法定数量支付费用。如果你选择了 3 个,你就要支付 3 倍的推断成本。
这里的棘手问题是:你能让 n=1 安全吗?在一个简单的实现中,一个孤立的节点应该每次都会作弊,如果没有人监督的话。但我怀疑,如果你加密查询并通过意向进行支付,你可能能够对节点隐瞒他们实际上是唯一回应这个任务的节点。在这种情况下,你可能可以向普通用户收取少于 2 倍推断成本的费用。
最终,加密经济学方法是最简单、最容易的,也可能是最便宜的,但从原则上讲,它是最不引人注目和最不安全的。但是一如既往,细节决定成败。
示例:Ritual 、Atoma Network
为什么可验证的 ML 很难
你可能会想,为什么我们还没有所有这些东西呢?毕竟,归根结底,ML 模型只是非常大的计算机程序。证明程序正确执行一直是区块链的核心。
这就是为什么这三种验证方法反映了区块链如何保护其区块空间的方式,ZK rollup 使用 ZK 证明,乐观型 rollup 使用欺诈证明,大多数 L1 区块链使用加密经济学。毫无疑问,我们最终会得出基本相同的解决方案。那么当应用于 ML 时,是什么使这变得困难?
ML 是独特的,因为 ML 计算通常被表示为密集的计算图,旨在在 GPU 上高效运行。它们不是为了被证明而设计的。因此,如果你想在 ZK 或乐观环境中证明 ML 计算,它们必须重新编译成可行的格式,这是非常复杂和昂贵的。
机器学习的第二个基本困难是非确定性。程序验证假设程序的输出是确定性的。但是,如果你在不同的 GPU 架构或 CUDA 版本上运行相同的模型,你会得到不同的输出。即使你强制每个节点使用相同的架构,你仍然会遇到算法中使用的随机性问题(扩散模型中的噪声,或者 LLM 中的代币抽样)。你可以通过控制随机数种子来修复这种随机性。但即使如此,你仍然会面临最后一个令人不安的问题:浮点运算中固有的非确定性。
几乎所有的 GPU 操作都是在浮点数上进行的。浮点数很难处理,因为它们不是可结合的——也就是说,对于浮点数来说,(a + b) + c 总是与 a + (b + c) 相同这种说法并不正确。由于 GPU 高度并行化,每次执行时加法或乘法的顺序可能会不同,这可能会导致输出中的小差异。这不太可能影响 LLM 的输出,因为单词的离散性质,但对于图像模型来说,可能会导致像素值微妙地不同,从而使两个图像不能完全匹配。
这意味着你要么需要避免使用浮点数,这会对性能造成巨大的打击,要么你需要在比较输出时允许一些灵活性。无论哪种方式,细节都很烦琐,你无法完全抽象出来。(这就是为什么以太坊虚拟机不支持浮点数,尽管一些区块链如 NEAR 支持浮点数的原因。)
简而言之,去中心化推理网络很难,因为所有的细节都很重要,而现实中的细节却出人意料地多。
总结
目前,区块链和机器学习显然有很多共同之处。其中一个是创造信任的技术,另一个则是迫切需要信任的技术。虽然去中心化推理的每种方法都有其自身的权衡,但我非常感兴趣地想看看企业家们如何利用这些工具来构建最好的网络。
比推快讯
更多 >>- CBOE 拟于 11 月 10 日推出比特币和以太坊连续期货合约
- 美国 2025 年非农就业基准变动初值-91.1 万人,预期-70 万人
- 韩国金融科技公司 Toss 拟从澳大利亚起步发行韩元稳定币
- 美财长:若特朗普关税被判非法,潜在关税退款规模或达 1 万亿美元
- 非农就业基准变动初值公布前,美联储 9 月降息 50 个基点概率为 9.9%
- 分析:美联储可能对 2026 年降息预期感到失望
- 纳斯达克上市公司 QMMM 拟建立加密货币财库,初始规模约为 1 亿美元
- 博雅互动:此前 4.4 亿港元配股计划中 90% 所得款项将用于购买比特币
- 区块链贷款机构 Figure 计划将其 IPO 规模扩大至 6.93 亿美元
- 美股开盘加密板块普涨,SOL Strategies 涨幅 31.18%
- 特朗普个人净资产过去 1 年增长 30 亿美元
- Coinbase 收购 Sensible 的创始人团队,以加速推进链上消费路线图
- 特朗普:美联储出问题了,需要整改
- Tether CEO:BTC、黄金和土地是抵御黑暗时期的对冲工具
- 鲸鱼 qianbaidu.eth 昨日买入的 43.1 万枚 HYPE 现已浮盈 250 万美元
- a16z 加密货币基金的投资开始获得回报,表现已优于其他基金
- USDC Treasury 在 Solana 链上新增铸造 2.5 亿枚 USDC
- Bitget Launchpool 项目 SWTCH 现已开放投入,锁仓 BGB、SWTCH 解锁 550 万枚 SWTCH
- Plasma 主网上线前招募三名高管,其中一位曾是 FTX 全球支付主管
- 汇丰银行和 BNP Paribas 加入隐私区块链 Canton 网络
- 狗狗币基金会旗下 House of Doge 宣布拟由 Bitstamp 托管 DOGE 财库资产
- 分析:比特币维持 10.8-11.2 万美元区间波动,多头期待降息和四季度反弹
- 彭博社:美共和党议员寻求对比特大陆和 Cango Inc. 进行审查
- Truth Social 和 Truth+拟允许用户将获得的“Gems”兑换成 CRO 代币
- 观点:比特币矿工正以 2023 年来创纪录速度大规模抛售 BTC
- 以太坊财库公司 FG Nexus 启动 2 亿美元股票回购计划
- 越南加密资产试点计划要求交易必须使用越南盾且对外资准入比例设限
- 特朗普媒体科技集团宣布 Truth Social 平台新增“编辑推文”功能
- 某实体 9 个月前出售 ETH 和 SOL 换仓 HYPE,现已跻身前五大持有者
- Kudotrade 分析师:通胀数据若走低将压制美国国债收益率曲线
- 消息人士:稳定币发行商 Figure 计划上调 IPO 发行规模和定价区间
- Dominari Holdings 披露持有超 2300 万股 ABTC 股票,市值约 1.7 亿美元
- 去中心化交易所 KaleidoSwap 完成 Pre-Seed 轮融资,Bitfinex Ventures 等参投
- 新任白宫加密货币顾问:建立美国联邦加密储备是优先工作事项之一
- 云锋金融:已获批准提供虚拟资产交易服务
- SharpLink:已开始执行 15 亿美元股份回购计划
- 美股上市 Solana 财库公司 Artelo Biosciences 完成 300 万美元配股募资
- ME 创始人郑华江任中国置业投资 RWA 业务 CEO,开展 RWA 及其相关业务
- Gemini 获纳斯达克 5,000 万美元投资,IPO 计划加速推进
- 币安发布官方公告警示虚假上币诈骗
- OKX Star:Boost 设计初衷是发现优质项目,不支持任何刷分行为
- 某聪明钱的 WLD 多单三天已浮盈 155 万美元
- 美股上市公司 Caliber 启动数字资产财库并完成首次 LINK 代币购买
- CookPump 首个 IDO 正式启动,平台迈入创新新阶段
- Ethena Labs:USDe 在币安的奖励机制将于 9 月底启动
- 伯恩斯坦:Robinhood 被纳入标普 500 后其股价将“跑赢大盘”
- Hyperscale Data 披露加密资产持仓:持有 11.1 枚比特币与 3.31 万枚 XRP
- BlackRock 向 Coinbase Prime 存入 4.48 万枚 ETH 和 900 枚 BTC,总值近 2.97 亿美元
- CFTC 代理主席:考虑将合规海外加密交易平台纳入美国跨境监管
- 日本上市公司 Convano 发行 1.392 亿美元债券用于购入比特币
比推专栏
更多 >>观点
比推热门文章
- 纳斯达克上市公司 QMMM 拟建立加密货币财库,初始规模约为 1 亿美元
- 博雅互动:此前 4.4 亿港元配股计划中 90% 所得款项将用于购买比特币
- 区块链贷款机构 Figure 计划将其 IPO 规模扩大至 6.93 亿美元
- 美股开盘加密板块普涨,SOL Strategies 涨幅 31.18%
- 特朗普个人净资产过去 1 年增长 30 亿美元
- Coinbase 收购 Sensible 的创始人团队,以加速推进链上消费路线图
- 特朗普:美联储出问题了,需要整改
- Tether CEO:BTC、黄金和土地是抵御黑暗时期的对冲工具
- 鲸鱼 qianbaidu.eth 昨日买入的 43.1 万枚 HYPE 现已浮盈 250 万美元
- a16z 加密货币基金的投资开始获得回报,表现已优于其他基金