
虚拟头显的未来?脑机接口在AR/VR中的应用方式
几周前,苹果为我们展示了如今最高质量的混合现实设备——Vision Pro。它采用手指和眼睛控制界面,给人留下了深刻的印象。
然而,在它宣布发布几个月前,我遇到了一件更让人震惊的事情。我只需要把夹子夹在耳朵上,然后头上戴着一圈带有橡胶尖端传感器的装置,同时佩戴一个面罩就能够通过虚拟现实看到自己的脑电波,并且只需微小地运动面部肌肉,就可以在虚拟环境中移动物体。这是我试用OpenBCI的Galea设备的体验。
虚拟现实和增强现实的未来正在稳步发展,但我们投入的时间与精力还不够。目前,该领域正在从使用物理控制器转向手部和眼部追踪技术。然而,更深层次、与神经技术相关的可能性也在等着我们去探索。
我甚至不知道如何描述我尝试Galea头显的经历,因为它是一个探索未来发展的平台。而且,就我在神经技术方面的经验来说,还只是处于初级阶段。
OpenBCI是一家位于布鲁克林的公司,专注于研发非侵入性脑-计算机接口技术的研究工具。他们将自己的感知系统应用于一款名为Galea的混合现实头戴式耳机,并计划在今年晚些时候推出。
在OpenBCI位于布鲁克林的办公室,我有机会尝试了Galea的原型版本。我对于脑机接口在虚拟现实和增强现实中的应用方式非常好奇,同时也思考着与计算机交互的未来可能会带来怎样的变革。
脑电图(EEG)用于测量大脑信号的电活动。OpenBCI使用带有橡胶头的传感器连接头皮,类似于我在2021年试用过的NextMind硬件。这些电极在干燥的情况下工作良好,但需要避免太多的头发以确保良好的信号接收。
理论上,你甚至可以做出非常微小的运动,更像是简单的神经冲动。Meta公司也正在开发适用于未来头戴式设备的肌电图技术手环,但该手环仅通过手腕测量手指和手的运动,而OpenBCI的传感器则专注于面部区域。
皮肤电活动(EDA),即皮肤汗液的电测量,通常用于检测出汗情况。例如,Fitbit将自己的EDA传感器集成到Fitbit Sense智能手表中,用于测量压力水平。OpenBCI的EDA传感器位于头戴式耳机的前额部分。
光电容积描记法(PPG)是一种光学心率感应技术,类似于大多数智能手表上已有的功能。在最终的Galea头戴式耳机上,PPG也是在额头上进行测量。但在我的演示中,我佩戴了耳夹以进行PPG测量。
这个传感器阵列与现有的虚拟现实和增强现实头戴式设备Varjo XR-3(或更低成本的Varjo Aero)结合,并通过连接到计算机来运行软件和分析数据。
Varjo的高分辨率显示和透视视频混合现实功能为OpenBCI的传感器在虚拟现实和增强现实场景中提供了许多软件可能性。但OpenBCI的传感器阵列可以独立于虚拟现实头显工作,也可以与其他设备连接使用。
苹果的Vision Pro也可能成为OpenBCI的理想平台,因为它具备强大的处理能力和独立功能。根据OpenBCI的首席执行官兼联合创始人Conor Russomanno的观点,开发类似于Vision Pro或未来的增强现实和虚拟现实平台是完全可行的。他将苹果最近的动态视为对计算机领域混合现实的重要关注,这与OpenBCI对于这一机遇的看法不谋而合。
OpenBCI的感知阵列可以同时追求多个目标。它不仅仅关注于一个特定目标,而是通过系统的传感器促进研究,并为与计算机的交互打开新的可能性。
最近,OpenBCI与患有脊髓性肌萎缩症的黑客Christian Beyerlein合作,他利用OpenBCI的感知阵列通过面部肌肉脉冲控制了一架无人机。这次在TED演讲中的演示展示了脑机接口如何为辅助功能和对虚拟现实技术的控制打开新的途径。
我的演示包括一个基于肌电图(EMG)控制的游戏,名为《猫咪奔跑者》(Cat Runner)。我通过微小的面部肌肉运动将卡通角色左右移动,这些运动被Galea面罩中的EMG传感器所识别。
这款游戏与Meta一直在使用的神经输入手环技术演示相似,我去年秋季在Meta的雷德蒙德现实实验室总部见到过。然而,Meta关注手腕上的运动感知,而OpenBCI的Russomanno认为将传感器放在头部会有更好的机会,因为这样不会干扰现有基于摄像头的手部跟踪工作。
肌电图(EMG)技术旨在感知微弱的电信号,以至于几乎没有肌肉运动。然而,传感器、算法和人体输入之间的这种关系需要一些时间来精细调试。OpenBCI的多种类型传感器可以提供大量数据,这些数据可以指示未来的研究方向或新的接口。
它们还可以提供有关使用虚拟现实(VR)和增强现实(AR)对大脑或注意力的影响的反馈。此前已经进行过使用VR头显上的传感器研究认知过程的尝试,其中包括具有心率传感器的HP Omnicept,或者支持眼动追踪的头显。
另一个基于脑电图(EEG)传感器的演示是创建了一个冥想的“共感房间”,在这个房间中,我的不同脑波状态转化为周围环境灯光的不同颜色。我的脑波似乎改变了我所看到的颜色。于是我开始尝试通过特定的注意方式来呈现出不同的颜色。
这似乎是有效的吗?OpenBCI许多传感器的关键功能,最终它们可以被用来训练和改善我们通过自身的神经脉冲来控制事物的能力。
Russomanno认为Beyerlain利用肌电图控制无人机,通过将系统扩展到他自己的大脑和身体功能上,展示了神经反馈将如何改变我们与计算机的交互方式,就像人工智能一样。"这并不是说人工智能没有用处,只是它并非唯一的解决方案,也不是能够改变世界的唯一圣杯。"
Russomanno表示,“实际上,我们还看重神经反馈、极其智能的用户界面和设计,这些优化反馈循环的其他方向。利用技术让计算机更好地教导人类是我们即将经历的另一个令人激动的革命。”
这让我想起智能手表技术的发展轨迹,光学心率传感器逐渐打开了数据流,随后手表上出现了新的健康功能。Fitbit在其Sense手表上添加了多个新的传感器,其中还包括EDA压力传感器。
Russomanno确信OpenBCI的Galea以及类似的努力将开启通往未来可穿戴传感器的全新道路,使其与我们所看、所听和我们的双手互动的事物建立接口连接。他认为更好的独立虚拟现实(VR)和增强现实(AR)头显的到来,包括苹果的头显,将打开通往新输入和外围设备的途径。“直到这些头显问世并且人们开始构建双向应用程序,我们才能真正知道。”
Russomanno在我们演示几个月后通过视频聊天对我说:"在这些头显问世之前,我们还无法知道人们开始构建双向应用。"Russomanno指的是即将推出的更先进的增强现实和混合现实设备。“AR头显的炫酷之处在于它拥有你想了解有关本地环境的任何外部世界传感器。而我们所做的是内部世界。当将这两个数据集结合在一起时,我们仍然不知道会有什么可能性。”
尽管Russomanno将神经反馈与人工智能进行了比较,但我也认为二者是相互关联的。人工智能需要数据集才能发挥其魔力;未来的感知技术系统也是如此。随着神经技术的发展,人工智能与之共同进化的可能性也在不断增加。
OpenBCI的Galea实际上是一款虚拟现实(VR)和增强现实(AR)头显,但它与Varjo硬件的接口只是其中的一部分。这个传感器阵列也可以单独使用。当我想到未来的可穿戴设备最终可以与我们身上的其他可穿戴设备进行交互时,这更加引起了我的兴趣。
在这个世界里,我们的日常互动有可能通过更先进的传感器得到增强。虽然那样的未来还遥远,但OpenBCI在Galea中所组装的传感器似乎正在为这个未来奠定基础。
目前说服人们相信虚拟现实、增强现实和可穿戴视觉技术的价值仍然具有挑战性。但改进我们最终与空间计算或现实世界进行接口连接的方式,可能是让虚拟现实/增强现实进化为更有意义甚至更具冲击力形式的答案之一。个人技术正在与我们的感官和大脑建立更紧密的关系,但据我所见,我们甚至还没有真正开始迈向那个未来。
原文由Scott Stein撰写,中文内容由元宇宙之心(MetaverseHub)团队编译,如需转载请联系我们。
比推快讯
更多 >>- BitMEX 已上线 PUMP/USDT 永续合约,最高支持 50 倍杠杆
- 机构:欧美贸易谈判临近关键期,若谈不成或再度延期
- 迪拜公司 Terra Nexus 与 Sinohydro Bureau 6 Co., Ltd.签署谅解备忘录,推动 RWA 代币 WFCA 进入商业化阶段
- Paypal 计划将 PYUSD 稳定币扩展到 Arbitrum 链
- 韩国负责全民健保的健保公团财政部门组长盗用 46 亿韩元公款,参与加密合约交易几乎亏光
- Hyperion 公布 RION 代币经济学:空投占 5%、流动性激励占 30%
- WLFI 代币可交易提案还有 10 小时结束,目前赞成票数比例达 99.94%
- 蓝港互动宣布成立 LK Crypto 事业部,统筹其 Web3 及 RWA 领域整体战略与资产配置
- Sui 生态头部 DEX Turbos Finance 创下日内 4700 万美元历史最高交易量
- SoSoValue(SOSO)即将上线 Kraken
- Matrixport:美国加密周热度升温,以太坊上涨却由亚洲主导
- 德商银行:降息预期叠加特朗普施压,美元反弹可能有限
- 瑞典的消费类公司 Refine Group AB 推出 BTC 储备战略,计划筹集 1000 万瑞典克朗购买比特币
- 某鲸鱼同时加仓 40 倍比特币空单和 20 倍 SOL 多单,近 24 小时浮亏 215 万美元
- 交易员削减了英国央行的降息押注,预计今年将降息 49 个基点
- 美议员爆料称美联储主席鲍威尔即将被解职
- Arthur Hayes:“以太季”到了,DeFi 和 NFT 将受益
- Pudgy Penguins 宣布与中国潮玩公司 Suplay 达成合作
- ZachXBT:BigONE 曾处理大量诈骗相关交易
- Binance CEO:富达、贝莱德等机构都已从加密怀疑论者转为信徒
- 分析师:ETH 走强或预示 BTC 市占率触顶,市场资金正流入以太坊和山寨币
- 港股加密货币概念股涨幅扩大,蓝港互动涨超 21%
- CryptoQuant 分析师:当前市场未出现顶部信号,比特币或仍有上行空间
- 加密穿戴龙头 CUDIS 项目代币 6 小时最高涨幅达 50%,现报 0.072 美元
- The Smarter Web Company 增持 325 枚比特币,总持仓量升至 1600 枚
- Trend Research 于 15 分钟前向币安充值 1165 枚 ETH,约合 366 万美元
- 分析:稳定币创造美债投资需求只是附带效应,未来或可在香港支付学费
- BigONE 黑客已将价值超 2700 万美元被盗资产兑换为 BTC、TRX 等代币
- 某钱包沉寂 6 年后将 1042 枚 BTC 转移至新建钱包
- SunPump × 币安 Alpha 交易狂欢赛重磅开启
- 某鲸鱼 5 小时前清仓 12.5 亿枚 PUMP,获利达 341.6 万美元
- 分析:Solana 生态步入 2025“超周期”,收入占全链 46%
- 数据:Q2 市场份额前四 CEX 为币安、OKX、Bybit、Bitget
- BigONE:系统正在恢复中,交易与充值功能将数小时内恢复,承诺全额赔偿用户损失
- 安全机构:BigONE 交易所遭供应链攻击 损失超 2700 万美元
- 加密恐慌与贪婪指数降至 70,市场贪婪情绪小幅降温
- Binance Alpha 昨日交易量 3.9257 亿美元,BR、KOGE 位居前列
- 以太坊市值超过强生公司,全球资产市值排名升至第 30 位
- 上海市新增 5 款生成式 AI 服务,累计登记数量达 100 款
- James Wynn:比特币或将于 7 月底涨至 14.5 万美元,山寨币牛市即将开启
- Backpack:向所有在 S2 拥有段位的用户空投不同数量的 ES 代币
- Bitget 第 12 期合约商城开放不限额兑换,凭积分兑换 USDT 或爱马仕等
- 贝莱德:美国 CPI 显示关税正逐步推高物价,大部分影响还未到来
- 以太坊现货 ETF 昨日总净流入 1.92 亿美元,持续 8 日净流入
- 港股上市公司九方智投拟配股募资 7.46 亿港元投资稳定币运营主体
- James Wynn:比特币本月或触及短期高点,接下来 1-2 个月为山寨季
- Coinbase 每年花费逾 600 万美元保护其 CEO ,误将龙舌兰酒当作炸弹
- 数据:澳大利亚 Monochrome 现货比特币 ETF 的 BTC 持仓升至 941 枚
- 分析:比特币基本面强劲,短期难现深度回调
- 西班牙咖啡连锁品牌 Vanadi Coffee 增持 6 枚比特币,目前共持有 70 枚
比推专栏
更多 >>观点
比推热门文章
- 迪拜公司 Terra Nexus 与 Sinohydro Bureau 6 Co., Ltd.签署谅解备忘录,推动 RWA 代币 WFCA 进入商业化阶段
- Paypal 计划将 PYUSD 稳定币扩展到 Arbitrum 链
- 韩国负责全民健保的健保公团财政部门组长盗用 46 亿韩元公款,参与加密合约交易几乎亏光
- Hyperion 公布 RION 代币经济学:空投占 5%、流动性激励占 30%
- WLFI 代币可交易提案还有 10 小时结束,目前赞成票数比例达 99.94%
- 蓝港互动宣布成立 LK Crypto 事业部,统筹其 Web3 及 RWA 领域整体战略与资产配置
- Sui 生态头部 DEX Turbos Finance 创下日内 4700 万美元历史最高交易量
- SoSoValue(SOSO)即将上线 Kraken
- Matrixport:美国加密周热度升温,以太坊上涨却由亚洲主导
- 德商银行:降息预期叠加特朗普施压,美元反弹可能有限