千机游戏提供最新游戏下载和手游攻略!

【GDC 2024】Meta举办开发者峰会,分享MR、触觉反馈和追踪方面的经验和技能峰会的原型是什么

发布时间:2024-07-06浏览:11

读日报是个好习惯

Meta Quest 浏览器正在测试插件功能

近日,Meta Quest浏览器迎来32.1版本更新并带来了浏览器扩展等功能。

公告称,“浏览器扩展程序允许您通过添加适合您的需求和偏好的功能来自定义浏览器。它们可能允许您管理密码和登录信息、改善购物体验或改变您管理标签和书签等浏览器功能的方式。”目前,浏览器扩展程序仍处于测试阶段,密码插件 LastPass 是其首个可供安装的工具。

除了浏览器扩展之外,新版本还带来了“新窗口”功能,让用户可以更加便捷地打开多个窗口。

在过去的几个月里,Meta Quest浏览器进行了密集的更新,相继实现了在沉浸式应用中使用浏览器、支持WebGPU、在WebXR内容中启用身体追踪等功能。

IDC:混合现实的兴起将推动2024年VR/AR出货量激增44.2%

根据IDC最近的一份报告,尽管2023年全球VR/AR头戴设备的出货量下降了23.5%,但2024年将是复苏的一年,VR/AR出货量预计将激增44.2%,达到970万台。

预计至2028年底,随着消费群体逐渐超越核心游戏使用场景,以及企业出于培训、设计等因素考虑而采用更多VR头戴设备,VR头戴设备的销量将达到2470万台,五年复合增长率(CAGR)为29.2%;与此同时,AR头戴设备将从2024年的不到100万台增至2028年的1090万台,同期的复合年增长率为87.1%。

图片来源:IDC

IDC 认为,Vision Pro 等新头戴式设备以及年底前推出的其他产品将有助于市场增长。

IDC 移动和消费者研究经理 Jitesh Ubrani 表示:“Apple 推出 Vision Pro 吸引了众多媒体关注,提高了人们对 VR 和 AR 的认识。尽管它的价格超出了大多数人的承受范围,但它帮助提高了竞争对手的门槛。与 Apple 一样,许多像 Meta 这样的公司已经开始寻找自己的出路,从 VR 过渡到 MR,最终为真正的 AR 体验奠定了基础。”

IDC VR/AR项目研究总监Ramon T. Llamas补充道:“苹果通过Vision Pro为MR带来了曙光。接下来,我们可以观察企业如何越来越多地采用人工智能来分析数据并为用户生成虚拟内容。显示技术将从内容消费领域转向更复杂的传感器/显示器内容交互领域。”

Meta 向虚幻引擎开发者展示新的 MR 演示项目 Phanto

Meta 为虚幻引擎开发者发布了一个 MR 项目演示《Phanto》,这是 Unity 项目向虚幻引擎 5.3 的开源移植。该项目演示了如何结合 Presence 平台的场景网格、穿透和深度应用程序接口 (Depth API) 等功能来创建动作丰富的 MR 游戏。《Phanto》的大部分功能都是通过虚幻引擎蓝图实现的。

图片来源:Meta

Phanto 是一款 MR 游戏,游戏中的幽灵敌人会试图用外星粘液填满玩家的房间。玩家必须使用特殊装备清除粘液并消灭敌人。该演示进一步展示了 Meta 与虚幻引擎交互的能力:

此外,虚幻引擎的 Phanto 使用 Application Spacewarp 来改善延迟和性能,并使用 Depth API 来创建逼真的 Soft Occlusion。这些功能无缝集成到游戏代码中。该应用程序的完整源代码可在 GitHub 上找到。

Varjo 与 FORCE Technology 合作开展海上培训

据了解,海事模拟公司FORCE Technology与工业级VR/AR硬件制造商Varjo签署战略框架协议,共同开发海事XR训练系统。

图片来源:smartmaritimenetwork

此次合作旨在提供一种紧凑、便携、沉浸式的系统,可以更轻松地进行海事培训,使有效的培训从教室到船舶更贴近需求点。

FORCE Technology 模拟、港口和培训总监 Jan Michelsen 表示:“新款 Varjo XR-4 系列耳机与我们的软件和模拟专业知识相结合,将使这款 XR 解决方案改变游戏规则,提供业内前所未有的培训模式,具有更大的灵活性和更低的成本。”

对话Panamorph CEO:通过瞳孔调制技术提高画质并降低成本

Panamorph 以其电影镜头而闻名,但几十年来也活跃于虚拟现实显示技术领域。

最近,Panamorph开发了一种新的VR头戴式设备设计,该设计采用所谓的出瞳调制(EPM)技术,以更低功耗提供更高的图像质量,同时通过使用LCD面板降低头戴式设备的成本。

为了解更多信息,Display Daily 的 Chris Chinnock 采访了 Panamorph 首席执行官 Shawn Kelly。以下是对话内容(根据原文,略作修改):

克里斯·钦诺克(Chris Chinnock):为什么瞳孔调节对于 VR 显示行业来说是一个如此重要的发展?

肖恩·凯利 (Shawn Kelly):主要有两个原因:首先,EPM 意味着 VR 头戴式设备可以提供比当前产品更高的对比度和清晰度,同时功耗(和冷却要求)要低得多。

它使业界更接近于提供轻量级耳机,其图像质量与桌面显示器相似,而不会损害 3D 沉浸式成像体验。其次,EPM 使低成本 LCD 技术能够胜过 OLED 和其他更昂贵的发光显示器。因此,EPM 提供的耳机性能远高于 OLED,但成本却低得多。

克里斯·钦诺克:我们首先总结一下瞳孔调节的基本原理。

Shawn Kelly:EPM将VR头戴设备原有的LCD背光替换为位于LCD面板后方某个折叠距离处的LED光源阵列,这样每个LED光源都可以充分照亮整个LCD面板,同时还能将完整的LED阵列成像,形成位于用户眼球处的光学系统出瞳。这意味着通过关闭阵列中的LED光源,可以即时定制出瞳的大小甚至形状。通过关闭阵列外围越来越多的LED,出瞳会变得更小。重要的是,一旦出瞳小于用户的眼睛瞳孔,虚拟图像的对比度、清晰度和景深就会大幅提升,而照亮显示器的整体功率则会大幅下降。

克里斯·钦诺克:这基本上就像使用机械光圈来降低相机镜头的清晰度和景深吗?

肖恩·凯利:完全相同,EPM 不会像机械光圈那样吸收不需要的光线,它只是关闭光圈开口外的光线,这样您就可以获得缩小光圈的性能优势,同时减少进入放大镜的总光量。

克里斯·钦诺克:但是,大的出射光瞳(换句话说,大的眼区)难道不是 VR 头戴设备的重要特征吗?

Shawn Kelly:出瞳需要足够大才能看到完整的图像,但也不能太大。事实上,当使用背光 LCD 或发射显示器时,当前的 VR 头戴设备投射的出瞳大小是眼睛看到完整虚拟图像所需的出瞳大小的十倍以上。

所有这些不需要的光线,特别是在折叠光学元件中来回反射时,是造成图像重影和对比度降低的直接原因,并且浪费大量电力。

Chris Chinnock:Panamorph 最初研究眼动追踪是为了确保当用户环顾虚拟图像时,小的出射光瞳能够指向瞳孔。为什么眼动追踪不包含在当前的 EPM 解决方案中?

肖恩·凯利 (Shawn Kelly):在使用 Meta Quest Pro 头戴式设备对 Pancake 进行了大量实验之后,我们发现,我们可以看到整个虚拟图像,并且固定的出瞳尺寸非常小,因此可以实现 EPM 的大部分优势,而无需额外的成本和眼动追踪的复杂性。

Chris Chinnock:Apple 和 Sony 的耳机都使用 OLED,部分原因是原生 OLED 的对比度比 LCD 高,尽管价格更贵。EPM 如何适应?

Shawn Kelly:事实上,目前耳机对比度低的主要原因是镜片周围反射的所有不必要的光线,包括从用户脸部散射回镜片的光线。因此,虽然 LCD 的原生对比度低于 OLED,但 EPM 消除了所有不必要的杂散光,这意味着 LCD 的净图像对比度实际上远高于 OLED 所能提供的水平。

Chris Chinnock:我认为 EPM 不适用于 OLED 面板,因为您需要将图像平面与照明源分开?

Shawn Kelly:没错。EPM 的工作方式是,来自 LED 阵列的每个光源发出的光照射到显示面板上时,方向性很强,因此阵列的图像形成出射光瞳,而来自发射显示器(例如 OLED)的每个像素发出的光则以角度分布到非常大的立体角中,几乎所有的光都不会到达用户的眼睛。

克里斯·钦诺克:回到出瞳问题,如果出瞳越小越好,那么为什么不把它做得尽可能小呢?

Shawn Kelly:[我们] 提供多种用户可调节的出瞳设置,允许在配备 EPM 的耳机中定制个人观看环境。有些耳机可能无法完美贴合每个用户,因此可能需要更大的出瞳来补偿错位。

在另一个极端,一些用户可能处于极端的游戏环境中,他们更喜欢非常小的出射光瞳,即使这会部分降低外围内容的强度(例如通过重影)以提高图像质量(尽管其中一些问题可以通过显示器的非均匀强度调制来解决)。像素可见性也是一个非常现实的挑战(即纱窗效应),随着对比度和清晰度的增加,它自然会变得更大。

开发者峰会_峰会是干什么的_峰会的原型是什么

对于每个用户来说,可能都有一个理想的设置,即出瞳设置可以降低清晰度,从而隐藏像素结构。因此,提供一系列出瞳设置似乎可以根据个人喜好提供最佳的用户体验。

克里斯·钦诺克:EPM 是如何设计以适应不同的出瞳尺寸的?

肖恩·凯利 (Shawn Kelly):[我们] 提供了多种用户可调整的出瞳设置(通过预先确定的 LED 光源开/关时间表),允许对 EPM 耳机中的观看环境进行个性化定制。

克里斯·钦诺克:Panamorph 会生产自己的耳机吗?

肖恩·凯利:一切皆有可能,但现在我们的目标是将这项技术授权给现有的耳机制造商,让他们能够将带有 EPM 的新耳机推向市场,而不是通过内部产能增长来实现。

克里斯·钦诺克(Chris Chinnock):EPM 是一项专有技术吗?

肖恩·凯利:是的,我们在美国拥有多项综合专利,并且在美国、中国和日本还正在申请其他专利。

星巴克宣布关闭虚拟元宇宙“星巴克奥德赛”项目

2022年底,星巴克推出元宇宙项目“星巴克奥德赛”,提供积分、邮票(NFT)、旅行邮票等玩法,旨在提升用户忠诚度。

其中的 NFT 由星巴克员工或艺术家制作,可以自由买卖,而印章则可以为会员提供额外的福利和互动体验。Odyssey 项目在疫情期间很受欢迎,但此后热度逐渐消退。

近日,星巴克宣布将于3月31日正式结束星巴克奥德赛计划,用户须在3月25日前完成计划内的任何活动或“旅程”,用户可以将NFT提现至其他平台使用。

【GDC 2024】Meta举办开发者峰会,分享MR、触觉反馈和追踪方面的经验和技能

一年一度的游戏开发者大会(GDC 2024)正在美国时间 3 月 18 日至 22 日在旧金山举行。Meta 也在今年的 GDC 上举办了首届开发者峰会。除了 Presence Platform 团队介绍 XR 内容的开发流程和 SDK 功能外,许多开发者也分享了他们的具体经验和技巧。以下是 VR Tuo 整理的要点(注:官方称演讲和论坛的完整录音将于稍后发布)。

图片来源:Meta

混合现实游戏示例:《First Encounters》

将虚拟世界和现实世界和谐地融合到一个空间中是制作混合现实游戏时的一个基本挑战。设计一款使用玩家房间作为游戏关卡一部分的游戏意味着开发人员会失去完全预制关卡设计赋予他们的大量控制权。游戏设计师 Zachary Dawson 和游戏程序员 Alexander Dawson 讨论了将每个玩家房间变成游戏世界的设计、技术挑战和解决方案。

《First Encounters》是《Quest 3》的首发游戏,游戏中玩家将遇到一种名为 Puffians 的小生物,它们会入侵玩家的房间、撞破墙壁并打开一个虚拟世界。为了让玩家在游戏中获得无缝且引人入胜的体验,让任何新的虚拟元素都感觉像是玩家现实世界的一部分非常重要。

图片来源:Meta

Meta 在开发《First Encounters》的过程中收获颇丰。以下是团队学到的一些技巧和窍门:

图片来源:Meta

创造沉浸式体验:通过 Presence Platform 实现触觉和交互

触觉设计师 Andrew Lazdins 和软件工程师 David Nelson 分享了关于如何最好地开发 XR 交互和触觉技术的宝贵见解。

演示的前半部分重点介绍了 Interaction SDK 的所有功能和最新更新,包括多模态、Capsense 手和宽运动模式等新功能,以及快速操作和 Unity 中的综合示例等可用性改进。这些更新使 Interaction SDK 和 Meta Haptics Studio 更易于集成到应用程序和游戏中。

随后,他们深入研究了触觉设计。触觉反馈可以模拟触觉来与用户交流,提供更身临其境的体验,并提高交互的可用性。制作触觉反馈的过程耗时、代码密集,并且设计和集成困难。Meta Haptics Studio 和 Haptics SDK 允许开发人员通过导入音频效果来设计触觉,并允许“音频到触觉分析”自动提取触觉信号。Haptics Studio 允许开发人员通过耳机“试听”触觉片段来测试和验证他们的设计。最重要的是,它们与硬件无关。使用 Haptics SDK 将文件集成到 Unity 或 Unreal 中。

图片来源:Meta

以由 Sanzaru Games 开发、Oculus Studios 发行的《Asgard's Wrath 2》为例。该团队专注于通过触觉技术提高沉浸感和真实感,让玩家更接近动作。与 Heru 的开场 Boss 之战是触觉技术如何用于开箱即用的电影效果的一个很好的例子。玩家可以感觉到 Heru 撞上冰面。触觉为角色互动增加了深度,例如跳过物体、挤过缝隙和滑下山坡。当玩家转身和改变速度时,音频参数会驱动触觉,所有这些都有助于增加沉浸感。

考虑触觉体验时,建议采用以下框架:

触觉平衡

确定用户需求

开演时间

图片来源:Meta

利用 Meta Quest 中的身体追踪功能优化游戏玩法

在 Quest 3 中,身体追踪可以增强您的游戏体验并开启新的玩家体验,但您是否曾尝试将身体追踪应用于角色,却发现效果不佳?也许网格撕裂,露出了下面的皮肤,或者角色的基本动作看起来还不错,但他们无法与其他角色很好地互动,甚至无法拍手。Presence Platform 的运动 SDK 产品经理 Kirk Ba​​rker 就如何最好地集成此功能提供了宝贵的见解和不同的解决方案。

Motion SDK 提供眼球追踪、面部追踪和身体追踪功能,让游戏能够在社交应用、健身或游戏中的角色中反映这种动作。这些追踪服务通过 OpenXR 接口导出,并在 Unity 和 Unreal 中提供绑定和示例。

游戏中的挑战之一是角色和虚拟形象在尺寸和比例上各不相同。因此,你可能会将一个非常高大的人映射到一个非常小的角色上,反之亦然。除了尺寸不同之外,他们的身体比例也可能有很大差异。一个角色的手臂可能很长或很短;他们的躯干可能比腿高;他们的头可能很大或很小。以下是在游戏中设计身体跟踪时需要考虑的一些事项:

图片来源:Meta

微软聘请 DeepMind 联合创始人领导其新的 AI 部门

微软周二宣布,将任命人工智能领域重量级人物穆斯塔法·苏莱曼(Mustafa Suleyman)领导其新成立的消费者人工智能部门,这是微软积极布局人工智能的又一迹象。

图片来源:网络

微软表示,苏莱曼将负责包括 Copilot、Bing 和 Edge 在内的消费级人工智能业务的拓展,并将直接向微软 CEO 萨蒂亚·纳德拉汇报。与苏莱曼一同加入的还有首席研究员凯伦·西蒙尼扬等大部分 DeepMind 成员也将加入微软。

图片来源:X

据悉,苏莱曼于2010年在伦敦创立了人工智能实验室DeepMind。在人工智能取得突破后,DeepMind于2014年被谷歌收购。随后,苏莱曼于2022年离开谷歌,联合创办了专注于人工智能助手的Inflection AI,并于今年5月推出了其消费者助手“Pi”。如今,随着大部分员工加入微软,Inflection AI也在改变其业务策略。虽然Pi仍在运营,但未来将不再专注于打造消费者业务,而是与商业客户合作,共同打造、测试和调整人工智能系统。

获取最新的 XR 新闻

关注VR Gyro官网()

热点资讯