本期封面，我们分享的是来自 Lay 的 League of Legends Streaming Platform - Spatial UI Concept

刊首语

一千个观众眼里有一千个哈姆雷特。同样的新闻，一千个读者看到之后也可能会有一千种解读。

最近，很多人可能会被一条新闻所吸引：苹果正在大量削减 Vision Pro 的生产订单。甚至有不少人因此而感到担忧，认为这是 Apple 即将放弃 Vision Pro 的信号。

实际上，不管是经过其他信息的交叉验证，还是通过和业内从业者的交流，我们都能都能明确一个结果：信息是真的，但解读的方向可能不太正确。

一方面，高昂的价格让 Vision Pro 销量没有超过 50w 台（大家预估在 40w 台左右），基于正常的商业考量，Apple 调整产能是非常正常的 。

另一方面，根据 华尔街日报的采访，Cook 也提及到了，Vision Pro 和 Apple Intelligence 是 Apple 对未来的重大押注，而且 Apple 的目标是 “Not first，but best”，所以投入度上 Vision 这条产品线应该不会减少，并且本身 Cook 也表示，”，Apple Vision Pro 的价格，注定它不是一款大众产品，而是它是一款早期尝鲜产品，它的目标客户是想要今天就拥有明天技术的人“。这也说明，Apple 给 Apple Vision Pro 是有一个长期规划的，并不寄希望于第一代产品能一炮而红。

另外，一件有趣的事情是，2023 年的一则新闻曾经报道，Sony 给 Apple Vision Pro 能够提供的年产量是 90w 个，也就是可以支持 45w 个 Vision Pro 的销售。而这个数字和现在的销量量级基本吻合，如果从这个角度看，是不是可以认为，Apple Vision Pro 的销量其实是基本符合预期的呢？👀

更有趣的一件事可能是这条新闻在 Reddit 上出现的时候：

底下的网友非常快速地就给出了自己的解读：

所以，不要担心，让子弹飞一会吧。另外，本期 XR 世界导览，我们有了新朋友的加入——胡桃，鼓掌欢迎👏！

News

Tim Cook 再次访华

上周，Tim Cook 又来中国了，这是他今年第二次来中国（第一次是三月份），上次到访的时候， Apple Vision Pro 还没能正式在国内发售。

这次到访，Cook 的行程安排包括：

• 政府层面：与中国工业和信息化部部长金壮龙会面，讨论了苹果在中国的投资和创新计划；与商务部部长王文涛会面，就苹果公司在华业务发展、中美经贸关系等进行了交流。

• 商业层面：与 中国移动董事长杨杰会面，与 微博 CEO 王高飞会面，参加 手游 NBA 巅峰对决比赛活动

• 媒体层面：和知名音乐人 Chace、知名音乐人刘柏辛、知名摄影师陈漫、奥运会女子跳水冠军施廷懋会面

看起来，此次访华，Apple Intelligence 在中国的落地、Apple 官方 Vision Pro 沉浸式视频在中国的落地都是 Cook 眼中的重要课题。

思科宣布为 Apple Vision Pro 推出思科空间会议

思科宣布要 给 Apple Vision Pro 推出思科空间会议，具体的动作是，思科将要利用其本身就有的 Room Bar Pro 来让 Apple Vision Pro 用户可以以空间视频的形式来和对方进行会议沟通。

PICO OS 发布了新的 5.12.0 版本

上周，PICO 推送了最新的 PICO OS 5.12.0 版本，这个版本最亮点的功能就是多模互联扩展，借助这个功能，你可以直接在 PICO 中，操作手机镜像，这个功能也算是对”戴上头显无法操作手机“的有效补充。再搭配上之前的多窗口机制，PICO 距离 ”生产力工具“ 又稍稍进了一步。(目前 Android 版本的 PICO 在授予权限后已经可用，iOS 还需要等新版本审核通过)

其他的功能更新还包括：

• 全屏幕多窗口体验优化

• 播放器支持透视模式观看，窗口支持随意摆放

• 浏览器支持同时打开多个窗口

• 增加对蓝牙键盘的支持

• 空间相册、VST 视觉效果优化

• 优化体感追踪器、手势、手柄交互识别准确度

PICO 发布针对 XR 开发的 Unity 通用渲染管线优化版本

最近，针对 Unity 官方 URP 渲染管线存在的一些问题，PICO 发布了针对 XR 开发的 URP 渲染管线的 Fork 版本，主要提供了 Bloom 优化、阴影优化以及自适应分辨率 bug 修复、Shadergraph 多视图 bug 修复这些改进。具体内容，可以查看官方文档（中文、英文）

Tool

PRISMXR Charging Dock for Vision Pro：一个可以充电和放置 Vision Pro 的底座

最近看到的这个 PRISMXR Charging Dock 有点意思，除了普通底座都能有的放置功能，它还别出心裁的设计了一个 USC-C 的适配器，你可以直接把它插在 Vision Pro 的电池上，然后这个带有触点的适配器接触到底座上的触点，就可以直接给 Vision Pro 充电。

Model Viewer：PlayCanvas glTF Viewer

Model Viewer 是一个基于 PlayCanvas 的 glTF 查看器，你可以通过这个查看器直接加载 glTF 文件，查看模型的效果。

最近这个工具升级到了 5.0 版本，在这个版本中，增加了对高斯泼溅格式的支持（PLY），支持了天空穹顶的渲染，并且这个工具还是开源的，你可以在 Github 上找到它的源码。

Article

Lab 007 – Anchor an attachment to a hand

在这篇 文章 中，作者 Joseph Simpson 像我们展示了如何在 Apple Vision Pro 上实现一个手部跟随的效果，这里并没有直接利用 ARKit 的接口，而是用了更简单的实现方式：直接使用 AnchorEntity 来实现（这也是 visionOS 2.0 新增的功能）。

Video

Blender+Runway Gen 3+VR 创作视频

Martin Nebelong（@MartinNebelong） 正在使用通过 AI 生成的图像平面，用 @freebirdxr 移动它们，并通过 Runway Gen 3 运行。通过头显实现摄像头录制，极大降低了虚拟场景摄像机控制的复杂操作，可以像现实空间一样实现录制和运镜。

SnapAR 的 Spectacles 眼镜的现实世界感知能力展示

Arthur Bouffard（@arthurbfrd） 分享了 AR 眼镜 Spectacles 进行实时空间扫描 Mesh 网格构建的画面以及手势物理互动的效果，作为一款 OST 方案的 AR 眼镜，这个效果还是非常惊人的。

Immersive Filmmaking for the Apple Vision Pro - What are the Challenges? CineD Focus Check Ep35

在 这个播客录制视频 中，CineD 邀请了 MXR Production 的 Christoph Tilley 来聊聊在给 Apple Vision Pro 制作沉浸式视频的时候，都会遇到哪些问题，以及如何解决这些问题。

例如，第一个问题就是，Apple 官方并没有提供一个和 Apple TV 完全一样的沉浸式视频的播放器，因此，他们得自己找人开发一个播放器来查看自己录制的沉浸式视频的效果（实际找的就是 POV Explore 的作者）。

Code

Meta 的 Interaction SDK 支持 Unreal、并在 Unity 上通过 Unity XR 支持了更多平台

最近，Meta 在最新的 Interaction SDK v69 版本中，增加了对 Unreal 引擎的支持，同时通过移除对 Meta XR Core SDK 的依赖，让 Meta Interaction SDK 能够基于 Unity XR 以及 Unity XR Hands 来支持更多的设备。

Interaction SDK 主要在比较高的层次，提供了对于 XR 世界类似抓取、手势交互的支持。

结合 031 我们提及到的 Meta Horizon UI Set，可以看出来 Meta 对于开发者的姿态越来越开放，也越来越注重跨平台的支持了。

App

Batman: Arkham Shadow

终于，Batman: Arkham Shadow 正式上架了，作为一款为 Quest 3 系列保驾护航的游戏大作（只有 Quest 3 系列可以玩，并且新购买 Quest 3/3s 的用户可以免费游玩），其游戏品质还是非常不错的，不到一周，就获得了 1700+ 玩家打出的 4.7 分的高分。

Idea

一个用地图和方位来呈现视频列表的 Demo

mechpil0t（@mechpil0t） 展示了一个基于地图的 YouTube 搜索/浏览演示在 Apple Vision Pro 上运行。

这个演示会使用 YouTube API，将带有地理标签的 YouTube 视频放置在 Cesium 3D 地图瓦片上，选择视频后会在浏览器中打开。

在客厅飞直升机

Eternal Starlight VR（@e_starlight_vr） 分享了其使用 Quest3 制作的直升机大战的原型，感觉这些玩具方向的设计是 MR 非常好的方向，不用收拾屋子还能任意操作并且和场地空间进行互动。

克隆一株虚拟植物

Spectacles（@Spectacles） 分享了使用 Scaniverse 扫描并克隆了现实的植物效果，可以将现实中的物品利用 Scaniverse 扫描的高斯泼溅模型直接导入 Spectacles AR 眼镜之中。

Job

【北京】超悦视界-Vision Pro 开发、后端开发、美术、策划、产品经理

超悦视界 正在积极招募人才，主要职位有：

• 高级苹果 VisionPro 开发工程师（🔥🔥🔥）

• VR 产品经理（🔥🔥🔥）CEO亲自带（实习/全职欢迎）

• VR 游戏策划（🔥🔥🔥）CEO亲自带（实习/全职欢迎）

• UI 设计师（🔥🔥🔥）

本期贡献者

御姐

胡桃

思琦

本期封面，我们分享的是来自 Max 的 NEXBOT

刊首语

嗨，不知道你有没有注意到，最近 XR 基地的官网（https://xreality.zone/）悄悄有了一些变化？

没错，在过去的两周中，我们对 XR 基地的官网进行了一些翻新，这样一来，新的官网看起来更有活力了！并且这次翻新还有很多一些小细节的更新，例如语言的切换更加自然，不会直接回到首页了，文章底部有了一些推荐等等。

最重要的是，我们也正式开启了邮件订阅功能。如果想要第一时间看到 XR 世界导览的更新，欢迎你在你熟悉的语言下，使用邮件订阅 XR 世界导览。

注意哦～在中文界面下收到的就是中文版本的邮件，英文界面下收到的就是英文版本的邮件，不要搞混了～

也许 XR 世界还没我们想象中演进的那么快，无法满足你我殷切的期望，但它应该就像命运的齿轮一样，正在缓缓，且坚定的转动， XR 世界导览也是一样💪。可能我们走的慢，甚至有时候可能会停下来歇歇气，但我们还是会坚定不移地继续走。 如果你要问为什么，我们会说，朋友，你相信光吗。

不管正在阅读这期 Newsletter 的你，是从哪一期开始看的，都非常感谢你一直以来的支持🙏，有时候我们也在想，Newsletter 就像苍茫大海上一只小小的船，载着我们一点一点的探索前行，而你，就是那一丝丝海风，是我们的动力。

也因为有你们，我们才会有更多的动力持续给大家带来一些惊喜，那么这里，我们也给你一些小小的惊喜，请看下图😉：

没错，2025 年，我们还是可以在 Let's visionOS 大会上相聚，一起疯，一起玩，一起学，一起——快乐。

最后，如果你喜欢我们的内容，请不要忘了点赞👍或者分享📤给你的朋友。也希望今后 XR 世界导览能继续成为大家的纽带，和大家一起见证 XR 之火🔥熊熊燃烧的那一天。

目录

Recap

• 当 PICO 4 Ultra 碰上空间视频，会擦出什么火花？

News

• Apple TV 上架了 Submerged 和 NBA All Star Weekend 两个全新的 Immersive Video

• Unity 6 正式版上线， 同时 PolySpatial 也结束了 Pre 版本，有了正式的 2.04 版本

• Meta 更新了开发者文档

Tool

• ShaderVision

Article

• Drawing Graphics on Apple Vision with the Metal Rendering API

• 在 Cursor/VSCode 中配置 iOS 开发环境

Video

• Hands-On: Meta Orion Augmented Reality Glasses!

• Submerged: 技术拆解

Code

• Meta Horizon UI Set

• Depth Pro：Apple 官方开源的深度检测模型

Recap

当 PICO 4 Ultra 碰上空间视频，会擦出什么火花？

在 这篇文章 中，我们介绍了 PICO 4 Ultra 上对空间视频的最新支持以及相关功能的使用方式。至此，关于空间视频，我们写了不少了，如果你还没看过，可以回顾一下我们之前的文章：

• 进阶！空间视频拍摄技巧分享

• iOS 17.2 上新上的空间视频，要这样玩

• iPhone 15 Pro / Apple Vision Pro 上的空间视频，到底是什么？

News

Apple TV 上架了 Submerged 和 NBA All Star Weekend 两个全新的 Immersive Video

Apple TV 上架了两个全新的沉浸式视频，分别是 Submerged 和 NBA All Star Weekend。至此，“今年秋季上架” 的沉浸式视频就已经全部放送完毕了😄。

如果你忘了今年下半年都有哪些沉浸式视频可以看，可以回顾一下我们的 XR 世界导览 022 期。

其中，NBA All Star Weekend 和其他的沉浸式视频一样，仍然是一个纪录片性质的短片。如果你还没看这部影片，记得 1:20 左右向后躲的时候，不要磕到头哦～

相较而言，Submerged 这部短片就更特殊一些，因为这部不到 20 分钟的断片是第一部带有剧情的沉浸式视频。整体剧情很简单，讲述的就是在二战期间一群潜艇兵在潜艇被击沉后逃生的故事。很显然在这部断片中，剧情不是重点，沉浸式才是。潜艇逼仄的环境和水下昏暗的光线，会让你充分体验到什么叫做“沉浸式”。

值得一提的是，这部影片的导演是 Edward Berger。他曾因执导《西线无战事》的新版而获得奥斯卡奖，而他一向因为细腻的镜头语言而被世人所称赞，此次的沉浸式视频也正是对他镜头语言技术的一次全新挑战，大家在观看的时候可以多留意一下本片的镜头语言。

另外，为了配合这部短片，Apple 也在其 Youtube 频道上分别发布了 官方预告 和 幕后制作 来为 Submerged 造势。在下面的 Vidoe 推荐中，我们也推荐了一个关于幕后制作深度解析的视频。

Unity 6 正式版上线， 同时 PolySpatial 也结束了 Pre 版本，有了正式的 2.04 版本

经过六个月的测试，Unity 6 第一个 LTS 版本（6000.0.23f1）于 2024 年 10 月 16 日 正式上线 了，Unity 官方也专门写了 一篇博客 来介绍所有的新特性。

简单来说，Unity 6 的主要新特性有：

• 性能提升：GPU Resident Drawer 在一些场景下带来了 2x 的性能提升，开发者可以通过资产商店中的 Fantasy Kingdom 来进行体验

• 更简单的多人游戏开发：Unity 6 上多人游戏的开发会更简单，官方提供了一个叫做 Megacity Metro 的 Demo 来作为示例

• 对 Web 环境的更好支持：基于 WebAssembly 的 Unity Web 平台功能会更加完善，这一次，Unity 的项目官方支持了移动平台的 Web 浏览器，甚至可以像 PWA 一样使用本地存储等

• 更好的多平台工作流支持：主要包括 Build Profiles 和 Platform Browser，前者可以给每个平台设置不同的构建配置，后者可以在 Unity 编辑器更好地预览各个平台的配置内容

• 视觉工具的提升：光照、VFX 等工具效果的提升，让开发者可以在 Unity 6 上实现更多的好看视觉效果

另外，PolySpatial 2.0 也结束了 Pre 版本，有了正式的 2.04 版本。

不过，目前 PolySpatial 2 的 模板工程 还没更新，用的还是之前的 6000.0.23f1 版本，大家用模板初始化项目的时候可以注意⚠️一下。

Meta 更新了开发者文档

可能是感受到了 Apple 在开发者关系上优秀表现的压力，Meta 最近不仅发布了 Spatial SDK，还把 MR 开发的 开发者首页 样式更新了一下，和 visionOS Developer 首页类似，对已有的技术进行了分类整理，整体来说对于初次上手的开发者来说脉络更加清晰了：

Tool

ShaderVision

嘿我的老伙计，你是不是还在为 visionOS 上的 Shader 编写而烦恼呢？那么，你就需要 ShaderVision 这个工具了。利用这个工具，你可以直接在 Apple Vision Pro 中编写 Shader 代码并实时预览效果。

值得一提的是，ShaderVision 的作者还在我们之前宣传过的 VisionHack 中制作了一个叫做 Pulsargeist 的应用，并获得了游戏和娱乐分类的第一名。

Article

Drawing Graphics on Apple Vision with the Metal Rendering API

在 这篇文章 中，作者介绍了如何使用 Metal Rendering API 来在 Apple Vision Pro 上绘制图形，如果你想了解如何使用 Metal 在 visionOS 上绘制图形，这篇文章是一个不错的开始。

在 Cursor/VSCode 中配置 iOS 开发环境

如果你是一个新上手 visionOS 开发的开发者，又非常需要使用 AI 来帮助开发，那么在 VSCode 或者 Cursor 是一个理想的开始。

不过，由于一些工具链的限制，你需要一些配置才能让这些工具和 iOS 开发环境完美结合。

在 这篇文章 中，作者介绍了一下如何利用为 Cursor/VSCdoe 配置 iOS 开发环境，其中比较重要的是第三步，让 Swift 代码能够被编译器识别，不会出现太多的飘红报错。

Video

Hands-On: Meta Orion Augmented Reality Glasses!

在 这个视频 以及 相关的文章 中，作者深入介绍了 Meta Orion 的一些技术细节，包括续航上限（大概三个小时）、分辨率（12 PPD，大概是 Quest 3 的一半）等等。

Submerged: 技术拆解

俗话说，外行看热闹，内行看门道。如果你好奇 Submerged 拍摄背后的故事，但是看官方的幕后制作又觉得好像有点云里雾里的，那你可以看看这个 关于 Submerged 的深度解析。

作者也是一位 VR 行业的影视从业者，所以他能够从非常专业的角度来为我们拆解导演在 幕后制作 一闪而过的镜头中容易被我们忽视的细节。

Code

Meta Horizon UI Set

和 Apple 拥有庞大而细致的 HIG 以及 设计要求 不同，长久以来 Meta 好像一直没有一个所谓的 “UI 规范”。

不过最近，Meta 推出了一个叫做 Meta Horizon OS UI Set 的 UI 组件库，这个组件库包含了一些常见的 UI 组件，例如按钮、输入框、滑块等等，基于这个开发者可以非常快速的完成应用的 UI 设计。

Depth Pro：Apple 官方开源的深度检测模型

Depth Pro 是 Apple 官方开源的深度检测模型，这个模型可以从但个照片中获取图像中的深度信息，可以用来做一些基于深度信息的应用，例如虚化背景、人像分割等等。从给出的范例来看，精度还比较高。（不知道 visoinOS 上将普通照片转换为空间照片的功能是不是也用到了这个模型呢？🤔）

本期贡献者

御姐

思琦

本期封面，我们分享的是来自 Max 制作的 Spline 场景 Lighting Bulb。

刊首语

本周最为重磅的消息应该就是 Orion 原型机的面世了，尽管比起来 Apple Vision Pro 价格更贵，并且大家上手的时间更长更没有预期（是的，现在对于 Orion 什么时候能够正式面向消费者，Meta 并没有给出明确的预期），Orion 的发布还是在行业内外引起了不小的轰动，从微信指数的数据看来，这一次 Orion 的发布得到了比二月份 Apple Vision Pro 发售更大的关注。

也许很多文章、视频都会说，未来已来 blabla，但我个人还是觉得，现阶段 Orion 的发布最大的意义，是给人们以希望，让人们看到：AR 眼镜并不是一个不可能的产品，现有的技术还是可以完成一个在硬件指标上勉强够用的产品，最起码，离我们期待的大家都能用上 AR 眼镜的那一天应该不会超过十年（🤣），就像本期封面的灯泡一样，我们现在已经看到了一些微弱但稳定的光芒。

目录

News

• Meta Connect 大会

• Meta 发布了 Meta Spatial SDK

• Apple 提供了新的 visionOS Sample Code

Tools

• PICO Emulator(Beta)

App

• Story: Spatial Storytelling

Code

• SGMExamples：Shader Graph Material Examples in visionOS

• RealityMixerVisionPro：Mixed Reality Capture app for the Vision Pro

News

Meta Connect 大会

美国当地时间 9 月 25 日，Meta Connect 大会正式开幕，在这次大会上，Meta 不出意外的发布了大家提前都已经非常熟悉的 Meta Quest 3s。

关于 Meta Quest 3s 可以说的并不多，你可以理解为是 Quest 3 的一个廉价版本，CPU、镜头都没有太大的变化（甚至镜头略有下降，回到了 Quest 2 的分辨率水平），128GB 价格 $299，256 GB $399，折合人民币 2000 左右，发售当日就可以预购，十月 15 日开售。购买者可以获得一个蝙蝠侠·阿卡姆的游戏。

顺便一提，Quest 3s 这个名称确实很有迷惑性，叫它 Quest 3 lite 或许会更好一点。

此次 Meta 对 Quest 3s 的描述，以及操作系统 Horizon OS 的描述，都在将其描述为一个混合现实的产品。

而此次发布会更大的两点则是 Orion——一款据称 Meta 研发了 10 年的产品，这是一款目前还不向消费者发售的 AR 眼镜，它采用了碳化硅镜片，拥有 70° 的，镁制作框架，自研芯片，支持眼动追踪和手势识别，续航大概两个小时，重量仅有 90g，同时带有一个随身的计算单元 Wireless Compute Puck（这个计算单元上看着还有一个摄像头，但目前还不知道这个摄像头具体是用来做什么的），一个可以感知肌电信号的腕带，这样可以在 Orion 检测不到手的时候。

目前这个腕带可以识别到的手势除了拇指和食指的捏合，还可以感知一个滑动的手势，这个手势看起来用在上下滑的场景下是非常完美的：

从发布会的信息来看，一个 Orion AR 眼镜的成本大概在 1 万美元（2022 年的量产数据），因为物料成本太高，因此 Meta 也是不得已搁置了这个产品的正式发售计划，并且只制造了 1000 副，用于公司内部展示和合作伙伴试用。

个人觉得，现阶段 Orion 出现的最大意义，是让大家认识到：现有的硬件技术，其实是可以实现一款轻量级、6DOF、支持眼手追踪的 AR 眼镜的，尽管目前的技术水平还只能做到 70° 的 FOV（在 AR 眼镜中，这已经是一个非常大的 FOV 了），但这已经是一个非常好的开始了（如果细心看国外媒体的评测，你就会发现 Orion 目前 70° 的 FOV 在佩戴时还是能明显看到可截断的边缘的，起码会让人有一种非常明显的“出戏”的感觉）。

更多关于 Orion 的细节信息，已经有很多非常好的文章做了详细的介绍，感兴趣的话也可以点击来看看：

• 最强 AR 眼镜来了！Meta 十年绝密项目，你的下一台手机可能是眼镜

• The Verge: Meta’s big tease

• My First Dive Into Meta's Orion AR Glasses And Neural Wristband

Meta 发布了 Meta Spatial SDK

熟悉当年 Android 和 iOS 相爱相杀历史的开发者，一定对这一幕不陌生：Meta 发布了一个全新的在 Quest 上开发的 SDK——Meta Spatial SDK，用这个 SDK，你可以使用 Android Studio 和 Kotlin 在 Quest 上进行空间应用的开发（这两样东西对于 Android 开发者可再熟悉不过了）

在 Android Studio 中，你可以基于 XML 来编辑空间应用的 UI：

还可以用类似 visionOS 开发用到的 Reality Composer Pro 的 Meta Spatial Editor 中编辑 3D 场景：

不得不说概念是真一致，同时官方还放出了 10 个 Sample Code，感兴趣的小伙伴可以直接去 Github 并根据 文档 来快速上手玩一下。

Apple 提供了新的 visionOS Sample Code

最近，Apple 提供了新的 visionOS Code Sample，比起之前相对来说是一个完整大工程的 Sample Code，此次的 Sample 挑选的都是相对比较简单的小工程，适合初学者入门。

Tools

PICO Emulator(Beta)

PICO 最近在官网上发布了一个新的 Debug 工具：PICO Emulator，其主要功能就是能够在 PC 和 Mac 上模拟运行原本需要运行在 PICO 真机上的应用，你可以通过 adb 或者直接拖拽 apk 来进行安装。同时，模拟器本身也支持了键盘和手柄的映射。

App

Story: Spatial Storytelling

Story 是一个可以为 Apple Vision Pro 用户带来极致沉浸式视频体验的 App。在这里，你不仅可以观看像这样的通过图片、模型、文字组合起来的 360° 沉浸式视频：

还可以沉浸式查看清晰度为 16K 的风景视频：

目前 App 中已经有五个视频，并且更多的视频将会在后续陆续放出。

作为一款沉浸式视频播放应用，Story 令人惊喜的有两点，第一点是高达 16K 的视频清晰度（这和 Apple Vision Pro 的分辨率搭配起来真是绝配），在观看风景时，极致的清晰度真的会让你眼前一亮。

第二点，则是 Story 背后的愿景：让更多的人能够制作这样的空间视频，因此我们更可以说 Story 是一个内容平台，来看看在 Vision Pro 中就可以使用的编辑器：

Code

SGMExamples：Shader Graph Material Examples in visionOS

要想做出炫酷好看的 App，Shader Graph 绝对是 visionOS 开发者所必备的技能之一。但无奈官方只有文档，而缺乏一些更进一步的例子，这就给初学者带来了一定的困难。

但现在，拥有 SGMExamples，你就可以通过这个项目来更好的学习 Shader Graph 的使用，这个项目中包含了很多高级的 Shader Graph 使用场景，这个水波纹就是其中之一：

非常感谢 Yasuhito 开源了这么好的项目

RealityMixerVisionPro：Mixed Reality Capture app for the Vision Pro

所有使用 Apple Vision Pro 的朋友们可能都遇到过一个问题：旁边的人看不到你眼镜里的内容，尽管我们可以通过投屏来解决这个问题，但这个方案并不是最优的。

非常感谢 Fabio Dela Antonio 在这个问题上做出的尝试，通过 RealityMixerVisionPro，你可以将 Vision Pro 看到的内容以立体的形式投射到手机上，这样你的朋友就可以看到你眼镜里的内容了。

本期贡献者

思琦

徐驰

本期封面，我们分享的是 Roman Klčo 的 Food Truck

刊首语

临近中秋，又正好赶上 Apple 各种新系统发布，正好可以有时间把家里的各种主力机都升级一下了。虽然最期盼的带鱼屏功能在 visionOS 2 中没有上线，不过好在其他系统的新功能还是可以玩一玩的。提前祝大家中秋快乐～

目录

Recap

• visionOS 2 PortalComponent: 更符合期待的传送神器

News

• Meta Quest v69 发布了

• Unity 不再收取运行时费用

• Unreal 在 visionOS 上支持透视模式了

Article

• 使用 visionOS 革新手术和医疗治疗

App

• AquaZen：沉浸在水之平静中

Recap

visionOS 2 PortalComponent: 更符合期待的传送神器

关键词：Portal、visionOS

在 这篇文章 中，笑爷 为我们介绍了 visionOS 2 中 PortalComponent 的新特性的使用方式，并用 PortalComponent 制作了一个非常可爱的超梦，值得一读。

News

Meta Quest v69 发布了

关键词：Quest、Meta

在过去的一周中，Meta 正式发布了 Quest v69，此次更新中，比较好玩的是这么几个功能：

• Seamless multitasking：简单来说，之前在使用 Quest 的时候，如果你在玩游戏并且还想打开浏览器这种类似 Android 的应用悬浮窗，你就只能退出游戏再回来。此次更新的 Seamless multitasking 允许你在使用 Home 键时，显示出来之前就有的多任务面板，最多可以放三个应用，包括浏览器，这个功能大大利好需要查攻略游玩的游戏（比如各种迷路的黑神话悟空🐒），或者一些节奏比较缓慢的游戏同时放点视频看看（就像👆图中那样）

• Meta AI 增加 Hey Meta 唤醒词：一个比较常见的更新，在此之前 Meta AI 只能是通过双击手柄上的 Meta 按键或者进入系统菜单点击的方式来唤醒，不过 Meta AI 这个功能本身只在美国和加拿大地区能够使用。

• 窗口支持空间音频：简单来说，Quest 中的平面窗口应用中播放的音频也支持空间音频了，你听到的声音会更有空间感

Unity 不再收取运行时费用

关键词：Unity、Runtime Fee

纷纷扰扰的 Unity 运行时费用风波，从 2023 年 9 月开始，终于在一周年后的 2024 年 9 月最终尘埃落定：新任 CEO Matt Bromberg 宣布 Unity 将取消运行时费用。

Tips

关于 Unity 的运行时费用，我们在 Newsletter 009、Newsletter 010 都有过提及。

如果你还不太了解这个事情，可以简单理解为，Unity 在去年 9 月曾要求所有使用 Unity 的用户，在原有的费用之上，还要根据游戏的安装用户数来收取额外的费用，这一举措引来了业界开发者的强烈不满，Unity 前任 CEO John Riccitiello 因为这个事情辞去 CEO 一职，直到 2024 年 5 月 Matt Bromberg 履新。

和运行时费用取消同时到来的，还有 Unity Personal 提高的收费门槛（从 $10w 提高到 $20w），以及 Unity Pro 和 Unity Enterprise 提高的订阅价格（分别上涨 8% 和 25%），总体来看，Unity 的策略是对中小开发者友好，对大客户提价以减少自己的亏损（是的，上市至今，Unity 还没有实现盈利）

Unreal 在 visionOS 上支持透视模式了

关键词：Unreal、visionOS、Passthrough

尽管还有一些毛边和不完善的地方，但根据 这条 X 来看，Unreal 终于可以在 visionOS 2 上面展示现实世界了！

Article

使用 visionOS 革新手术和医疗治疗

关键词：visionOS、Surgery、Medical

在 这篇文章 中，作者提出这样一种观点：在空间计算之前，2D 平面的 CT 和 MRI 扫描为外科医生的手术带来了更好的工具，让他们可以更精确地了解患者的内部构造。而 Vision Pro 只需用手的交互，和对 3D 物体的精细呈现，无疑是让外科医生在手术台上拥有了更加得力的助手。

除此之外，作者还列举和探讨了一系列目前在 Apple Vision Pro 上可以看到的一些医疗向的 App，例如：

• INSIGHT HEART：可以沉浸式查看人类的心脏构造

• Fundamental Surgery：可以沉浸式进行外科训练模拟

App

AquaZen：沉浸在水之平静中

关键词：Apple Vision Pro、Zen、禅意

AquaZen 是一款能够提供沉浸式水族馆体验的 App，其内部提供了三种模式：360° 水族馆、空间水族馆、共享空间。

在 360° 水族馆中，你可以在一个全景围绕的水下世界看各种海鱼在你的身边游动，同时 App 也提供了配置选项，让你可以选择在当前场景中展示什么样的鱼类。

而在空间水族馆中，这些鱼不再是在空旷无际的水中游动，而是在你身边的房间内游动。很显然，这里使用到了 visionOS 的场景感知能力，如果你是在非常小的屋子里，你就会发现这些鱼非常 “拥挤” 的在小屋子中游动。

而在共享空间中，你可以将水族馆以水族箱的形式，就像一个摆件一样放置在你的身边，同样，你也可以在这里配置所有展示出来的鱼类。

那接下来，让我们尝试从用户需求、产品方案、技术实现上来聊聊这款应用。

从用户需求上，AquaZen 意图解决的是用户带上 Apple Vision Pro 后，寻找一个不一样环境进而转换心情的需求，这类的应用在 App Store 上也不算少，官方的 冥想应用，Healium、Endel 都意图解决这类问题。

从产品方案上，AquaZen 采用的方案是用游动的鱼类环绕，并且和前面提及到的应用不同，AquaZen 中的鱼类是在一定规则下游动的，并不是完全预设的场景，因此比起来每次看到的都一样的视频或者音频来说，用户产生视觉疲劳的阈值会稍微高一些。

从技术实现上，整个应用中应用到的最有趣的技术应该就是如何让这些鱼类游动起来了，在这点上，Apple 在 iOS 上的一个 Demo：Building an Immersive Experience with RealityKit 利用 ECS 有过类似的实现，可以作为一个例子进行参考。

本期贡献者

御姐

思琦

本期封面，我们分享的是来自 Apple 的 visionOS 2

刊首语

本以为 Apple Special Event 2024 不会有什么 Apple Vision Pro 的信息，结果一看，确实没什么 Apple Vision Pro 的信息。

不过，让人意外的是，visionOS 2 将在 2024.9.16 发布，这一更新节奏是要比 iOS18、iPadOS 18、watchOS 11、macOS Sequoia 2024.9.17 的更新节奏还要快的（虽然只是快一天），不过，从目前官网的 描述 来看，大家非常期待的 4K 宽屏投屏功能应该不会在此次的 visionOS 2 中上线（被标记了 Later this year）

目录

News

• 新的沉浸式视频 "Elevated" 和 "4 Minutes Inside Super Bowl LVIII" 上线 Apple TV

• PICO 系统更新 && PICO 4 Ultra 在欧洲的预购开启

Idea

• Apple Vision Pro 的 FPS 游戏难道就是，指枪？

Article

• Vision Pro Online Usage Survey Results：一份关于 Apple Vision Pro 使用情况的调查问卷

News

新的沉浸式视频 "Elevated" 和 "4 Minutes Inside Super Bowl LVIII" 上线 Apple TV

关键词：Apple Vision Pro、Immersive Video

在 Newsletter 的 022 期，我们曾经提及过下半年将会有很多的沉浸式视频上线 Apple TV，现在，我们看到了两个新的沉浸式视频：

• Elevated：飞跃火山、翻越瀑布，发现全球最长岛链夏威夷不为人知的自然奇观

• 4 Minutes Inside Super Bowl LVIII：这是一个之前没有预告过的视频内容，在这里你可以观摩 NFL（美国职业橄榄球大联盟）中堪萨斯城酋长队和旧金山 49 人争夺超级碗冠军的幕后故事。说实话，在沉浸式视频中，看到这些身高马大的橄榄球运动员从自己身前冲过，还是会下意识的想躲闪一下。

这里感谢 Mike Swanson 的 Apple TV 截图

PICO 系统更新 && PICO 4 Ultra 在欧洲的预购开启

关键词：PICO

随着 PIOC 4 Ultra 的上市，PICO OS 也针对 PICO 4 Ultra 提供了新的版本，在新的版本中，值得一提的新特性有：

• 支持蓝牙键盘、鼠标连接

• 视频播放器支持在通透模式下观看视频

除此之外，PICO 还在 欧洲开启了预购，价格为 £529 / €599。

Idea

Apple Vision Pro 的 FPS 游戏难道就是，指枪？

关键词：Apple Vision Pro、FPS

每个男孩子都可能在小时候用手指玩过最简单版本的 FPS 游戏，如果在 Apple Vision Pro 中，这样的场景也许并不难见到。

Fabio Dela Antonio 最近就做了一个这样的 Demo，当你的手指弯曲，一个作为瞄准线的射线就会消失，这也意味着你已经“开火”了：

Article

Vision Pro Online Usage Survey Results：一份关于 Apple Vision Pro 使用情况的调查问卷

关键词：Apple Vision Pro、Suvery

最近，Tom Krikorian 做了一份关于 Vision Pro 使用者 调研报告。在这份报告中，Tom 针对 Apple Vision Pro 使用者的多个使用场景进行了调查，包括：

• 使用 Apple Vision Pro 的频率

• 主要的使用场景

• 对设备的感受

• 对设备不喜欢的点

在这份调查报告中，有很多很有意思的点，首先，在受访的 163 名被访者中，大部分都是已经使用了 3 个月以上的用户：

而在这些使用者中，将近一半的人保持着每天都会使用

大部分的人使用 Apple Vision Pro 来看影视内容和工作：

而关于 Apple Vision Pro 还没被充分利用的功能，Spatial Persona、空间视频、生产力功能等赫然在列。

最有意思的，可能就是这个了，在问卷中，当被问到有哪些非同寻常的 Apple Vision Pro 使用方式时，大家的使用方式五花八门，其中最有趣的十个如下：

1. 使用第一人称视角共享来为折断的手指进行夹板固定获取医疗帮助。

2. 举办一个虚拟烹饪俱乐部，主持人实时直播食物准备过程。

3. 在弹钢琴时使用 Mac 虚拟显示屏，同时俯瞰虚拟的优胜美地环境来创作音乐。

4. 通过将音乐播放器窗口放置在疑似有水损坏的地方，并透过墙壁 / 地板查看，以此来定位房屋中的水损坏位置。（注：这个意思是说，利用 Apple Vision Pro 中窗口是固定在现实世界并且可以透视的这一点，以能够更远的地方看漏水的位置以及可能的影响）

5. 上虚拟钢琴课，学生将自己的视角直播给老师，同时展示乐谱应用程序和手部动作。

6. 创建自定义沉浸式环境并查看高斯飞溅渲染，用于放松或娱乐。

7. 使用 达芬奇之眼 追踪只有在 Vision Pro 中可见的图像以进行艺术创作。（达芬奇之眼是一个可以把图片映射在现实世界平面的应用程序，这样就可以进行临摹作画了）

8. 在 Zoom 上进行无声写作会议，其他参与者可以看到用户的头像。

9. 在州立公园的露营地工作，使用多个虚拟显示屏，并通过 MacBook 上的 Parallels 运行 Windows。

10. 录制日食等特殊事件的空间视频

本期贡献者

御姐

思琦

本期封面，我们分享的是过去几周最火的 AI Code Editor——Cursor

刊首语

就在刚刚过去的一周，Apple 正式宣布其将会在北京时间 2024 年的 9 月 10 日凌晨 1 点举办特别活动，主题是 “It 's Glowtime”，并配上了下面这个非常迷幻的视频：

明眼人都知道这个视频的含义——这太像是 Apple 今年 WWDC 发布的新的 Siri 的效果了，看起来，此次 Apple 的硬件新品（虽然我们都知道是什么，但现在，让我们假装不知道吧😄）会和 AI——Apple Intelligence 有很深的关系了。

我们一直认为，XR 和 AI，一定是一对好搭档，所以今年的 WWDC 上看到 Apple Intelligence 和 visionOS 无缘时还是有点失望的（虽然不久后，无法方便使用到 Swift Assistant 的伤心😭就被 Cursor 治愈了😆，实测 Cursor 编写很多新的 visionOS 上的 RealityKit 代码也十分能打）

不过失望后仔细想想，这也符合 Apple 一贯的作风——新技术先在成熟平台上试水再扩展到其他平台，现在在 visionOS 上作为顶梁柱存在的 ARKit、RealityKit 也是在 iOS 平台上经过了多年的打磨最后才在 Apple Vision Pro 上大放异彩（这背后的故事，你可以回看一下 开发 visionOS 前，你需要了解的 Apple AR 技术全景），不妨让我们耐心一点，一起期待明年的 WWDC 吧～

目录

Recap

• Vision Pro 上的手势匹配框架 HandVector 更新 2.0 了，新增 FingerShape 功能

News

• Meta 决定关闭 Spark AR 特效平台

• Surreal Touch 在 Kickstarter 上线了！

App

• Mixed Snow Worlds：把你的房间瞬间变成冰雪世界

Tool

• swift-translate：帮你翻译 App 中国际化文件的 CLI 工具

Code

• Quest Display Access Demo：获取 Quest 相机数据的新方法

Recap

Vision Pro 上的手势匹配框架 HandVector 更新 2.0 了，新增 FingerShape 功能

关键词：visionOS、HandVector、Hand Tracking、FingerShape

在 这篇文章 中，我们为你介绍了 HandVector 2.0 的主要更新，包括：

1. 更新了余弦相似度算法的计算方式，从基于手部 Anchor 空间改为基于父关节点的矩阵空间，提高了指尖向量的相似度计算。

2. 新增了 FingerShape 功能，将手指形状化简为 5 个参数，包括卷曲度和分离度等，方便理解和调整。

3. 更新了模拟器调试功能 SimHand，解决了 Google MediaPipes 3D 手势追踪只有关节点位置没有矩阵信息的问题。

4. 对项目结构和 3D 关节样式进行了调整，代码结构更清晰，关节可视化更清晰。

News

Meta 决定关闭 Spark AR 特效平台

关键词：Meta、AR、Effect、Spark

最近 Meta 的“艰难决定”真是一个接一个，就在过去的一周的 8.27 当天，Meta 宣布其将会关闭旗下 AR 特效平台 Spark。

具体来说，从 2025 年的 1 月 14 日开始，第三方创作者将无法在 Spark 平台上（包括 Meta Spark Studio， Meta Spark Hub 和 Meta Spark Player）继续创作新的 AR 特效，同时第三方创作者制作的 AR 特效也会从 Meta 的平台上移除（包括 Facebook、Instagram 和 Messenger）。

我们在 002 期 曾经为大家讲解过 Lens Studio 这个和 Meta Spark 作为竞品的工具，和 X 上的网友 一样，我们也在唏嘘一个时代的落幕。

Surreal Touch 在 Kickstarter 上线了！

关键词：Controller、Apple Vision Pro

世界上第一个专门为 Apple Vision Pro 量身定做的手势控制器 Surreal Touch 已经在 Kickstarter 上正式上线了，并且已经达到了最低的募集金额。

利用 Surreal Touch，你可以使用 Apple Vision Pro 以 4K 90Hz 来畅玩 SteamVR 上的 VR 游戏，包括 Alyx 这样的经典之作，如果你对使用 Apple Vision Pro 玩 VR 游戏感兴趣，现在就可以以最低 $249 的价格来购买，预计交货时间为 2024 年 12 月。

App

Mixed Snow Worlds：把你的房间瞬间变成冰雪世界

关键词：Quest、MR

我们一直认为，仅仅是让玩家能看到现实世界，并不能称得上是混合现实——起码称不上优秀的混合现实。

而在 Mixed Snow Worlds 中，玩家在游玩游戏时，会看到游戏对玩家的周边环境进行扫描，并将对应的环境变换为一个冰雪大世界再开始下一步的游玩，这无疑大大增强了混合现实的临场体验感。

游戏目前在 Quest 应用商店提供免费下载，有兴趣的小伙伴可以下载下来尝试一下。

Tool

swift-translate：帮你翻译 App 中国际化文件的 CLI 工具

关键词：visionOS、i18n

如果你在做 visionOS 相关 App 的时候，想要做国际化，那么你可以尝试使用 swift-translate 这个工具来尝试简化工作流。这是一个命令行程序，可以帮助你将 Xcode 中的多语言字符串发给 ChatGPT 的后台并将字符进行替换。

Code

Quest Display Access Demo：获取 Quest 相机数据的新方法

关键词：Quest、Android MediaProjector API

众所周知，Quest 上的相机画面开发者正常是无法获取的，但，也众所周知，开发者还是有办法拿到的。之前就有开发者分享了他们的奇技淫巧——通过后台开启一个 Quest Mirror 页面来获取。

这一次，trev3d 又想到了一个好办法——直接用 Android MediaProjector API 来获取 Quest 上的相机画面。尽管这个方式可行，但也有一些小小的限制条件：

• Quest v68 以上系统

• 使用 QuestLink 时无效

• 无法正常录制，需要使用类似 scrcpy 这样的工具来进行屏幕录制

• 由于不是正常的相机数据获取，所有的虚拟物体都会遮挡图片上的实体

完整的代码可以在 Github 上进行查看

本期贡献者

御姐

思琦

本期封面，分享的是来自 Game Science 的 黑神话·悟空。

刊首语

这一周，不管你是不是一个游戏玩家，相信你的各种时间线都会被《黑神话·悟空》所占据。不止如此，在游戏行业拥有崇高地位的制作人小岛秀夫都在黑神话售出 1000 万份之时发了一条帖子：

西天取经之路一向是一条不好走的道路，Meta 在这条路上也有很多取舍，例如，本周据说 Meta 取消了 Quest Pro 2（比起来上周 GTA VR 版本的取消，这个消息看起来似乎对玩家的影响还稍微小一些）。

目录

News

• PICO 发布了 PICO 4 Ultra

Idea

• 用水滴来做转场

Tool

• 3D Icons：开源的 3D Icon 合集

• WWDC Notes

Video

• Blender Tutorial 4.0

• Meta Immersive Debugger

Code

• HLS 360 Video Material for visionOS

News

PICO 发布了 PICO 4 Ultra

关键词：PICO、MR

本周二，PICO 官方正式发布了 PICO 4 Ultra，这是 PICO 旗下首款以 MR 来定义的设备（之前的 PICO 系列产品在产品定义上都是 VR 一体机） 。

在硬件上，了配合 “MR 设备” 的定位，PICO 也是给 Ultra 配上了四颗环境追踪摄像头、两颗彩色透视摄像头和深度感知摄像头。

而在价格方面，PICO 4 Ultra 售价 4299 元（12GB+256GB），8 月 20 日开启预订，9 月 2 日 10:00 正式开售。预售期间，对于老用户（指的是激活过 PICO 机器的）， PICO 可以提供 ¥300 的补贴，并且对老机器提供旧机换新补贴。

不过，对于 XR 行业的创作者，显然系统、应用生态上的更新对我们影响更大，所以接下来我们就把大部分的笔墨放在系统和应用生态这方面。

在软件功能方面，PIOC 4 Ultra 也和 Meta 一样，越来越像 Apple Vision Pro 这样的成熟系统设计靠拢了。

利用 PICO 互联可以将 Mac、Windows、iOS/Andorid 手机的画面投屏到 PICO 4 Ultra 中：

另外，对于电脑的投屏，可以自定义窗口大小，甚至可以设置成带鱼屏大小。（嗯，visionOS 2 的功能也都一个个追上了），而且当我们能够使用 PICO 4 Ultra 将手机投屏到设备中时，长久以来使用这类设备的一个无法玩手机的小痛点也算是被解决了（在 visionOS 上也有类似三方 App 在做这个事情，参见 XR 世界导览 019 的 Bezel），此次 PICO 的系统实现不只是投屏，也包括操作。

同时，此次 PICO 4 Ultra 支持将 Android 原生应用多窗口应用同时运行（包括前面看到的投屏的窗口），这在 PICO 发布会上称之为全景屏工作台，并且最多支持 20 个应用同屏，并以 360° 的形式环绕在用户眼前：

这些窗口，可以以多模态的形式进行交互（包括键盘鼠标、控制器、手势）：

而在空间视频这方面（嘿，如果你还不知道啥是空间视频，别忘了来看看 iPhone 15 Pro / Apple Vision Pro 上的空间视频，到底是什么？），PICO 4 Ultra 支持了 60FPS 的空间视频拍摄，还能够查看 iPhone/Apple Vision Pro 拍摄的空间视频，然后利用 PICO 4 Ultra 上的编辑器进行编辑、配乐以及发布（不用想，肯定是发布到抖音上啦）

不过，手机投屏、空间视频的空间音频录制、3D 特效功能、全景屏的键鼠交互这几个功能目前还没有正式发布，需要等待后续系统的 OTA 升级。

Idea

用水滴来做转场

关键词：Portal、Transition

从一个场景切换到另外一个非常沉浸式的场景，除了直接使用类似 MoonPortal 这样直接使用传送门，也许我们也可以尝试使用类似 Jason Cooper ᯅ 在这里设计的这种，一个水滴由小变大的转场：

Tool

3D Icons：开源的 3D Icon 合集

关键词：3D、Icon、Blender

3D Icons 是一个开源的 3D Icon 合集，提供了非常多的免费（可商用）的 3D Icon 资源，我们可以直接以多种格式来使用这些 3D Icon（包括基于 Blender 来二次修改）。

WWDC Notes

关键词：WWDC、Sessions、Swift-Doc

众所周知，学习 Apple Vision Pro 以及 Apple 相关框架开发的一个最好方式就是直接看历年 WWDC 的 Session 视频，不过，这么多的视频，一个个看下去总归是有点累的。有时候为了效率，你可以直接来 WWDC Notes 这个网站先来看看是否有社区的朋友已经帮你看过，并对你要看的 Session 做了一些笔记总结。

整个 WWDC Notes 网站都是基于 Apple 的 Swift-Doc 生成的，并且整个笔记的内容都是开源社区维护的。如果你对这个项目感兴趣，也可以 点击这里 给这个项目贡献一份力量。

Video

Blender Tutorial 4.0

关键词：Blender、Tutorial

如果你想学习 Blender，那么 Blender Guru 的这套经典的 Blender 4.0 甜甜圈教程 是你一定不要错过的一套教程。这套教程从 Blender 2.x 时代就广受好评。

Meta Immersive Debugger

关键词：Meta、Unity、Debugger

所有调试过沉浸式的 VR 游戏的开发者可能都会有一个共同的痛苦：在调试沉浸式游戏场景时，无法看到自己的显示器，进而看到 IDE 上的控制台输出，或者是通过 Debug 工具开启和关闭一些选项。

好在，Meta 最近的 Meta Immersive Debugger 一定程度上解决了这个问题，这个 Debugger 提供了一些内置的调试选项，同时开发者也可以自己对开关进行设置。Dilmer Valecillos 也在他的 新一期视频 中对这个工具进行了详细的阐述。

Code

HLS 360 Video Material for visionOS

关键词：Apple Vision Pro、Material、HLS

如果你是一个果粉，相信你一定在一些 Apple 官方的直播活动中看到过 HLS 这个术语。这是一种 Apple 推出的视频直播协议。

在 HLS 360 Video Material for visionOS 这个项目中，Yasuhito Nagatomo 基于 RealityKit 的 Material，实现了一个 HLS 版本的 Material，使其能够在天空球中播放 HLS 的直播视频。

本期贡献者

御姐

思琦

本期封面，我们分享的是 Ilknur Citak 制作的 Vision Pro Music Player。

刊首语：Quest 玩家的坏消息和好消息

过去的一周，对于 Quest 玩家来说，可能是好坏参半的一周。

一方面，IGN 已经证实，Meta 将会无限期的延期 GTA San Andreas VR（侠盗猎车手：圣安地列斯）这个项目的发布，主要原因是 Meta 需要将精力集中在其他更加重要的项目上。毕竟：

在《GTA 圣安地列斯》无限期推迟之际，Meta 公司正在 VR 游戏市场上损失数十亿美元。Yahoo Finance 在本月早些时候发布的一份最新报告中称，Reality Labs 部门正在烧钱，仅在 2023 年，以 VR 为中心的部门就将累计亏损 160 亿美元。

另一方面，此时的 Meta 开启了八月大促，在八月大促的结束日期到来之前（太平洋时间 8 月 25 日），一大波游戏 将会一来最多 74% 的折扣。

目录

News

• Apple Vision Pro 更新了新的沉浸式视频

• Spline Summer Event: Real Time API & Webhooks、Android Support、Code API

• Meta 上架了一个新的 App：Meta Quest HDMI Link

Activity

• VisionHack：全球首个线上的 visionOS 线上 Hackathon

Video

• Intro to Bezi 101：Bezi 的系列入门视频

• 利用 RealityKit 和 Reality Composer Pro 制作一个盒子的传送门

• 提前开箱 Surreal Touch：世界上第一个为 Apple Vision Pro 设计的 VR 控制器

Code

• SharePlayMock：帮助你测试 SharePlay 的通信逻辑

News

Apple Vision Pro 更新了新的沉浸式视频

关键词： Apple Vision Pro、Immersive Video

在 022 期，我们提及过下半年我们将在 Apple Vision Pro 的 Apple TV 上看到更多的沉浸式视频，这不，本周，WildLife 的第二集：Elephants 就来了。在这一集中，我们将跟随导演的镜头，前往肯尼亚的大象孤儿院，了解这里的人们是如何和大象友好共存的。

Spline Summer Event: Real Time API & Webhooks、Android Support、Code API

关键词：Spline Summer Event

自从 2023 年年底的一系列重大功能发布后（对应我们的 015 期），Spline 团队就进入了忙碌的开发周期。不过上周，在 Spline Summer Event 上，Spline 团队宣布了一些令人振奋的数据：目前每天都会有 200 万人使用 Spline 来设计和分享他们的 3D 设计。

同时，在 Summer Event 上，Spline 还发布了三个非常有趣的新功能：RealTime API & Webhooks、Android Support、Code API。让我们一个个来看看。

首先来说说 RealTime API & Webhooks，简而言之，Spline 现在可以接受来自网络 API 的数据作为 3D 模型的数据输入源了，同时模型中的各种交互也可以向外部的 API 服务器发送请求。这样一来，我们就可以让我们的 3D 模型根据现实世界的数据来展示了。例如，利用这项能力，我们就可以直接根据现实世界的实际情况生成好看的 3D 图表了，甚至，如果愿意的话，做一个实时的天气应用也不在话下。

试想一下，如果利用这个 API 将 3D 场景和 AI 的各种 API 连接，是不是瞬间就可以做一个非常有趣的交互式游戏了呢？看看下面的这个有趣的小鸭子，我们可以让他的行动和对话框都通过 AI 来控制。甚至为了方便开发，Spline 还专门提供了 OpenAI API 的能力，帮助你快速的集成 OpenAI 的各项能力。

这两项功能在 Spline 中可以立马使用到，所以你可以立马上手来体验了。

第二个重大功能是对 Android 平台的支持，和之前对 iOS 平台的支持一样，Spline 也是直接从底层的渲染引擎层进行了对接，只不过在 Andorid 平台是对接 Vulkan，从 Spline 现在可以无缝运行在各种 Andorid 设备上，例如折叠屏手机、Android TV 等。这项功能目前已经开启测试版本，预计 2024 Q4 可以正式发布。至此，Spline 已经基本完成了 Web、iOS 、Android 三大平台的原生支持工作。

第三项更新则是 Code API，当我们在 Web、iOS、Andorid 平台集成 Spline SDK 之后，可以通过变量、属性、事件监听来对集成的 Spline 视图进行更加精细化的操作了：

这项功能目前只是在 Web 平台提供了直接的 API，iOS 和 Android 平台还需要再等等（预计在 2024 Q4 开始测试版支持）。

Meta 上架了一个新的 App：Meta Quest HDMI Link

关键词：Meta Quest HDMI Link

Meta 最近推出了一款叫做 Meta Quest HDMI Link 的软件，可以让你从支持 HDMI 或者 DP 输出的设备以 1080P 的清晰度将画面直接投屏到 Quest 上。不过，要想实现这个功能，还得额外购买一个兼容 UVC 和 UAC 的硬件采集卡才可以。

Activity

VisionHack：全球首个线上的 visionOS 线上 Hackathon

关键词：Apple Vision Pro、Hackathon、OnLine、Huge Bonus

还有不到一个月，VisionHack 这个盛大的全球范围内的 visionOS Hackathon 就要开始了（9.13-9.15）。经过紧锣密鼓的筹备，此次 Hackathon 最终将会给获奖的优秀参赛者提供总计 $25K（合计人民币 18W）的现金和奖品。

另外，不但有线上场，还会有线下场次，如果你正好住在纽约、旧金山、巴黎、蒙特利尔和圣路易斯 这几个城市附近，你可以通过 这个链接 参加此次比赛的线下场次。

此次比赛也邀请了国际上众多 visionOS 和 XR 行业的优秀开发人员来做分享或者参与评奖：

如果你对这个活动感兴趣，想要参加并了解更多细节，欢迎和 Onee 联系～

Video

Intro to Bezi 101：Bezi 的系列入门视频

关键词：Bezi、101、Introduction

作为一款十分好用的基于 Web 的 XR 原型设计工具，我们分别在 003 和 011 向大家做过介绍过 Bezi。最近 Bezi 官方为了帮助大家能够更好的了解 Bezi，也推出了 Bezi 101 系列视频，旨在帮助大家从概念、原型、协作、设计等方面了解应该如何使用 Bezi 来助力 XR 开发。

利用 RealityKit 和 Reality Composer Pro 制作一个盒子的传送门

关键词：RealityKit、Reality Composer Pro、Box Portals

如果你玩儿过 Moon Portal，你可能会好奇在 visionOS 中这种传送门应该如何去实现。

在 Sarang Borude 的这个 “How to make a Box of Portals in your Apple Vision Pro app using RealityKit and Reality Composer Pro” 视频中，你的疑惑就会得到解答。在这里，Sarang 为我们创造了一个有四面墙的 PortalBox，并在教程中一步步为我们讲述了每一个步骤所需要的注意事项。

另外，如果你对 Portal 的效果感兴趣，在看完这个视频以后，你还可以去看看 WWDC 24 上 关于 visionOS 2 中 PortalComponent 的更新，了解一下 visionOS 2 中为 ProtalComponent 增加的允许穿越的功能。

提前开箱 Surreal Touch：世界上第一个为 Apple Vision Pro 设计的 VR 控制器

关键词：Apple Vision Pro、SteamVR、Controllers

借助强大的手势识别，Apple Vision Pro 成功成为了第一个不需要手柄的空间计算设备。不过，一些传统的 VR 玩家可能并不为此买账。不过，有需求，就有解决方案。在 Himels Tech 的 这个视频 中，他就为我们提前开箱了 Surreal Touch——这个世界上第一个专门为 Apple Vision Pro 设计的 VR 控制器。

借助这两个支持 Type-C 的控制器，我们可以直接利用 Surreal Link 这个 App，在 Apple Vision Pro 上直接串流玩我们 SteamVR 上的各种游戏。

目前，Surreal Touch 的正式售价还没有公布，不过如果你通过 Himels Tech 的 这个链接 注册邮箱的话，可以获得一个最低 $249 的价格，感兴趣的话，就先来注册一下下吧～

Code

SharePlayMock：帮助你测试 SharePlay 的通信逻辑

关键词：SharePlay、Apple Vision Pro

SharePlayMock 是一个能够帮助你在进行 SharePlay 相关开发时，利用模拟器和真机直接进行本地通信调试，而无需和另外一个拥有 Apple Vision Pro 真机开发者联调的框架。

他的基本原理是，通过在 Mac 上开启一个 Server 以假扮自己是 SharePlay 提供的通信信道，以然后在代码中将 GroupActivity 相关 API 直接替换，以此来实现本地对 SharePlay 相关信息传输功能的调试。

// before

var sharePlaySession: GroupSession<PlayTogetherGroupActivity>?

// after

var sharePlaySession: GroupSessionMock<PlayTogetherGroupActivity>?

为了解释好这个框架的具体使用方式，作者还专门写了 一篇文章 来进行解释。

本期贡献者

御姐

思琦

本期封面，我们分享的是利用 Meshy.ai 生成的 光环机甲。

对应提示词：

Full tactical scifi body armor from Halo crysis infinite with a bit of iron man. black and blue colors for the armor and black for the joints, helmet with visor glow panel, halo helmet, scifi synthetic muscles from the Crysis nanosuit, #fashion show#

反向提示词：

weapon, sticking fingers, 3 fingers, 4 fingers, bad proportions, bright colors, missing limbs, joined together legs

刊首语

本周，PICO 官方宣布其将在 2024 年 8 月 20 日召开新品发布会。距离上一次的 PICO 4 Pro 的发布会（2023 年 4 月 27 日），已经过去了近一年半了。

而上一次 PICO SDK 的更新，也已经是半年前了，不知道此次的新品发布，会不会带着新的 PICO SDK 的更新呢？让我们拭目以待👀

目录

App

• 【Free】Camo Studio- 帮助你在 Apple Vision Pro 中分享见闻

Video

• FASTER Iteration With Meta XR Simulator - macOS Support Available!

Article

• How to Use Material Nodes in Reality Composer Pro’s Shader Graph

Code

• Computer Graphics Tools-Photos Example

App

【Free】Camo Studio- 帮助你在 Apple Vision Pro 中分享见闻

关键词：Apple Vision Pro、Spatial Persona、Stream、Record

如果你是一名 Apple Vision Pro 的忠实玩家，并且想把自己在 Apple Vision Pro 中的游玩体验通过直播分享给你的粉丝们，那你绝对可以试试 CamoStudio。

CamoStudio 是一款跨平台的直播和录制应用。除了可以直接在 Apple Vision Pro 中使用 Spatial Persona 结合当前视野进行直播和录制以外，用户还可以利用 iPhone 的摄像头，同时录制现实世界的样子。

另外，visionOS 版本的 CamoStudio 还可以直接在直播屏幕旁显示直播的评论，并通过类似无边记的画笔工具来对画面中的内容进行提示。

Video

FASTER Iteration With Meta XR Simulator - macOS Support Available!

关键词：macOS、Unity、Meta XR Simulator

对于一些需要进行频繁进行物理模拟和手感调试的 VR 游戏来说，不断的重复 编写代码 -> 打包程序 -> 戴上设备 -> 验证手感 的过程是相当繁琐的。还好，通过 Meta 提供的 Meta XR Simulator 可以将这个过程大大简化起来。在 Meta XR Simulator 中，除了一些场景的视觉内容，其他的例如手柄操作等一些功能都可以直接基于 Meta XR Simulator 来完成了。而 Dilmer Valecillos 的 这个视频 就为我们讲解了如何使用 Meta XR Simulator 来简化自己的开发流程，并提供了对应的 Demo 工程 来做示范。

对了，尤为重要的一点是，这个 Meta XR Simulator 还支持 macOS！

Article

How to Use Material Nodes in Reality Composer Pro’s Shader Graph

关键词：ShaderGraph、Xcode、Tutorial

对于大部分的 iOS 开发者来说，Shader 这个编程概念和 Reality Composer Pro 中的 Shader Graph 都是非常陌生的（尽管对于熟练掌握 Unity 的技术美术来说可能上手非常简单）。如果你想简单了解如何使用 ShaderGraph，可以参考这篇 How to Use Material Nodes in Reality Composer Pro’s Shader Graph

Code

Computer Graphics Tools-Photos Example

关键词：Shader、Metal

在 3D 图形的世界中，Shader 可以做到很多事情，只要技艺高，不怕没活忙。在下面的这个代码中，Lucky Iyinbor 借助 Metal Compute Shader、ARKit 和 RealityKit，做出了一个非常有趣的照片碎化为粒子球的特效：

完整的项目代码在 这里，除了当前的这个 Photos Example，在这个 Computer Graphics Tools 的 Organzation 中，还有其他一些帮助开发者在 Swift 中编写图形计算相关代码的框架：

顺带一提，之前在社交媒体上非常🔥的 在 Apple Vision Pro 中模仿布料效果的项目，也是出自 Lucky Iyinbor 的手笔。

本期贡献者

御姐

徐驰

思琦

本期封面，我们推荐的是 Roman Klčo 的 Mixed Reality Pokemon。

刊首语：稳中向好的 OpenUSD 规范

本周，AOUSD 有了两位新的“重量级”成员加入：微软和索尼。和这两个重量级成员一起来的，还有 AOUSD 的三个新的工作组，以及 OpenUSD 的 v24.08 版本。

在写去年的 006 期 和 014 期 时，我还没想到，这个 Apple 主导成立的组织会获得越来越多的业界认可，这不，除了新的成员，在 AI 浪潮中乘风破浪而又风光无限的 NVDIA 也在用行动为 OpenUSD 的发展添砖加瓦：在最近的 SIGGRAPH 大会上，NVDIA 宣布他们将提供 基于 OpenUSD 的一系列大模型的服务。从新闻稿上来看，这些服务主要适用于帮助用户使用自然语言生成 OpenUSD 相关的处理代码、3D 模型的材质等，并且主要是在工业和工程领域中使用，以帮助 Apple Vision Pro 能够被利用在工业场景。

除此之外，根据 WWDC 2024 Session，macOS 上的 Finder 也将会在新的 macOS 上支持对 usd 文件进行简单的编辑，按照这个趋势，很有可能再过几年，usd 就会成为 3D 模型领域的 jpg 格式。

目录

Recap

• 用 OpenXR 帮助 XR 行业成长——高通和神木是怎么做的

News

• 使用 “SUPERHOT VR” 可以获得 Meta Quest+ 的半价优惠

• 本周开始（2024-08-05）Meta AppLab 上的应用将会转移到 Meta Horizon Store

Activity

• VisionHack：全球首个线上的 visionOS 线上 Hackthon

Idea

• 3D Interactive Icons

Tool

• Helm for App Store Connect

Article

• PDF：Create virtual and mixed reality experiences in Unity

• Apple Document——ShaderGraph

Code

• RealityKit Terrain Shader

App

• Spatial Physics Playground（Free）

Job

• ILLUSION Tech：前端开发、内容社群运营、运维开发、3D 内容设计师

Recap

用 OpenXR 帮助 XR 行业成长——高通和神木是怎么做的

关键词：OpenXR、Snapdragon Spaces、Enlight XR

在 这篇文章 中，我们深入探讨了高通在 XR 领域推出 Snapdragon Spaces XR Development Platform 的举措，以及由此引出的 OpenXR 相关内容，以及神木科技在本地化落地所做出的各项工作。

Tips

在最近的 Meta Quest v68 中，Meta 还为 OpenXR 提供了一种新的算法，从而让 OpenXR 程序的延迟和卡顿减少。

News

使用 “SUPERHOT VR” 可以获得 Meta Quest+ 的半价优惠

关键词：Meta Quest+ Subscription

Meta Quest+ 是 Meta 推出类似索尼的 PS+ 或者 Xbox 的会员订阅服务，订阅这项服务后，用户只需要每月支付 $7.99或每年$59.99 就可以畅玩 Meta 给出的 游戏目录 中的所有游戏，并且可以将每月赠送的两款游戏加入到自己的游戏库中（只要保持订阅，就可以一直游玩），同时，购买一些游戏时可以享受限时的优惠折扣。

从八月三号开始一直到八月三十一日，如果你想订阅 Meta Quest+，你可以使用 “SUPERHOT VR” 来获得半价的优惠。

如果你最近有计划订阅 Meta Quest+，那建议你不要错过这一次的折扣。

本周开始（2024-08-05）Meta AppLab 上的应用将会转移到 Meta Horizon Store

关键词：Meta、AppLab

今年 4 月的时候，Meta 已经宣布要把 Meta Quest OS 更名为 Meta Horizon OS，并将应用商店更名为 Meta Horizon Store，以显示其转向混合现实的决心。

本周开始，原本作为内测渠道的 AppLab 也将被合并到 Meta Horizon Store 中，原本的内测用的 AppLab 会以 Early Access 的形式存在于 Meta Horizon Store 中。整体的这套流程就和 Apple 的 AppStore 以及 TestFlight 就非常相似了。

不过，对于大部分 AppLab 的开发者来说，并没有特别要做的事情，当 AppLab 合并到 Meta Horizon Store 后，在 AppLab 发布过 App 的开发者会收到一封确认邮件。

Activity

VisionHack：全球首个线上的 visionOS 线上 Hackthon

关键词：Hackthon、Apple Vision Pro

九月十三日到十五日，visionOS Dev Partners 将会举办一场线上的 visionOS App Hacthon——VisionHack。如果你对自己的创意有自信，或者想和国际上的开发者通过 Discrod 和 Spatial Persona 一起交流，你就可以来参加这场 Hackthon。

需要注意的是，参加者需要支付 $25 的费用以保证参与度。

Idea

3D Interactive Icons

关键词：3D、Interactive

如何让一个 App 的交互显得十分生动？当用户查看图标时，图标有一些对应的动画进行播放，这一定会让 App 内部的交互变得灵动起来的。bigloong 也在他的这个 设计 中，向我们展示了类似这样的交互：

如果你想看到这个交互的实际效果，可以直接通过 Spline 预览地址 来实际查看。

令人高兴的是，visionOS 2 中，也提供了新的 CustomHoverEffect API 来让开发者实现类似的效果（更加完整的开发方式可以在 Create custom hover effects in visionOS 这个 Session 来了解）

Tool

Helm for App Store Connect

关键词：App Store Connect、visionOS

Helm for App Store Connect 是一款帮助开发者提交 AppStore 的原生开发的 macOS 应用。

使用这款应用，我们可以在提交应用时获取到很多的实用功能，例如自动将提交的描述翻译为多种语言，利用模板恢复应用评论、自动检查应用描述的重复或者不利用应用搜索的描述。

这对于频繁要提交应用的独立开发者来说，确实是一个非常好用的提效工具。

Article

PDF：Create virtual and mixed reality experiences in Unity

关键词：Unity、VR、MR

最近 Unity 在其 官方社区 发布了一个新的 VR/MR 体验指南。在这个指南中，Unity 主要阐述了以下内容：

• 在 XR 中构建世界的基本要素，如设计目的、实施音频和视觉提示、添加交互元素等

• 在 XR 中创建资产时应遵循的提示，以便在开发周期后期节省时间

• 新的 VR 项目中每个开发阶段的决策因素以及 Unity 中的实际步骤

• 在 Apple Vision Pro 上进行 MR 开发的实际技巧

Apple Document——ShaderGraph

关键词：ShaderGraph、RealityComposerPro

WWDC 2023 发布 Reality Composer Pro 后，Reality Composer Pro 中的 ShaderGraph 部分的文档一直是缺失状态。不过还好随着时间的推移，这部分的文档 也逐渐被补充上来了。如果你想了解 ShaderGraph 的细节内容，非常建议你来翻翻看这个文档的细节内容。

Code

RealityKit Terrain Shader

关键词：RealityKit、Github、Shader

在游戏引擎的术语中，Terrain 一般指的是专门用于场景布置的技术。尽管这项技术目前在 visionOS 中还处于缺失状态，RealityKit Terrain Shader 这个项目就为我们展示了如何使用 Fractal Brownian Motion (fBM) 技术，通过一系列的参数来创建一个复杂的地形。

不过可惜的是，目前 RealityKit 中 CustomMaterial API 还只能在 iOS 和 macOS 上使用，因此这个项目还不能用于 visionOS。不过当下我们可以先来学习的技术，未来等 visionOS 支持了 CustomMaterial 再来直接迁移。

如果你对详细的技术内容有兴趣，可以看一下作者写的配套文章：RealityKit Terrain Shader。

App

Spatial Physics Playground（Free）

关键词：Physics Simulator

Spatial Physics Playground 是一款简单而又充满趣味的物理模拟 App，借助 Apple Vision Pro 的空间感知能力，这这款 App 可以让你对 visionOS 的物理模拟和虚实结合能力有一个直观的认知。

Job

ILLUSION Tech：前端开发、内容社群运营、运维开发、3D 内容设计师

ILLUSION Tech 是一家聚焦 XR 领域的科技公司，「Seasons」是 ILLUSION 旗下首款 Apple Vision Pro 应用，上线后即获得 Apple 官方多次推荐。

公司正在研发一款空间内容的创作工具，推动更多优质空间内容的出现。

目前公司在招岗位：

岗位名称 岗位需求 Base 地 招聘类型 前端开发 SwiftUI 高手，熟悉 ARKit、 RealityKit 等原生 AR 框架，了解 Unity ARFoundation 等三方 AR 框架 深圳 社招、校招 内容社群运营 有内容分享产品的工作经验，有 Twitter、Reddit 等海外媒体的运营经历，能使用英语进行日常对话 深圳 社招 运维开发 1. 负责产品整体云服务架构搭建，确保高可用、高安全、低成本

2. 负责 DevOps 研发运维流水线构建

3. 负责产品大数据分析能力构建


加分项：有 AWS、Cloudflare 经验者 深圳 社招、校招 3D 内容设计师 Composer/Unity/Unreal 等工具有使用经验，有 Shader 设计经验。关注 AR 行业最新进展，对于体验设计有个人理解。 深圳 社招

如果你对以上岗位感兴趣，欢迎投递个人简历到 aaron@illusion.tech。

本期贡献者

御姐

思琦

XR 基地是一个专注于 XR 领域的创作者社区，我们的目标是 让 XR 开发变得更简单！

如果您熟悉中文，您还可以通过以下方式找到我们:官方网站CN, 微博, 即刻, 微信公众号, 稀土掘金。

本期封面，我们分享的是来自 Aurélien Salomon UX 所构建的 Airbnb - AR/VR Animation Concept。

刊首语

Hi，好久不见！我是 XR 基地的主编思琦！

在今年春天组织完 Let's visionOS 2024 全球创作者大会后，我们充分感受到了整个生态对空间计算的热情，让我们通过下面的短片再次重温一下活动现场的盛况吧。

不难发现，在这次活动结束后，XR 基地进入了一个短暂的休整期，我们的 XR World Weekly 和 visionOS 的教学内容都停止了更新；不过，现在我可以很高兴的向诸位宣布 - We are back！

是的，XR 基地回来了！

在这段看似“休息”的时间里，我们与许多国内外的开发者和企业进行了交流（这个数量可能远超你想象），你可能在互联网上看到很多人会说这个设备太笨重了，这个交互太差劲了，这个东西的销量太低了，这些信息总会让你有一种空间计算要完蛋的感觉；但通过我们实际的观察，我们认为开发者和企业在这方面的探索是远超大家想象的，而且这些变化是具有实际意义和想象空间的。

就好比 Apple Vision Pro 在中国正式发布后的一个月时间里，虽然媒体各种唱衰市场，但中国的互联网大厂纷纷下场拿出了自己的作业，这就好比嘴上说不要不要，但身体依旧很诚实的典范。

同时社区里对 AVP 的探索也呈现出越来越多元化的趋势，例如我最近关注到的两个社区项目：

• BunnyVisionPro: Bimanual Dexterous Teleoperation with Real-Time Retargeting using Vi

• VisionProTeleop: VisionOS App + Python Library to stream head / wrist / finge

说实话看到这两个项目时，我首先想到的就是《钢甲铁拳/Real Steel》里宙斯和亚当的那场催人泪下的拳击赛，还有这个电影里的一些世界设定，例如，“机器人拳击赛”这样的新型电子竞技项目。

这些看似遥不可及的东西，或许已经在当下，就在你我的身边慢慢的发展和进化中。

我想说，未来已来，你愿意和我们一起上路么？

目录

Activity

• 高通 Snapdragon Spaces XR 技术全国巡回沙龙·北京站

News

• 下半年，你可以在 Apple Vision Pro 看到更多的沉浸式视频了

• Apple Vision Pro 有新的虚拟环境可以查看了

• 你现在可以替换 Persona 的背景了

Idea

• 用手势玩游戏，也许我们可以更有创意一些

Code

• visionOS 2 30 Days

Video

• 在 visionOS 中如何做一个泡泡：Reality Composer Pro Shader Graph 教程

App

• Meshy.ai

Job

• ILLUSION Tech：前端开发、内容社群运营、运维开发、3D 内容设计师

Activity

高通 Snapdragon Spaces XR 技术全国巡回沙龙·北京站

关键词：高通、Snapdragon Spaces XR

2024 年 8 月 3 日，高通 Snapdragon Spaces 技术全国巡回沙龙第一站将在北京拉开帷幕，本次 XR 技术分享会由神木科技携手中国电子云联合举办，并得到北京中关村创业大街科技服务有限公司鼎力支持。

本次技术沙龙汇聚众多 XR 行业领袖和创新者，将围绕 XR 创新应用案例分享来展开，为开发者带来最新的 XR 技术分享和解决方案，活动分为上午的 XR 应用分享专场和下午的技术实践专场与电子云元宇宙闭门交流会，您将有机会了解最前沿的 XR 技术应用，获取宝贵的行业 insights。

💡 Tips：

从报名入口填写问卷的小伙伴，记得在渠道中选择 “XR 基地”，将勾选渠道和完成问卷的截图发给“XR 基地”公众号后台，即可获得小礼品——少数派礼品三件套😉。

News

下半年，你可以在 Apple Vision Pro 看到更多的沉浸式视频了

关键词：Apple Vision Pro、沉浸式视频

终于，我们买的 Apple Vision Pro 能有更多“独家”的内容了！😆

在这篇 Apple 官方的文章 中，Apple 宣布下半年将会有更多的沉浸式视频 独家登陆 Apple Vision Pro 。这些视频包括：

发布时间 剧集名称 看点 预览图 已发布 Boundless 第一集:：Hot Air Balloons 搭乘热气球，俯瞰土耳其卡帕多西亚的奇异地貌

今年秋季 Boundless 第二集：Arctic Surfing 前往北极圈内的区域，找寻冰洋巨浪 🈚️ 今年秋季 Wild Life 第二集：Elephants 前往肯尼亚的大象孤儿院

今年秋季 Elevated 飞跃火山、翻越瀑布，发现全球最长岛链夏威夷不为人知的自然奇观

今年秋季 Submerged 以二战为背景，将带观众登上潜水艇，见证船员们如何在被鱼雷击中后求生

今年秋季 2024 年 NBA 全明星周末 观看新秀赛、扣篮大赛、史上首次 NBA 对 WNBA 3 分挑战赛《Stephen V.S. Sabrina》，以及全明星正赛

今年晚些时候 The Weeknd 的沉浸式表演 Apple Music Award 得主、获 7 次钻石销量认证的艺人的沉浸式体验

今年晚些时候 Red Bull: Big-Wave Surfing 见证冲浪高手在塔希提的提阿胡普海岸试图征服滔天巨浪

看的出来，所有这些沉浸式视频从设定来看，都是“大场面”，非常契合沉浸式视频的特点。

Apple Vision Pro 有新的虚拟环境可以查看了

关键词：Apple Vision Pro、Environment

在最新的 visionOS 2 beta 4 中，Apple 终于给系统的虚拟环境拼上了最后一块拼图：Lake Vrangla（沃朗格拉湖）。至此，所有的虚拟环境的拼图终于拼全了：

和之前的胡德山比起来此次的 Lake Vrangla 多了迷雾的效果，非常适合看恐怖片 :P

你现在可以替换 Persona 的背景了

关键词：Persona、Apple Vision Pro

在 FaceTime 之外，如果我们获取了 Apple Vision Pro 的前置摄像头，我们获得到的都是一个带有背景的 Persona 视频流。不过，这个视频流的背景我们是无法替换的。

在最近的 visionOS 2 beta 4 中，我们可以看到，在设置中我们已经可以修改 Persona 在 FaceTime 以外场景下的背景了，提供的背景除了虚拟环境的背景，用户还可以自己用照片来设置（越来越有 Zoom 等会议软件的味道了）

Idea

用手势玩游戏，也许我们可以更有创意一些

关键词：游戏、手势

如果用手势操作 RPG 游戏，我们应该怎么设计手势呢？也许，Gabriele Romagnoli 的这个用手指操作小人的创意可以给我们一些创意：

类似的场景，也出现在一部名叫 Her 的电影中：

Code

visionOS 2 30 Days

关键词：visionOS、30 Days

他来了他来了，在去年 visionOS 30 Days 广受好评，收获 2k Star 之后，我们的老朋友 Satoshi 今年又开始更新他的 2.0 版本—— visionOS 2 30 Days。目前整个项目进行到了 Day 2，如果你在去年一年的 visionOS 开发中也借鉴过 Satoshi 的代码，那就来继续给这个项目点个 Star 吧🤩

Video

在 visionOS 中如何做一个泡泡：Reality Composer Pro Shader Graph 教程

关键词：visionOS、RealityComposerPro

如果你玩过 Blackbox 这款 Apple Vision Pro 上知名的游戏，你一定会对其中各种真实的泡泡所吸引。

而在 Sarang Borude 的 这个视频 中，他就为我们讲解了如何使用 Reality Composer Pro 的 Shader Graph 来生成一个个拟真的泡泡。

App

Meshy.ai

关键词：Generated Model、

Meshy.ai 是一个能够快速通过文字、图片生成模型的 AI 工具，最近，Meshy 也推出了他们的 Apple Vision Pro 版本。当前的这个版本中，我们可以快速浏览 Meshy 上社区积累的模型，并在 Apple Vision Pro 中以 Volume 的形式缩放和移动：

Job

ILLUSION Tech：前端开发、内容社群运营、运维开发、3D 内容设计师

ILLUSION Tech 是一家聚焦 XR 领域的科技公司，「Seasons」是 ILLUSION 旗下首款 Apple Vision Pro 应用，上线后即获得 Apple 官方多次推荐。

公司正在研发一款空间内容的创作工具，推动更多优质空间内容的出现。

目前公司在招岗位：

岗位名称 岗位需求 Base 地 招聘类型 前端开发 SwiftUI 高手，熟悉 ARKit、 RealityKit 等原生 AR 框架，了解 Unity ARFoundation 等三方 AR 框架 深圳 社招、校招 内容社群运营 有内容分享产品的工作经验，有 Twitter、Reddit 等海外媒体的运营经历，能使用英语进行日常对话 深圳 社招 运维开发 1. 负责产品整体云服务架构搭建，确保高可用、高安全、低成本

2. 负责 DevOps 研发运维流水线构建

3. 负责产品大数据分析能力构建


加分项：有 AWS、Cloudflare 经验者 深圳 社招、校招 3D 内容设计师 Composer/Unity/Unreal 等工具有使用经验，有 Shader 设计经验。关注 AR 行业最新进展，对于体验设计有个人理解。 深圳 社招

如果你对以上岗位感兴趣，欢迎投递个人简历到 aaron@illusion.tech。

本期贡献者

御姐

思琦

Subscribe now

炫目的粒子效果总是能让人感觉非常有趣，本期封面，我们分享的是来自 zhantemir31 借助 Spline 所创建的 a start like our own。

目录

BigNews

• Apple 上线了 visionOS App Store 的网页版

Idea

• AmazedVR：在这里观看高清的全景 180° 视频

Tool

• Ensemble：将 Mac 屏幕投影到 Vision Pro 的开源软件

Article

• What you should know about visionOS volumes before using them in an app

Code

• Vortex：SwiftUI 上好用的粒子系统开源框架

• Vision Panes：Vision Pro 多窗格展开动画工具包

• ImmersiveMoveAndRotate：visionOS 的沉浸式场景如何移动和旋转物体

• SpatialMediaKit：又一款 Mac 上免费 MV-HEVC 与普通格式互转的命令行工具

• HandVector：Vision Pro 上的手势匹配工具包

QuickNews x 12

Work x 1

BigNews

Apple 上线了 visionOS App Store 的网页版

关键词：Apple Vision Pro、App Store

Apple 最近上线了 Web 页面版本的 App Store，这里汇集了不少 Apple 推荐的 Apple Vision Pro 应用。如果你还在纠结要不要购买 Apple Vision Pro，不如先来这里看看有没有什么好玩的 App 打动你😉

Idea

AmazedVR：在这里观看高清的全景 180° 视频

关键词：Apple Vision Pro、演唱会

感谢网友 在云端 的推荐

除了 Apple TV 和 Disney+ 上的 2D、3D 视频，如果你还想在 Apple Vision Pro 上寻求视频观看的新体验的话，这里我们推荐一款 App —— AmazedVR，这是一款提供 180° 视角演唱会观看的 App，其内置的视频都是 8K 分辨率，结合 Apple Vision Pro 的高清画质临场感非常强（尽管代价就是磁盘占用很大，一段 16min 的视频需要 19G 的磁盘空间）

除了常规的视频播放，AmazedVR 中还有一些和手势相关的交互，例如，我们可以通过比爱心手势发送特定的爱心弹幕。

Tool

Ensemble：将 Mac 屏幕投影到 Vision Pro 的开源软件

关键词：Vision Pro、Mac

Ensemble 是一个免费开源的投屏软件，可以将多个 Mac 屏幕投影到 Vision Pro 上观看使用。它分为两个部分： Mac 版和 Vision Pro 版，可以下载代码并在两个设备上分别运行，或者加入 TestFlight，使用提供好的版本。使用效果如下：

目前版本使用时需要在 Mac 上进行三步操作：

• 允许录屏权限，用来分享 Mac 的屏幕

• 允许辅助功能权限，用来将 Vision Pro 上的操作同步回 Mac

• 将 ensemble_helper_v1.sh 复制到资源库中：/Users/你的用户名/Library/Application Scripts/com.saagarjha.MacCast 下

然后在 Vision Pro 上打开对应软件，正常情况下就会自动连接，选择要显示的窗口即可。

Article

What you should know about visionOS volumes before using them in an app

关键词：visionOS、Volume

Volume 在 visionOS 中是一个非常新奇的存在， 在此之前，Apple 生态的开发者们很少在 3D 空间中像操作平面一样去操作 3D 控件。

本文 主要讲解了在 visionOS 中使用 Volume 的一些注意事项，这些注意事项包括：

• 和 Window 不同，Volume 的边界是不能被缩放的

• Volume 最大大小是一个长度为 2 米的 Box

• 和 Window 相同，我们无法设定 Volume 的初始出现位置，只能让 Volume 从用户正前方出现（有些时候这个设定确实很烦）

另外，如果你在开发过程中，遇到了奇奇怪怪的 Volume 的边界被裁剪的情况，也可以查看作者的 另一篇文章 来了解目前 visionOS 在这个方面的设定规则。

Code

Vortex：SwiftUI 上好用的粒子系统开源框架

关键词：粒子系统、SwiftUI

Vortex 是一个为 SwiftUI 设计的强大粒子系统框架，借助这个框架，你可以在 SwiftUI 中利用简单的代码，创建一些炫目的粒子效果，例如火焰、烟花等。

整体的使用方式也非常简单，只需要像普通的 SwiftUI 项目一样给 View 增加 Modifier 即可：

VortexView(.fireworks) {

Circle()

.fill(.white)

.blendMode(.plusLighter)

.frame(width: 32)

.tag("circle")

}

得益于 SwiftUI 的 “跨平台”特性，Vortex 目前也支持了 Apple 的多个平台，包括 visionOS：

项目的作者 Paul Hudson 也在 他的这个视频 中介绍了这个开源框架的一些基本情况，如果你更喜欢观看视频，也可以通过这个视频来了解 Vortex。

除此之外， Paul Hudson 也维护了在 iOS 圈子中享有盛誉的教程网站—— Hacking With Swift 。如果你对 Swift 感兴趣，也可以在 Hacking With Swift 上看到不少高质量的教程。

Vision Panes：Vision Pro 多窗格展开动画工具包

关键词：Vision Pro、SwiftUI

VisionPanes 提供了多个窗格展开、关闭的动画支持，你可以利用它给 Vision Pro 中的 App 添加窗口尺寸变化功能，充分利用 Vision Pro 中的无限屏幕的特点。已支持 Swift Package Manager（SPM），可导入你的项目中直接使用。

不仅支持左右窗格展开与关闭，还支持上下窗格，形式灵活多样，使用方便。

ImmersiveMoveAndRotate：visionOS 的沉浸式场景如何移动和旋转物体

关键词：Vision Pro、SwiftUI、DragGesture、RotateGesture3D

ImmersiveMoveAndRotate 项目演示了 visionOS 上的沉浸式场景中如何使用 RealityView 呈现 ModelEntity，以及如何使用 DragGesture 拖动该实体并使用 RotateGesture3D 旋转该实体。

这个示例项目当前只允许沿 X 轴和 Z 轴移动物体，以防止用户将物体从地面上抬起。不过，只要简单修改 EntityMovementViewModifier.swift 中的代码，沿 Y 轴移动也很容易实现。

SpatialMediaKit：又一款 Mac 上免费 MV-HEVC 与普通格式互转的命令行工具

关键词：Spatial Video、MV-HEVC

在 19 期 中，我们推荐过 spatial 这个工具，这是一个可以在 Mac 上完成 MV-HEVC 与普通视频互转的命令行工具，这次的 SpatialMediaKit 也是类似的，它可以完成两种格式视频的互相转换，这包括两个子命令：

1. split：获取 MV-HEVC 文件，并将左眼和右眼作为当前目录中的单独文件输出。输出格式为 ProRes 422 HQ，仅限视频。用户应熟悉 ffmpeg 等工具，以满足所有其他需求，包括重新将音频重新加入。

2. merge：获取两个视频文件（左右），并将其重新编码为 MV-HEVC 文件。输出仅为视频。用户应熟悉 MP4Box 等工具，以满足所有其他需求，包括将音频重新加回。

HandVector：Vision Pro 上的手势匹配工具包

关键词：Vision Pro、SPM

HandVector 是 Vision Pro 上的手势匹配工具包，支持 Swift Package Manager（SPM）导入使用。它利用 余弦相似度 算法计算单手的手势与预先录制好的手势之间的相似度。

该项目同时还整合了 VisionOS SimHands 的功能用于模拟器调试，让没有 Vision Pro 真机的用户也可以在模拟器上测试手势功能。更多介绍可以看 这里。

Quick News

Tips

如果你不想阅读文字，你也可以前往播客 「 XR 产品谈」—— 「XR 动态早知道」 收听。

苹果 podcast 搜索 「 XR 产品谈」 或直接前往 这里

小宇宙 搜索 「 XR 产品谈」或点击 这里

1. Apple Vision Pro 或将在中国、澳大利亚、日本等9国/地区推出;

2. 苹果宣布增加在华投资，新设应用研究实验室;

3. 华为面临 Vision Pro 商标无效宣告申请;

4. 传 Meta Quest 可能推出 VR 中显示 iPhone 全景图的功能;

5. 字节跳动投资芯片公司 InnoStar 支持 PICO 发展;

6. Pico 注册 PICO 4S 商标;

7. 索尼 PS VR2 暂停生产;

8. OpenUSD 联盟新增西门子、英特尔;

9. VR 跑步机 Omni One 首发搭载35款兼容游戏;

10. 生成式 3D 公司 Kaedim 获 1500 万美元融资;

11. 比利时 MicroLED 厂商 MICLEDI 完成 A轮融资;

12. NVIDIA Omniverse 宣布串流 Apple Vision Pro;

Work

• 【杭州-淘天集团-实习】Vision Pro 开发工程师

  • 【职位简介】如果你想感受 Vision Pro 这块饱含 “明天的科技” 的空间计算设备，如果你想从事最新最潮的 visionOS 研发，如果你想从无到有感受一款跨时代的 App 研发，欢迎你来投递该岗位

本期贡献者

苹果 API 搬运工

我就是御姐我摊牌了

笑爷

XR 基地是一个专注于 XR 领域的创作者社区，我们的目标是 让 XR 开发变得更简单！

如果您熟悉中文，您还可以通过以下方式找到我们:官方网站CN, 微博, 即刻, 微信公众号, 稀土掘金。

目录

BigNews

• visionOS 1.1 和 Xcode 15.3 发布了！

• PICO 更新了 5.9 系统，带来了 PICO 互联以及 Avatar SDK

Weekly App

• MagicRoom：给你的房间加点魔法

• 在 Spatial Station、ImmersiShare 和 Share Spatial 中分享你的空间视频！

Tool

• 在 Mac 上快速搜索 visionOS 的应用

Video

• GazeTrak：利用声音来进行眼球追踪？

Article

• visionOS 上的第 一个 1000 款应用

• Apple Vision Pro 在医疗健康领域有很大的可能性

• Create With Swift-Make it Spatial：高质量的 Swift 和 visionOS 开发教程文章

SmallNews

• 也许，Apple Vision Pro 中拟真的环境不只是全景视频

Quick News x 9️⃣

BigNews

visionOS 1.1 和 Xcode 15.3 发布了！

关键词：visionOS、Xcode

经过了一个多月的 beta 版本测试，visionOS 终于在本周发布了正式的 1.1 版本。接下来，让我们挑一些有意思的点一个一个来说～

先来说一个各种更新说明上都没有提及，但确实非常有用的更新：visionOS 1.1 解决了 在弱光环境下无法屏幕录制的问题。在此之前，如果你的房间很暗，你甚至无法进行录屏（除非你开启旅行模式才能绕过），Reddit 上的网友 也深深吐槽了这一点。

而在 visionOS 1.1 中，即便在几乎纯黑的房间，我们依旧可以进行屏幕录制。

除了解决屏幕录制的问题，在新版本的系统中，如果你要录制 Persona，你可以选择不再自己握持着 Apple Vision Pro 进行录制了。

而是可以在 Accessibility 中选择 Hand-Free 的方式，将 Apple Vision Pro 放置在一个地方，或者让别人来帮忙握持进行录制。

可能有人会问，这有什么意义呢？大概率，这体现了 Apple 对于自家产品的一贯定位：要让各种各样的人都能使用。就像 Equal Accessibility 的视频 中演示的那样，即便是一个没有双手的用户，也可以很好的使用 Apple Vision Pro。了解了这一点，就能理解为什么 Apple Vision Pro 在这里专门给出了一个 Hands-Free Capture 的选项了。

接下来就是对 Persona 本身质量的提升了，当然这一点是见仁见智的，来可以看看 NewAppleTimes 的对比，你会觉得 Persona 提升了吗？

从官方的更新说明来看，这次更新主要针对了头发、妆容、颈部、嘴巴的外观。顺带一提，这次更新也带来了 EyeSight、Mac Virtual Display（就是将 Mac 投屏到 Apple Vision Pro 的功能）的外观和稳定性提升，同时也更新了虚拟键盘的可靠性。

另外，此次更新后，除了 Settings、Photos、Safari、App Store、Messages，其他所有的官方 App 都可以被删除了。（这个逻辑更像是 iOS 上的逻辑在之前没来得及做）

另外，Apple 的老传统，跟着 visionOS 更新的，还有 Xcode 15.3，这个版本中并没有涉及到太多和 visionOS 开发相关的内容，可能唯一相关的，就是这个隐藏在 Editor > Canvas > Export Preview Screenshot 的小功能，通过这个，你可以直接在 Xcode 的 Preview 中导出自己的 App 的截图了。

总体来说，visionOS 1.1 和 Xcode 15.3 作为一个小版本更新，并没有带来非常丰满的更新内容，更多的还是一些基本功能的优化。

PICO 更新了 5.9 系统，带来了 PICO 互联以及 Avatar SDK

关键词：PICO、Unity、Avatar SDK

时隔大半年，PICO 终于迎来了一次新的系统升级—— 5.9.0（上次升级 5.8.0 还是在 23 年的 10 月）。在用户侧，PICO 带来了一个重大 Feature：PICO 互联。这是 PICO 将原本的串流助手全新升级后的产品。

借助 PICO 互联，Windows 和 Mac 的用户都可以直接在 PICO 中（像是 Apple Vision Pro 上的 Mac Virtual Display 一样，将电脑屏幕上的内容镜像到 PICO 上 ），并在 Mac 上，PICO 互联还支持在 Mac 连接的多个屏幕之间切换：

目前看来，PICO 互联在稳定性、清晰度还是足够可用的（最高支持 4K 分辨率（3840*2160），屏幕比例为 16:9 的屏幕），只不过现在由于 PICO 系统本身的多任务机制还不是很完善，当打开 PICO 互联时，无法打开其他 App 同屏操作，希望在后续的版本能够有所改进。

不过，得益于 PICO 互联的 “自动连接本电脑” 设置，当你戴上 PICO 时，你的电脑就会自动投屏到 PICO 上，这个体验感觉还是非常不错。

除此之外，PICO 在视频播放、手势识别都进行了一定程度的更新。

视频播放方面，PICO 主要针对自带的视频播放器提高了识别准确度，当你在 PICO 的文件管理器中打开各种 3D、180°、360° 视频的时候，PICO 会自动帮你识别到视频的格式并以正确的格式播放出来。另外，新的臻画模式，在播放 4K 视频的时候，视频的锐利度会有一定的提升。

手势识别方面， PICO 主要针对一些边界 case 进行了优化：

而在开发者这边，PICO 这次推出的 PICO Unity Integration SDK 2.5.0 版本中，终于提供了对 XRI 这个框架以及 Hands 的支持。

编者的话

早在 23 年 6 月的 002-Unity XR Interaction Toolkit 发布 2.3 版本 中，我们就介绍过 XRI 以及 Hands，当时还在还在说这个功能需要平台去支持，接近一年后的今天，PICO 终于支持了（官方文档 在这里），莫名有一种还愿的感觉 🫣

同时，PDC 工具 也支持了对手势的预览：

另一方面，开发者这边新推出的 Avatar SDK，也算是 PICO 填补上了虚拟人这块儿的一个开发者空白。在此之前，开发者在 PICO 平台上只能自建或者使用类似 Ready Player Me 这样的三方 SDK 来为用户创建虚拟人形象。PICO 早前也已经为用户提供了可以编辑自己的 Avatar 的功能（点击 我的 -> 编辑虚拟形象 就可以进入这个界面）：

只不过在此之前，开发者是没有接口获取到这些 Avatar 的，此次 Avatar SDK 就是将这些 Avtar（包括全身的骨骼模型）提供给开发者的。借助 Avatar SDK，开发者可以直接像获取其他 PICO 平台服务（例如账号）一样获取到这些 Avatar，在应用内部也可以弹出类似的 UI 来让玩家添加或者编辑 Avatar：

如果你想了解 Avatar SDK 具体怎么使用，可以来看看官方在 Github 上提供的 示例工程。

Idea

MagicRoom：给你的房间加点魔法

关键词：黑客帝国、visionOS

MagicRoom 是一款能够让你给现实世界加上一层 “空间滤镜” 的 visionOS App，借助 visionOS 上提供的 Scene Recontruction 的能力，MagicRoom 可以让你的周围看起来像是铺上了一层带有颜色的网格：

又或者是像是黑客帝国一样的数字雨：

尽管现在只有上面的这两个 “滤镜” 的效果，不过相信在未来，类似的滤镜在 MagicRoom 中会越来越多（终于，限制最终效果的，只有我们的想象力了😆）

在 Spatial Station、ImmersiShare 和 Share Spatial 中分享你的空间视频！

关键词：空间视频、分享

感谢网友 在云端 的推荐

在 Apple Vision Pro 上观看空间视频，真的有一种回到过去那个特定时刻的感觉。现在，通过观看世界各地朋友分享的空间视频，可以让我们足不出户感受世界各地有趣的活动，看到美丽的风景。如果你也有记录下了生活中奇妙的一刻，不妨也来分享你的空间视频吧！目前分享空间视频的方法有 3 种：

Spatial Station 是一款已经上线的应用，其拥有比较完善的用户系统，且已经有较多用户上传的空间视频。在首页还做了最新上传、当前热门、热门趋势等几个分块。但是目前的主要问题是用户上传的视频质量良莠不齐（比如存在一些有剧烈抖动会导致观看者头晕的影片、还有一些视差不突出没有特别三维感的影片）。

另外一款应用 ImmersiShare 也允许大家进行空间视频的分享。这个应用比较特殊，大家分享的视频其实是上传到开发者自己的 iCloud 上然后进行共享的，因此视频的加载速度会受到网络的影响。

除了在应用中进行空间视频分享、观看，我们还可以在 Share Spatial 这个网站上可以看到空间视频、空间照片、甚至全景图片。甚至还有一些艺术家分享他们创作的全景图片，非常震撼。现在 Share Spatial 也已经在测试他们自己的 App 了，之后大家就可以在 Apple Vision Pro 上更方便的进行分享、观看了 。

Tool

在 Mac 上快速搜索 visionOS 的应用

关键词：Raycast、vision.directory

在 019 期我们推荐的 vision.directory 最近也在 Raycast 这款广受好评的 mac 启动器上增加了一个 插件，让你能直接通过 Raycast 搜索 visionOS App。

Video

GazeTrak：利用声音来进行眼球追踪？

关键词：声纳技术、眼动追踪

眼动追踪是 XR 的一项关键技术，可以用于聚焦于用户注视的范围实现注视点渲染，从而降低系统的渲染压力，同时还可以用于一些 UX 的设计，比如现在 Apple Vision Pro 中的整体系统交互。

虽然将系统的交互完全交给眼动追踪还是会造成一些问题，比如对于需要频繁、快速来回切换实现的交互就会导致用户迅速的疲劳，同时较难平衡提供给开发者 API 来解锁更多可能性与用户隐私之间的问题。

然而想要利用摄像头实现精确的眼动追踪是一个很大的挑战。最近来自纽约康奈尔大学的研究人员公开了一种利用类似声纳技术取代相机来进行眼球跟踪的技术：GazeTrak。这项技术主要利用到 8 个微型扬声器，每个都可以发出频率高于 18 kHz 的声音。

因为这些信号都超出了大多数人的听力范围，所以人不会有感知，同时也不会受到噪声的干扰

研究团队表示，声纳技术应该具有几个优点：与基于摄像头的系统相比，GazeTrak 可以以低功耗进行运行，并且由于这项技术不需要持续数据记录，因此可以为用户提供更多的隐私。当然，它还可以降低 VR 耳机的制造成本和重量。而 GazeTrak 的主要缺点是由于每个人的眼球形状不同，需要集足够的数据进行模型的训练。

Article

visionOS 上的第 一个 1000 款应用

关键词：visionOS、AppStore

在 visionOS 上的第 一个1000 款应用 中，作者统计了目前 AppStore 上的 1217 款应用，并给出了这些应用的类型、定价相关方面的一些简单分析。

可以看到，和其他 XR 设备相比，visionOS 上的应用还是以效率和工具居多，这充分凸显了 Apple Vision Pro 和其他应用的不同之处——这不是一台游戏机，而是一台空间计算设备。

Apple Vision Pro 在医疗健康领域有很大的可能性

关键词：Apple Vision Pro、医疗健康

利用 XR 来帮助医生护士进行手术一直是一个美好的设想，但是因为各种原因，XR 技术从未完整的应用于真实的手术环境中，直到最近，根据 Daily Mail Online 的报道，在伦敦的一台真实手术台上，与外科医生一起工作的护士佩戴了 Apple Vision Pro 来帮助准备、跟踪手术并辅助其选择正确的手术工具。

不难发现，Apple Vision Pro 正在推动各个领域的发展。本周 Apple 也分享了一些来自医疗健康社区开发者开发的 visionOS 专属应用。利用 Apple Vision Pro 这个全新的平台，简化过往复杂的医疗流程，或者三维可视化医学影像都变得不再遥不可及。

比如，myMako 让外科医生能够以 3D 、直观和动态的方式轻松分享复杂膝关节手术的计划细节和见解。

CyranoHealth 则通过模拟医疗设备使用场景，帮助护士等一线工作人员熟悉新型、复杂的医疗设备（例如医用输液泵）的使用技能，从而减少工作的焦虑。

Epic Systems 则允许医生在 Apple Vision Pro 中进行手势绘图、与患者沟通以及病情分析等工作，这为未来的医疗应用开辟了新的协作和生产力工作流程。

除了帮助医生完成各项任务，我们也可以利用 Vision Pro 关注自己的身心健康，比如 Cedars-Sinai 的 Xaia 应用程序可以为用户提供智能对话式心理健康支持，用户还可以进行深呼吸练习和冥想。

当然还有很多医疗健康领域的应用，比如 Visage Ease VP 是为了改善患者护理，帮助低效的肿瘤委员会进行医疗数据的审查；Falcon Vue 目标是赋予医生查看所有医学成像数据的能力； Insight heart 让我们可以以 3D 的形式了解我们的心脏，并探索各种心脏状况。Cinematic Reality 让外科医生、医学生和患者可以在现实环境中查看通过医学扫描获得的医学影像图像。

同时 Nature 杂志 也表示 Apple Vision Pro 在医疗健康领域有很大的可能性。例如 Apple Vision Pro 先进的眼动追踪技术可能可以检测到晕动症、中风或痴呆的早期迹象。同时外科医生可以通过佩戴 Apple Vision Pro 增强其对于患者信息的认知，比如在手术过程中看到患者的血管结构，从而可以进行更精确的操作。

Create With Swift-Make it Spatial：高质量的 Swift 和 visionOS 开发教程文章

关键词：Swift、visionOS、Spatial、Accessbility

Create With Swift 是一个由 imaginary.institute 的开发者和设计师维护的网站，这里会分享很多如何使用 Swift 进行 App 开发的开发和设计心得。目前整个网站主要分为两个大板块：

• Make it Accessible：主要分享辅助功能相关的设计和开发文章

• Make it Spatial：主要分享 visionOS 相关的设计和开发文章

得益于设计和开发的通力合作，整个网站上的内容都非常简练且有用，并且经常会配以非常好看的插图，例如 这篇 讲解 visionOS 上 Icon 设计的文章，就使用了一个灵动的 Gif 来表示 Spatial Icon 的感觉，非常有趣且好看：

Small News

Apple Vision Pro 中拟真的环境不只是全景视频

关键词：Apple Vision Pro、Environment

Environment 是 Apple Vision Pro 上为数不多的官方 Fully Immersive 体验。所有第一次使用 Apple Vision Pro 的朋友都被场景的精细程度、环境中环绕的空间音频所震撼。很多人都以为这是全景图或全景视频，但其实这可能是 Apple 精心建模的场景！不信？请看魔法揭秘：

Apple Vision Pro 中的 Mount Hood Environment

透过 M1 的漫游视角我们可以看到，整个场景确实是建模出来的，而且为了减少不必要的算力开销，在人看不到的地方都直接省略了建模和贴图。再一次感叹 Apple Vision Pro 带给我们极致体验！

Apple Vision Pro 中的 Joshua Tree Environment

Apple Vision Pro 中的 Yosemite Environment

Quick News

Tips

如果你不想阅读文字，你也可以前往播客 「 XR 产品谈」—— 「XR 动态早知道」 收听。

苹果 podcast 搜索 「 XR 产品谈」 或直接前往 这里

小宇宙 搜索 「 XR 产品谈」或点击 这里

1. 苹果官宣3月21日上海直营店即将开业;

2. Quest v63 新增卧姿模式，适用 Quest 2 和 Quest Pro;

3. Meta Quest Link 升级：Quest 3 PCVR 游戏可 120Hz 刷新;

4. Meta Quest 设备推出新的支付方式 Quest Cash;

5. Meta 或将在 Connect 2024 上展示首款 AR 眼镜 Orion;

6. 本田展示由身体控制移动的 XR 万向椅 Uni-One;

7. PICO OS 5.9 更新：支持PC/Mac互联、增强手势精度、带来空间音频功能;

8. 4月20日，Rokid 官宣空间计算新品发布会;

9. 西门子医疗在 Vision Pro 上推出全息手术规划应用程序;

本期贡献者

我就是御姐我摊牌了

章子飏

笑爷

本期封面，我们分享的是 Mike Stang 所创作的 Instagram 4 VisionOS，目前我们见到的很多 Apple Vision Pro 上的应用的 2D 窗口还是沿袭着类似 iPad 上，只有一个区块的设计，并没有充分利用好 “空间” 这块更大的 “屏幕”，希望未来我们能看到更多的类似 Instagram 4 VisionOS 这样的多区块设计的 App。

写在前面

嗨，大家好哇，没有想到吧，这个周四，竟然突然看到了 XR 世界导览的出现😉，是不是很惊喜？

没错，为了能够尽量让我们每周都和大家见面，我们决定尝试一下，从 019 期开始，XR 世界导览将会由双周更新，改为单周更新。如无意外（比如台风、火山爆发），XR 世界导览将会在每周的周四和大家见面。

当然，要想保持周更，仅靠一个人的力量肯定是远远不够的，这里再次感谢 XR 基地的所有布道师小伙伴们。当然，如果你对 XR 世界抱有热情，想来多看看 XR 世界的各种好玩的，并通过 XR 世界导览传达给 XR 世界的各路小伙伴们，欢迎你前来加入 XR 基地的布道师小组。

要怎么加入？微信（添加 CallMeOnee）或者邮箱（renyujie@xreality.zone）都是可以的~

好了，话不多说，请来看看这一期的 XR 世界导览都会给你带来什么好玩的吧~

目录

BigNews

• Let's visionOS —— 三月底，我们为 visionOS 的创作者们打造的游乐场

Idea

• Bezel：Show Your iPhone in Apple Vision Pro

• Dino：帮助你在 Apple Vision Pro 上输入中文

Tool

• Unity 为开发者提供了一个新的 visionOS Project Template

• SplineMirror：你可以在 visionOS 上查看 Spline 里面创建的 3D 模型了

• Spatial：Mac 上免费转换 MV-HEVC 到普通格式的命令行工具

Code

• HandsRuler：用双手测量物体长度的 App 开源了

• ShaderGraphCoder：用代码编写 ShaderGraph

• ALVR for Apple visionOS：SteamVR 串流软件支持 Vision Pro 了！

QuickNews x 🔟6️⃣

BigNews

Let's visionOS —— 三月底，我们为 visionOS 的创作者们打造的游乐场

关键词：Apple Vision Pro 、visionOS Creators

来啦！🌟 首届 Let’s visionOS 创作者大会 即将于三月底在北京盛大开幕，🌆 3 月 30 日至 31 日，XR 基地的所有朋友想邀请你一起来聚焦 Apple Vision Pro 和 visionOS，探索未来的空间计算新趋势。这不仅仅是一次聚会，而是与全球创新者和爱折腾的先锋们深度交流的绝佳机会，现场还能直接体验 Apple Vision Pro，沉浸感受未来的模样📍

在这次大会上，XR 基地的小伙伴们邀请了非常之多的海内外开发者朋友🌍，他们将会分别带来各自在 Apple Vision Pro 上不凡的洞见，

• Jordi Bruin — 创意独立开发者，他的应用 Navi 在 2022 年荣获 Apple Design Award 提名，为视频通话带来实时字幕翻译，革新沟通方式。

• Devin Davies — iOS 开发界的佼佼者，其开发的 visionOS 菜谱应用 Crouton 以独特的 AR 计时器功能受到华尔街日报的高度评价，再加上其创意十足的「AR 摔盘子解压 App」Plate Smasher，展示了他在应用创新方面的非凡才华。

• Hidde van der Ploeg — 拥有十年开发经验的产品设计师，他的 visionOS 应用 NowPlaying 为 Apple Vision Pro 用户提供了升级版的音乐播放体验，成为 App Store 编辑推荐的明星产品。

• Adam Watters — 游戏开发的先行者，他利用 Godot 游戏引擎开发的 visionOS 应用为开发社区展示了更多元化的开发可能，开辟了使用非主流引擎开发高质量应用的新路径。

• 海辛和阿文 — 首个登上春晚舞台的 AI 空间视频作者，国内首屈一指的 AI 视觉艺术家。

在这为期两天的盛大会议上，我们将一起探索 visionOS 给我们带来的各种可能。如果你是：

• 工程师：你将会探索新平台下的尖端技术，挑战和解决方案，拓展技术视野。

• 设计师：你将会在空间计算领域探索全新设计理念，从五大洲的同行那里获得灵感，提升创造力。

• 创业者：你将会在新平台创始期，与新锐伙伴构建联系，寻找创业灵感与机遇。

• 科技爱好者：你将会紧随科技前沿，拓展认知边界，激发对未来的热情和创新动力。

🌟 开启国际化视野，拥抱出海机遇：3 月 30 日至 31 日，北京，与我们一起迎接科技革新的新篇章。🚀 点击链接，抢占你的位置，进入空间计算的新时代。

Idea

Bezel：Show Your iPhone in Apple Vision Pro

关键词：Apple Vision Pro、iPhone、Mirror

Bezel 是一款能够帮助你在 Mac 上投影 iPhone 屏幕的 App，最近他针对 Apple Vision Pro 也推出了一款 App，能够帮你将 iPhone 投影为独立窗口。

如果你想在 Apple Vision Pro 多窗口使用一些目前只能在手机上使用的 App，例如上图那样，你可以尝试一下这个 App。

另外，和 Mac 上的 App 一样，Bezel 也提供了非常精美的 iPhone 外壳，只不过，这次外壳是全 3D 的！

Dino：帮助你在 Apple Vision Pro 上输入中文

关键词：Apple Vision Pro、Chinese Input

即便是国行版本还没有出，但是中国的开发者和消费者对 Apple Vision Pro 的热情并没有减少一点点🤏。

不过，当大家的 Apple Vision Pro 到手以后就发现，目前 visionOS 并没有提供中文的输入法以及语音识别，不得不说目前在 Apple Vision Pro 上想输入中文还是非常艰难的。

Dino 就是为了解决大家的这个问题而推出的。利用 Dino，你可以在离线情况下，通过语音的方式输入中文，当输入结束后，Dino 会自动将文本内容添加到剪贴板，同时你也可以通过拖拽的方式来将其拖拽到任意的文本框中。

不得不佩服作者 Ciyou 的想法和行动力，为他点赞👍。

Tool

Unity 为开发者提供了一个新的 visionOS Project Template

关键词：Unity、visionOS

如果你想尝试用 Unity 在 visionOS 上开发一个新的 App 却不知道从哪里开始学习实际的例子的话，可以来尝试尝试官方提供的这个 visionOS Template Project 来快速上手。

在 Dilmer 的 视频 中，他也展示了一些 Demo 在 Apple Vision Pro 上运行的样子：

这个 Template 包含一个 Shared Space 场景和一个 Full Space 场景。

在 visionOS 原生开发中，我们一般用一个 Volumetric Window 来包含 App 在 Shared Space 模式下的 3D 内容。在 PolySpatial 中，我们通过 VolumeCamera 组件实现相同的效果。就像原生开发中的 Volumetric Window 一样，我们也可以在 VolumeCamera 中通过 Dimensions 参数设置 3D Volume 在 MR 中的物理大小。当我们把 VolumeCamera 的模式设为 Bounded 的时候，顾名思义，我们的 3D 内容会被显示在一个大小固定的 Volume 中。当我们把 VolumeCamera 的模式改为 Unbounded，App 将从 Shared Space 模式切换到 Full Space 模式，App 中的 3D 内容也不再是有边界，进入全沉浸模式。

在案例的 Bounded 场景中，我们可以通过远程手眼交互和直接交互来移动场景中悬浮的方块等 3D 物体，也可以通过这个场景学习如何在 Unity 中复现 visionOS 系统自带的交互方式。Template 中的两个场景是可以实时切换的，通过动态加载场景或切换 VolumeCamera 的模式，我们就可以使 App 在 Shared Space 和 Full Space 模式下切换。案例的 Unbounded 场景展示了如何使用平面检测和手势识别。

除此之外，这个 Template 项目还提供了交互式的 Tutorial，帮助你一步步了解 PolySpatial 的开发组件。

如果你想要快速上手看看如何在 Unity 上开发 visionOS App 的话，这个模板工程建议你不要错过～

SplineMirror：你可以在 visionOS 上查看 Spline 里面创建的 3D 模型了

关键词：Spline、3D Editor、visionOS

作为一个 3D 艺术家，当你在编辑器里面做完自己的得意之作后，如果能够以 3D 的形式查看它，那得多带劲儿啊。

现在，SplineMirror + Apple Vision Pro 就可以满足你。当你在 Spline Editor 中编辑完场景后，只要点击 Export -> visionOS -> Update，就可以将这个场景文件导出为适合 visionOS 预览的形式。

接下来，你只要在 Apple Vision Pro 中打开 Spline Mirror，就可以在 Recent 中看到这个场景：

然后点击场景，你就可以分别以 Window、Volume、Immersive Space 三种形式分别查看这个模型文件了：

当然现阶段，Spline Mirror 并不会支持所有 Spline 文件的特性，这点从 官方文档 中就可以看出来，还有很多诸如涉及到交互的事件，以及整体场景的后处理这样的特性还没有被支持：

不过，对于 Spline 来说，在 Apple Vision Pro 上预览 3D 模型一定是一个体验大幅度提升的场景，期待 Spline 的后续更新升级～

Spatial：Mac 上免费转换 MV-HEVC 到普通格式的命令行工具

关键词：Spatial Video、MV-HEVC

在之前的文章中，我们推荐了很多关于 Apple 空间视频的工具，例如在 018 中我们就推荐了 HaloDepth、Owl3D 以及 Depthify.ai。

这次我们要推荐的是 spatial，这是一个能够帮你在 Mac 上轻松的将空间视频和普通的 SBS 格式视频之间互相转换的命令行工具（如果你对 SBS 感到陌生，请阅读 iPhone 15 Pro / Apple Vision Pro 上的空间视频，到底是什么？ 浅浅复习一下）

使用方式非常简单，如果你安装了 Homebrew ，那就直接在命令行中执行：

brew install spatial

然后，你就可以用以下的四个命令来执行你想要的操作了：

• info：获取 MV-HEVC 的文件信息

• export：将 MV-HEVC 转换成普通的 SBS 视频

• make：将普通 SBS 视频转换成 MV-HEVC 格式的

• metadata：获取和修改一个 MV-HEVC 文件中的元信息

例如，用下面的命令，你就可以将一个 MV-HEVC 格式的空间视频转换为普通的 SBS 视频：

spatial export -i spatial_test.mov -f ou -o over_under.mov

而用下面的命令，你就可以将一个 SBS 的视频转换为 MV-HEVC 格式的空间视频：

spatial make -i over_under.mov -f ou -o new_spatial.mov --cdist 19.24 \

--hfov 63.4 --hadjust 0.02 --primary right --projection rect

尽管 Quest 已经在 v62 中支持了直接观看 MV-HEVC 格式的空间视频，不过利用这个命令行，在一些需要大批量修改视频文件的场景，还是非常实用的。非常感谢作者 Mike Swanson 为我们带来的这么一款十分方便的工具！

Code

HandsRuler：用双手测量物体长度的 App 开源了

关键词：Ruler、visionOS

HandsRuler 是一款利用手势追踪来测量长度的免费 App，已上架 App Store。同时，作者也将项目代码进行了开源，以供大家进行学习，代码地址：HandsRuler。如果你也有开发 visionOS 应用的想法，可以借鉴学习该项目的代码，了解 visionOS 开发与上架的基础知识。

ShaderGraphCoder：用代码编写 ShaderGraph

关键词：visionOS、ShaderGraph、USD

visionOS 上原生支持 ShaderGraph 方式来导入使用 Shader，然而目前 Xcode 本身暂未提供代码编写功能。也就是说，目前要使用 ShaderGraph 只能是使用外部工具（比如 Reality Composer Pro 或 Blender、MaYa）通过拖拽组件的方式提前编写好，再通过 USDZ 文件导入才能使用。

ShaderGraphCoder 项目为大家提供了 Xcode 编写 ShaderGraph 代码的功能。具体实现逻辑是：

• 使用预置的 SGValue 类型编写 Shader Graph 代码，它们组成了一个图（Graph）

• 将该图按照预定格式写入 USDA 文件中（USDA 是 plain 样式的 USD 文件，类似于 json 文件）

• 加载 USDA 文件，得到 ShaderGraphMaterial 类型可供使用

目前支持了大部分常见 shader 运算和输入类型，使用示例如下：

// Create a solid red material for visionOS

func solidRed() async throws -> ShaderGraphMaterial {

let color: SGColor = .color3f([1, 0, 0])

let surface = SGPBRSurface(baseColor: color)

return try await ShaderGraphMaterial(surface: surface, geometryModifier: nil)

}

// Create a pulsing blue material for visionOS

func pulsingBlue() async throws -> ShaderGraphMaterial {

let frequency = SGValue.floatParameter(name: "Frequency", defaultValue: 2)

let color: SGColor = .color3f([0, 0, 1]) * sin(SGValue.time * frequency * (2*Float.pi))

let surface = SGPBRSurface(baseColor: color)

return try await ShaderGraphMaterial(surface: surface, geometryModifier: nil)

}

ALVR for Apple visionOS：SteamVR 串流软件支持 Vision Pro 了！

关键词：SteamVR、ALVR

知名串流软件 ALVR 近日宣布正式登陆苹果 Vision Pro 头显，玩家可以使用这款应用在 Vision Pro 头显中远程游玩 SteamVR 游戏，不过目前相关应用并未上架 App Store，用户需要在 GitHub 下载项目手动编译部署。你可以前往 项目地址 查看代码，并根据 编译步骤 来将其安装到 Apple Vision Pro 上。

目前这个项目面临的主要问题是缺少适配的手柄控制器，因为苹果并未为 Vision Pro 配备相关设备，所以玩家需要使用 PS5 的 DualShock 手柄或额外购买其他 VR 控制器才能进行游戏。

Quick News

欢迎来到我们的新板块——「Quick News」，在这里我们会非常快速地为你带来过去一周发生的各种业界消息

Tips

如果你不想阅读文字，你也可以前往播客 「 XR 产品谈」—— 「XR 动态早知道」 收听。

苹果 podcast 搜索 「 XR 产品谈」 或直接前往 这里

小宇宙 搜索 「 XR 产品谈」或点击 这里

1. 苹果发布 visionOS 1.1 Beta 3测试版，优化体积应用定位和忘记密码重置头显流程;

2. 苹果 Vision Pro 可看超宽屏电影;

3. 苹果新专利：可用于 Vision Pro、Mac 等产品的手持控制器;

4. 郭明錤：Vision Pro 预计 WWDC 2024 前登陆更多市场;

5. Meta Quest 申请使用苹果设备 Airplay 接收;

6. Meta 要求3月底前 Oculus 账户迁移至 Meta 账户;

7. Quest 拒绝搭载谷歌即将上线的 Android XR 平台;

8. Meta 发布新 XR Core SDK(v62):

   1. 推出 Mulitmodal MM 多模式让 Quest 3 与 Pro 应用可同时使用控制器和手部追踪;

   2. 新增 Wide Motion Mode 大幅运动模式;

9. Meta 发布 AR 游戏 Cryptic Cabinet，项目源码

10. Meta 或将发布手指神经追踪腕带;

11. Meta 计划秋季展示自家 AR 眼镜原型;

12. Meta 与 LG 合作开发下一代 XR 头显, LG 代工Quest Pro 2 预计2025年上半年发售;

13. 雷鸟创新完成新一轮亿元级融资;

14. 迪士尼第十期加速器计划：四家AI公司，一家VR公司;

15. 索尼正测试 PS VR2 对 PC 支持;

16. 《沙丘2》宣发：与 Snapchat 合作推出 AR 体验;

本期贡献者

我就是御姐我摊牌了

苹果 API 搬运工

笑爷

宇辰

本期封面是来自 Ramotion Future Labs 所设计的 Movie trailers on IMDB，注意看那块浮空屏幕旁边和现实世界墙壁完美融合的光效，这正是设计师所畅享的在 Apple Vision Pro 中观看电影的一个核心体验提升。

目录

BigNews

• 299 美元的 Developer Strap，值吗？

• 30 Best XR Blogs and Websites

Idea

• 还能这么玩？利用 Sora 生成空间视频

• 用 3D 打印的小配件提升你的 Apple Vision Pro 体验！

Tool

• 拟真的 3D 生物模型

• 拿到 Apple Vision Pro 后，我该去哪里发现好玩的 App？

• SixD - 帮你了解 visionOS 上的设计最佳实践

• Splitscreen - 在 Apple Vision Pro 上双屏不再是梦

• Rodin Gen-1 - 在 Apple Vision Pro 中体验抓取图片变成 3D 模型

Article

• Apple Vision Pro 的那些辅助功能

• 清洁 Apple Vision Pro 及其配件的小妙招

Code

• GodotVision- 帮你在 Goddot 上开发 visionOS！

SmallNews

• Apple Vision Pro 的退货率真的很高吗？

BigNews

299 美元的 Developer Strap，值吗？

关键词：visionOS、Apple Vision Pro、Developer Strap

距离发售已经过去几周的时间了，如果你是拥有了 Apple Vision Pro 的开发者，那么在设备上进行项目测试可以选择通过 WIFI 直接进行调试，具体步骤可参见这篇文章： 如果你是 Apple Vision Pro 的开发者，那么你一定要注意这些点 。

不过，如果你的 visionOS 项目很大，那么每次通过 WIFI 进行调试就会需要等待比较长的时间。而现在你又多了一个选择：购买 Apple Vision Pro Developer Strap 进行有线调试。

Tips

需要注意的是，当前如果要购买 Developer Strap，必须要有一个美区且加入到 Apple Developer Program 的开发者账号，且一个账号最多能够购买 5 个 Developer Strap。

当然，和 iPhone 比起来，要额外购买这样一个配件才能使用 USB 线调试，无疑是给开发者增加了额外的成本，在推特（X） 上，一些开发者也在 吐槽这一点：更多吐槽：吐槽1，吐嘈2

不过吐槽归吐槽，理性分析这么高昂的定价一部分原因是因为 Developer Strap 不仅仅是连接线缆，而且它还是一个配备了右侧扬声器的线缆。当然现阶段，如果真的项目很大，花 $299 购买这样一款配件还是值得的。Dilmer 也在他的 视频 中对比了一下，他的项目在使用 Developer Strap 后，安装到 Apple Vision Pro 的时间从 19s 下降到了 6s，几乎是三倍的差距。

当然根据 Jeff Benjamin 的发现，目前 Developer Strap 连接上 Mac 后只能提供 100Mbps 的 USB 2.0 连接，但严格的来说 Developer Strap 并不是 USB 2.0 设备，而是支持 Thunderbolt，这表明硬件规格上是支持连接外部显示器、任何类型的支持 USB 的设备等。

但是 Stephen Robles 测试下来，目前这些外接设备都是无法工作的，不过这只是软件上的限制，未来也许有一天 Apple 会允许开发者外接更多设备（吗）。

除了提供更快的项目传输速度，Developer Strap 目前还可以提供更稳定的 Mac 屏幕镜像，且升级到了 Beta 系统的 Apple Vision Pro 如果变砖，如果没有 Developer Strap 进行系统降级恢复，那么就要到美国的苹果零售店进行恢复了。

具体的降级步骤 如下：

1. 断电，在 Apple Vision Pro 上安装 Developer Strap；

2. 通过 Developer Strap 的 USB-C 端口，使用 USB-C 线缆将 Apple Vision Pro 连接到 Mac；

3. 连接电源线后，然后立即按住 Apple Vision Pro 上的顶部按钮，直到看到显示屏正面出现“连接到 Mac”；

4. 打开 Apple Configurator，双击 Apple Vision Pro 设备 icon，并确保它在恢复模式下识别 Vision Pro；

5. 单击菜单栏中的“Action”，按住 Mac 键盘上的 Option 键，然后单击“Restore”；

6. 找到 visionOS IPSW restore image ，然后单击“Restore”。

30 Best XR Blogs and Websites

关键词：Blog、XR

FeedSpot 是一个在线服务，其允许用户聚合、阅读、监控和管理来自各种在线源（如博客、新闻网站、RSS 源和 YouTube 频道）的内容。最近，FeedSpot 评选出了 30 个最好的 XR 博客和网站，非常开心的是，XR 基地也名列其中。这里非常感谢大家的认可。同时，如果你想看到更多的优秀 XR 博客，也可以关注这个列表中的其他博客。

Idea

还能这么玩？利用 Sora 生成空间视频

关键词：Sora、Spatial Video

最近去了希腊圣托里尼岛，用无人机拍了一段空间视频，看着怎么样？

如果你最近有关注 Sora，那么我坦白，其实这段视频是用 Sora 生成的。但是它是怎么变成空间视频的呢？

其实是 Andrew Mayne 利用 Sora 生成的视频，首先直接拷贝放在左右目，再根据相机的移动方向，将某一只眼睛的视频晚几帧播放，形成左右眼视差，最后合成了空间视频，更多例子可以在他的 Github 仓库 下载然后在 Apple Vision Pro 中体验。

不过这个做法的缺点是，要求生成的视频必须是镜头水平移动的，否则同一个视频，后面的帧和前面的帧无法形成正确的视差。

因此，除了这一做法以外，油管的博主 Hugh Hou 还给大家介绍了其他若干借助神经网络深度估计的方法来生成空间视频。

如果愿意支付一定的💰（对于 1080P 视频约为 0.75$/min ，对于4K视频约为10$/min），大家可以选择 HaloDepth 在线的转换服务，直接将想要的视频转换为可在 Vision Pro 中播放的 3D 视频。而如果有强劲独显的 Windows 台式机，还可以选择免费的 Owl3D 获得 3D 视频格式，再结合 ffmpeg 将视频转换成 Vision Pro 兼容的空间视频。

当然，如果手头只有一台 Apple Silicon 的 Mac，我们还可以使用 Spatial Media Converter 来将普通 2D 素材制作为空间照片/空间视频，只是转换速度会慢一些（毕竟要本地跑 Depth Anything模型 来估计逐帧图像的深度）。值得一提的是，这类转换方法利用的神经网络模型，其估计的图像深度在物理尺度上并不准确，一般都需要大家调整一个 Depth Multiplier 来控制内容的立体化程度，而且可能在时间轴上会有深度值的波动。因此，最终效果和实拍还是有较大的差距哦。

用 3D 打印的小配件提升你的 Apple Vision Pro 体验！

关键词：Apple Vision Pro、配件、3D 打印

Apple Vision Pro 真的是非常神奇的体验，当你能够将其重量均匀的分配在你的脑袋上。这不已经有许许多多的小配件可以实现 600g 再分配！

1. 搭配帽子

Dual Band 头带确实可以让我们使 Apple Vision Pro 用更长时间，但他会破坏我们的发型！所以有人想到利用帽子配合两个挂钩，既能做到重量再分配，也能做到发型保护，一举两得！

缺点是如果佩戴者的头比较大，挂钩会让两侧的 strap 有变形的风险，且用且小心...

2. 多个绑带齐上阵

除了利用帽子，我们是不是可以同时使用多个绑带呢。由 Nick McClure 设计的 Solo Top 就可以结合多个头带来进行重量的再分配，而且经过 大耳朵 的测试，两个 Solo Knit Band 确实能提供几乎完美的体验！缺点是需要再买一个 99 刀的 Solo Knit Band。

3. 其他配件

除了用于重量再分配的小配件，也有一些用于摆放 Apple Vision Pro 的支架，可以避免让我们的设备内部屏幕受到灰尘的侵蚀，同时可以把 Apple Vision Pro 变成一个摆件。

如果大家感兴趣，我们也可以来 3D 打印一波...

Tool

拟真的 3D 生物模型

关键词：3D Model、SketchFab

ffish.asia 和 florazia.com 是两个专注自然科学研究的网站，最近，这两个网站在 SketchFab 上上传了不少真实的自然界动植物的模型，总数达 2700+，并且其中很多都是可以下载的。

如果你的项目想使用一些真实的动植物模型作为点缀，那你可以在这其中寻觅一番。

拿到 Apple Vision Pro 后，我该去哪里发现好玩的 App？

关键词：Apple Vision Pro、visionOS、vision.directory

Apple Vision Pro 拿到手后却发现不知道要下载哪些 App？除了在官方 App Store 首页进行探索，这里我们推荐三个网站，可以帮助你快速找到一些好玩的 Apple Vision Pro 上的 App。

首先是 vision.directory，这个网站会直观的根据 App Store 上的分类将 App 进行分组，同时也支持邮件订阅，可以查看每天新上的 App。

第二个是 Apps For Apple Vision Pro，和 visiono.directory 类似，这个网站也根据 App Store 的分类将 App 分组。

不过相对特殊的是，在每个 App 的详情页面，可能还会展示开发者的一些额外信息，例如官网、Twitter 以及邮件，更好的让用户找到开发者，建立连结。

如果你是开发者，你都可以在以上两个网站中通过提交表单来提交自己的 App。

除此之外，中国的开发者也可以关注一下 V2XR 搭建的 Side Vision Pro，在这个网站中，V2XR 会分享他看到的一些好玩的 Apple Vision Pro App。

SixD - 帮你了解 visionOS 上的设计最佳实践

关键词：Apple Vision Pro、SwiftUI

SixD 是一款能够帮你快速了解 Apple 生态设计规范的 SwiftUI 设计与开发工具。这款 App 由获得 WWDC 2023 学生挑战赛奖学金、目前在洛杉矶帕萨迪纳艺术中心设计学院攻读交互设计专业的 杨昊伦 开发，并在最近适配了 visionOS 系统。

在这个应用中，我们可以通过交互式的教学，通过动手修改一些常见的错误设计来学习设计的最佳实践。

在 SixD 的 SwiftUI Lab 中，你可以直接使用所见即所得的图形界面设计 SwiftUI 组件，并获得对应的 SwiftUI 代码。在全新的 visionOS 版本中，你还可以一键为 3D 模型添加持续旋转和拖拽交互等。

适配了 visionOS 的版本特别添加了关于三维物体交互的部分，可以让我们更形象的理解在 visionOS 中的交互（比如物体自旋转、用户操作物体移动等）是什么样的。

使用 SwiftUI 开发时，如果不知道怎么实现一个设计，无论是字体、动画，还是按钮、导航，甚至 MapKit、PencilKit，都可以打开 SixD 获得你需要的 SwiftUI 组件。SixD 透过「交互式的人机界面指南」和所见即所得的 SwiftUI 设计工具，补齐了 visionOS 开发体验的一块重要的拼图。

更重要的是，在 Apple Vision Pro 上随便一个软件就收费高达 19.9 美元的现在，SixD 是免费的！

Splitscreen - 在 Apple Vision Pro 上双屏不再是梦

关键词：Mirror、Splitscreen

将 Mac 投屏到 Apple Vision Pro 上是一个非常棒的功能，但是只能镜像一个屏幕是很多人吐槽的点。这不，Jordi Bruin 等人开发的 Splitscreen，让你屏幕双开不再是梦。

在已经开启 Mac 投屏到 Apple Vision Pro 后，打开 Vision Pro 上的 Splitscreen，再通过 Mac 上的同名应用进行连接，即可在 Vision Pro 上享受双屏工作的体验。稍有不足的是 Splitscreen 目前只能提供 1920 x 1080 的镜像。另外 Splitscreen 还处于 TestFlight 状态，如果想抢先体验的可以在 Jordi 提供的 问卷 上填上自己的邮箱，等待被邀请参与测试。

Rodin Gen-1 - 在 Apple Vision Pro 中体验抓取图片变成 3D 模型

关键词：AI 3D Generation

来自上科大的影眸科技，近日在 X 上展示了在 Apple Vision Pro 上利用 Rodin Gen-1，实现将网图变成可沉浸浏览的 3D 模型的功能。在视频中，工作人员将一张来自 X 推流中的图片送入了 Rodin Gen-1 的网页端，在数秒钟后，即可下载获得对应的 GLB 模型，并在 Vision OS 中自由拖拽和浏览。据影眸透露，Rodin Gen-1 同样使用了和 OpenAI Sora 类似的 Diffusion Transformer 模型架构，从而获得了更好的模型扩展能力。

Article

Apple Vision Pro 上的那些辅助功能

关键词：Accessibility、Apple Vision Pro

尽管只是一款初代产品，但从来在人文关怀方面做的很好的 Apple 依旧在 Apple Vision Pro 上提供了非常全面的辅助功能，以帮助各种各样的人都能够体验这款空间计算设备。而在这篇 Vision Accessibility on Apple Vision Pro 的文章中，作者作为一名眼球震颤（眼睛会不由自主左右或者上下晃动）的患者，为我们详细阐述了他所体验的所有 Apple Vision Pro 上的辅助功能，包括 Voice Over、Voice Control、Bigger Text Size、Window Zoom 等。

Tips

同样作为一名眼球震颤的患者，御姐（Onee）对作者的说法深表赞同，虽然 90% 的场景都能够正常使用，但是在一些需要选择细微组件的场景下，眼球震颤患者总是会遇到令人恼怒的无法精确对焦的问题。好在 Apple Vision Pro 也提供了 “头追” 和 ”手腕追踪” 的方案来解决这个问题。

无独有偶，另外一位几乎全盲并且也有眼球震颤的 Up 主 James Rath 也在他的一期视频中提及到了 Apple Vision Pro 的辅助功能给他带来的帮助，这包括 Apple Vision Pro 的让他眼中的世界更清楚（因为屏幕距离眼睛更近了），也包括 Voice Over 能够帮助他识别现实世界中的场景（比如面前有多少个人）。如果你对 Apple 的这项能力还不了解，你可以看看 Kristy Viers 的 这个视频 了解 Apple 已经在放大器这个 App 给盲人带来的 “阅读世界” 的能力。

清洁 Apple Vision Pro 及其配件的小妙招

关键词：Apple Vision Pro、清洁

和其他所有电子设备一样，Apple Vision Pro 也需要定期清洁，根据 官方的指南，结合我们这些天的使用经验，我们总结了清洁 Apple Vision Pro 及其配件时需要注意的事项。

1. 关于前置面板玻璃的清洁。

注意，根据 JerryRigEverything 的测试前置面板玻璃极其容易刮花，所以使用超细纤维布，比如 Apple Vision Pro 抛光布进行擦拭时，注意检查抛光布是否本身已经粘附了一些颗粒。

前置面板玻璃是一块覆盖在用于显示 Eyesight 屏幕前的外置玻璃，如果在前置面板玻璃上看到松散的灰常颗粒，可以用干净、干燥的超细纤维布擦拭。或者先将蔡司清洁喷雾涂抹在 Apple Vision Pro 抛光布上然后擦拭前置面板玻璃

如果前置玻璃板损坏，维修费用是 799 美元（如果加购了 AppleCare+ 则是 299 美元）

2. 关于 Apple Vision Pro 显示器的清洁

在擦拭显示屏的时候需要注意，如果是把设备放在桌面上操作，建议套上保护套后再操作，如下图左侧所示。建议使用超细纤维布，或将蔡司清洁喷雾涂抹在抛光布上后进行擦拭。

不要使用任何纸制品对屏幕进行擦拭!

3. 关于显示屏周围 Curtain 的清洁

Curtain 的位置如上图右侧所示，屏幕周围的 Curtain 很容易收集一些小的颗粒、碎屑，可以使用干燥的无绒布或软毛刷清除碎屑，或者用非粘性胶带清除颗粒。如果有污渍，则需用湿绒布轻轻擦拭污渍，注意不要打湿显示屏！

4. 关于 Light Seal 垫、头带和 Apple Vision Pro 保护套的清洁

这些经常接触面部、头发的配件很容易变脏，官方建议的清洗方式是将这些配件放入水中，并加入不含香料、无味的洗洁精，进行按压并揉搓清洁。最后将其放在室温下风干。在完全干燥之前不要使用。

5. 关于 Light Seal 的清洁

类似第四点，但是不能将 Light Seal 放入水中，而是将柔软的无绒布放入肥皂水中，然后挤干、轻轻擦拭 Light Seal。最后将其放在室温下风干。在完全干燥之前不要使用。

6. 关于音频 Strap 的清洁

清洁过程中注意避开电源接口以及扬声器网，防止进水。可以用干棉签清洁扬声器网。

7. 关于抛光布的清洁

如果抛光布掉落在室外或肮脏的物品表面上后，请勿在彻底清洁抛光布前使用它来清洁任何设备、配件。抛光布应根据需要进行机洗和烘干或者进行手洗和自然风干。

建议平时将超细纤维布（如抛光布等）存放在干净的袋子中。

8. 其他配件清洁过程较简单，请参考官网。

其他任何损坏，维修费用是 2,399 美元（如果加购了 AppleCare+ 则依然是 299 美元）

Code

GodotVision- 帮你在 Goddot 上开发 visionOS！

关键词：Gotdot，visionOS

你是否还记得我们在 001 中提及到的 Godot 吗？最近，kev 已经尝试在 Godot 上做了一些 简单的尝试，利用 GodotVision 这个项目，kev 成功地利用 Godot 将一个简单的 HelloWorld 工程跑在了 visionOS 上。

不过，尽管基本路径验证成功，但目前这个项目并不是官方的支持，并且项目当前还有很多的局限性，例如文档的缺失、缺乏骨骼模型、着色器以及粒子系统等。

还好，kev 也给出了比较清晰的一个 路径图 去指导下一步的开发方向，如果你对 Godot 以及 visionOS 开发感兴趣，非常建议你从 Github 上拉取这个项目来一起和作者探究更多的可能性。

Small News

Apple Vision Pro 的退货率真的很高吗？

关键词：Apple Vision Pro、Return Policy

也许你已经在网上看到一些关于 “第一批购买 Apple Vision Pro 的用户已经开始大量退款” 的新闻，不过在 Mike Wuerthele 的 这篇文章 中，他通过对一些 Apple Store 员工的走访，了解到 2.16 之前（这个日期是第一批购买的用户可以退货的最后截止日期），Apple Vision Pro 的退款数量并没有比其他新产品多更多，首批退款的用户主要是两种人：

• Youtubers，大部分 Youtubers 都会把新品的退货机会当做是免费的租赁手段

• 佩戴后产生不适的用户

本期贡献者

Link Image 我就是御姐我摊牌了

章子飏

SketchK

镑镑

XR 基地是一个专注于 XR 领域的创作者社区，我们的目标是 让 XR 开发变得更简单！

如果您熟悉中文，您还可以通过以下方式找到我们:官方网站CN, 微博, 即刻, 微信公众号, 稀土掘金。

本期封面来自 Attiq R. 利用 Spline 所设计的场景——ZenTree。

目录

BigNews

• Apple Vision Pro 开启预购了

• 2024，3.30-3.31，北京，Let's visionOS ！

Idea

• Navi：在 Apple Vision Pro 上进行同声传译

• 会 “老化” 的记忆键盘

• Lungy：在 Apple Vision Pro 中，纵享丝滑

Tool

• SF Symbols 5 让你在 visionOS 中快乐得使用 Vision Pro 的图标

Article

• 通过 Apple Vision Pro 重塑企业 App

• Vision Pro 开发系列中文教程

Design

• Vision Pro 上的空间宜家

Code

• Open visionOS: 动画与 UI 设计

• Climate Spiral in visionOS

SmallNews

• 修改天花板的特性可能会被 Apple 从 Apple Vision Pro 中移除

• 如果你有了 Apple Vision Pro， 别忘了购买这个配件（不过，上哪里买呢？🤔）

• VRChat 宣布可以为 PC 端玩家自动生成移动版 Avatar 了

BigNews

Apple Vision Pro 开启预购了

关键词：Apple Vision Pro

终于，Apple Vision Pro 的预购已经于 1.19 正式开启了，在预购开启的这些天，发生了很多事，这些事情，我们将在 Apple Vision Pro 开启预购那几天，都发生了什么？ 这篇文章中，为你一一道来。

2024，3.30-3.31，北京，Let's visionOS ！

关键词：visionOS、Developers、Apple Vision Pro、SwiftGG、XReality.Zone