Tesseract SDK 正式发布，打破兼容壁垒支持GSXR标准

4月30日，众多开发者翘首以盼的Tesseract SDK alpha 0.5版本（内测版）在影创科技官网正式发布，并将保持每两周更新一次的频率。该SDK支持GSXR标准，打破兼容性问题壁垒，将大大提高开发与适配效率，共同推动XR行业的发展。让我们一起来看一下，Tesseract SDK alpha 0.5都有哪些亮点？

http://developer.shadowcreator.com/sdk/sdkDownload可下载SDK（文末点击阅读全文可转跳改链接）。

本次发布的Tesseract SDK支持GSXR这一国内最规范、参与厂商最多的标准。原先，不同厂商提供的SDK普遍存在一个兼容性的问题，为了使同一XR内容跨硬件..实现快速发布，中国移动基于此推出了GSXR标准。GSXR标准是一套API，将通用的硬件操控接口进行标准化定义，使得行业开发者在开发应用时能调用标准化的交互能力。硬件厂商的设备只需要兼容此标准，后续将可以直接运行基于支持此标准的SDK开发的应用，无需进行SDK移植与发布。这些接口的标准化与能力的提升，可以使XR内容在适配不同硬件时更加灵活，提高开发与适配效率，势必极大提升XR行业的发展速度。

影创科技集团和趣立科技，都是第一批大力践行推广GSXR标准的企业。基于Tesseract SDK开发的应用将直接适配影创科技后续推出的所有MR产品以及趣立科技服务的硬件厂商的设备，打破生态壁垒，将碎片化现状向着统一技术标准逐渐进行整合。

大家都很期待持久化对象的功能可以在XR设备上实现，但是目前大部分的XR设备都不支持该功能，只有Magic Leap和HoloLens 2能较好地实现该特性。

现在好消息来了，Tesseract SDK支持持久化对象功能，虽然在alpha 0.5版本中它能实现的功能非常有限，但是，已经足够让你脑海中很酷的创意转变为出色的应用了。

现有功能如下：

i、地图采集重建

鸿鹄的地图数据依靠纯视觉采集，你只需要正常在环境中步行，就能高效地完成采集，生成稀疏点云地图，让你开发出充满想象力和个性的应用。当然，为了向你提供更好的场景转换能力，我们会逐步过渡到稠密点云输出。

ii、地图定位识别

目前鸿鹄在识别预存场景时，整体场景重置时间小于150ms，位移误差厘米级别，整体角度小于1度。虽然现在缓存地图只能保存一张，但我们会在后续的版本更新中开放更多的本地缓存地图。

当前版本存在的问题：

由于我们使用了完整的后端大地图，使得整个系统虽然可以保存大范围的地图，并且进行对象持久化和重新定位，但是，运算量也大幅度增加了，这会导致更高的功耗和略差的性能。此外，由于当前版本没有前端优化器（local BA），这会使得定位经常出现小范围的跳变以及一些漂移感。上述问题，将会在不久后的版本中彻底解决（可能是之后的1-2个更新）。

大家都在JIMO上体验过全自由度的手势功能，这也是目前国内XR设备中最为先进的手势体验。现在，在Tesseract SDK中，手势有了长足的进步，不仅多了许多新的交互特性，延迟也已经降低到100ms附近（我们还在持续优化当前的算法，100ms已经是市面上最接近Oculus Quest 2的产品，不过Oculus Quest 2刚发布了60fps版本的手势追踪，这使得延迟更低了，我们也会继续努力哒）。

相比JIMO，Tesseract SDK中的手势有如下特点：

i、手部射线定位

相比JIMO以头部为中心对手势进行小范围的定位方式来说，Tesseract SDK中的手部射线完全是以手的姿态为基准的定位。这使得手部交互更加方便，我们不需要把手抬得太高就可以进行大部分的功能操作。

ii、低延迟和ATW

如上所述，我们已经把手部延迟降低到了100ms左右，并且加入了ATW功能使得当头部和手部同时运动的时候，手部的姿态会远比没有加入ATW时准确得多。

iii、更多的状态判定

我们增加了更多不同状态的手势的事件大家可以在MRTK的应用中测试这些交互体验。

当前版本存在的问题：

在某些光照环境下，可能会出现手势识别的误检。我们已经认为误检非常少了，但是依然会存在。所以非常希望大家能够给我们更多的数据（可以通过开发者论坛bbs.movisionxr.com提交当前的误检环境的照片）以帮助我们提供更鲁棒的手势系统。我们还在继续优化延迟，但可能不会立刻发布，因为我们需要更多时间和环境的测试。

6DoF手柄是XR交互中十分重要的外设，对于Oculus Quest的成功它几乎是决定性的，现在已经几乎成为了VR设备的标配。但我们没有看到太多的MR设备标配6DoF手柄。Magic Leap虽然有磁力6DoF手柄，但是不够稳定，尺度精度不高，且延迟很大；HoloLens 2、Nreal等设备索性就没有6DoF手柄。

Tesseract SDK提供了标准的6DoF手柄接口，鸿鹄也支持两种不同规格的手柄（使用同一套SDK开发就可以）。由于开发进度原因，目前鸿鹄设备只支持大手柄的6DoF功能，但是它的延迟效果、精度和鲁棒性都达到了不错的状态，几乎可以比肩Quest系列。

Mini手柄将在今年夏天晚些时候发布，由于SDK的兼容性，大家可以先使用大手柄进行内容的开发创作。

持久化对象功能虽然十分令人兴奋，但是也只能作为单机地图进行保存，无法作为大规模联机设备使用（假设有一个商用场景，例如工厂，我们不可能让每一台设备都去对工厂进行一次建图，这会耗费大量人力，而且不能确保每台设备所建立地图的一致性）。因此，云地图给了很好的解决方案，使用专业设备建立一次性的高精度地图，并存储在云端服务器中，本地的眼镜终端可以利用云端大地图进行定位，带来更好更快的定位效果。

当前版本存在的问题：

当前版本只支持非实时的地图构建（虽然这已经很棒了），但是如果多人要在一个陌生环境中进行协作的话，这显然是很不方便的。因此我们正在开发实时的云地图构建系统，未来可以由任意一台设备进行云地图的构建并且实时共享给其他设备。

另外，2021 Qualcomm XR 创新应用挑战赛第五期在线公开课将于今晚上线。本次公开课由林国森（影创科技）、张童（趣立科技）和李文亮（Unity3D资深工程师）主持。本次课程课内里包含了影创XR设备介绍、SDK快速入门教程及行业应用，以及趣立赛道Sonic VR开发机适配方案。感兴趣的小伙伴千万不要错过今天晚上的直播课哦！