Apple Vision Pro официально получает фовеированную передачу (foveated streaming) для PC VR, а в Samsung Galaxy XR эта функция уже доступна через Virtual Desktop Гая Година.
Прежде чем продолжить, важно отметить: фовеированная передача — это не то же самое, что фовеированная отрисовка, хотя обе техники могут применяться совместно. Как следует из названий, при фовеированной отрисовке хост-устройство действительно рендерит область каждого кадра, на которую пользователь смотрит в данный момент, с более высоким разрешением; фовеированная передача означает доставку этой области в гарнитуру с более высоким качеством изображения, чем у остальной части кадра.
Этот термин мог встречаться в контексте Steam Frame от Valve, где он является базовой постоянно активной функцией решения для PC VR-стриминга и по умолчанию реализуется через беспроводной USB-адаптер для ПК.
Поскольку видеодекодеры в гарнитурах имеют ограничение по максимальному разрешению и битрейту, фовеированная передача помогает приоритизировать разрешение и качество компрессии в зоне, на которую пользователь смотрит в данный момент.
Apple Vision Pro: visionOS 26.4
visionOS 26.4 добавит фовеированную передачу в Apple Vision Pro, обеспечив более высокое качество беспроводного удалённого VR-рендеринга с локального ПК или облачного ПК.
В отличие от macOS Spatial Rendering, представленного в основном релизе visionOS 26 в прошлом году — относительно высокоуровневой системы, поддерживающей в качестве хоста только локальный Mac, — в документации для разработчиков Apple новая Foveated Streaming описывается как низкоуровневый, независимый от хоста фреймворк.
В документации в качестве примера хоста выделяется CloudXR SDK от Nvidia, при этом отмечается, что решение должно работать и с локальными ПК. Apple также опубликовала пример для Windows OpenXR, доступный на GitHub; насколько нам известно, это первый и единственный случай, когда компания вообще упоминала отраслевой стандартный XR API — не говоря уже о его практическом использовании.
Ведущий разработчик порта visionOS для приложения PC VR-стриминга ALVR Макс Томас сообщил UploadVR, что сейчас изучает возможность добавления поддержки фовеированной передачи, однако, по его оценке, это, вероятно, потребует «очень много работы».
С учётом принципа работы функции фовеированная передача Apple потенциально может обеспечить и фовеированную отрисовку для таких инструментов, как ALVR.
Обычно visionOS не предоставляет разработчикам информацию о том, куда именно смотрит пользователь — Apple объясняет это соображениями конфиденциальности. Вместо этого разработчики получают только события, например, какой элемент пользователь рассматривал в момент выполнения жеста «щипок». Однако для работы фовеированной передачи критично то, что API сообщает разработчику «примерную» область кадра, на которую направлен взгляд пользователя.
Это должно позволить хосту рендерить в этой области более высокое разрешение, а не только передавать её в повышенном качестве. Как и всегда, для этого требуется, чтобы конкретная VR-игра поддерживала фовеированную отрисовку либо поддерживала инструменты, которые внедряют фовеированную отрисовку.
Фрагмент из демонстрационного приложения Apple для фовеированной передачи в visionOS
Примечательно, что в документации Apple также указано: visionOS поддерживает одновременный вывод контента, отрисованного на устройстве, и удалённого контента. В качестве примера компания приводит сценарий, при котором интерьер автомобиля или самолёта рендерится на гарнитуре, а высокодетализированный внешний мир транслируется с мощного облачного ПК — это может быть предпочтительнее с точки зрения воспринимаемой задержки и стабильности по сравнению с рендерингом всего в облаке.
В ближайшие месяцы мы будем следить за сообществом разработчиков visionOS — особенно в корпоративном секторе — на предмет практических сценариев применения фреймворка фовеированной передачи Apple.
Samsung Galaxy XR: Virtual Desktop
Тем временем Samsung Galaxy XR получает фовеированную передачу через Virtual Desktop Гая Година — стороннее приложение стоимостью $25, доступное в Google Play.
Последнее обновление Virtual Desktop также добавляет фовеированную передачу для Meta Quest Pro и Play For Dream MR, хотя это менее значимо, поскольку эти гарнитуры уже могли обеспечивать фовеированную передачу через Steam Link от Valve.
Virtual Desktop без фовеированной передачи (вверху) и с ней (внизу).
По словам Гая Година, функция также должна работать на любых будущих гарнитурах с отслеживанием взгляда, где доступен Virtual Desktop.
Полный список изменений Virtual Desktop 1.34.16:
- Добавлена фовеированная передача для гарнитур с отслеживанием взгляда (Quest Pro, PFD и Galaxy XR)
- Используется отслеживание взгляда для повышения качества изображения в зоне, на которую вы смотрите.
- Улучшены градиенты и точность цветопередачи для всех кодеков за счёт использования полного диапазона RGB вместо ограниченного (для рабочего стола и PCVR)
- Добавлена поддержка 96 fps и 100 fps на Quest 2, 3/3S (доступно только в Quest v85 PTC)
- Добавлена поддержка вибрации геймпада (также для контроллеров при эмуляции геймпада)• Добавлена поддержка адаптивной квантизации для GPU AMD при использовании H.264/H.264+
- Повышена надёжность первичного подключения (на этот раз действительно)
- Добавлены разрешения 21:9 для виртуального монитора на macOS
- Улучшена прокрутка стиком на macOS; теперь учитывается настройка естественной прокрутки
- Исправлено искажение изображения при некоторых разрешениях мониторов ноутбуков
- Исправлена редкая проблема с чёрной вспышкой при запуске некоторых PCVR-игр
- Исправлены смещения суставов кистей и конфликты с другими драйверами в SteamVR
- Исправлена совместимость с античитом Roblox
- Исправлены дополнительные проблемы с некорректными позами контроллеров в AndroidXR
- Исправлена поддержка кнопок для некоторых новых игр на UE5
- Исправлены подёргивания репроекции в некоторых играх на Unity (OVRPlugin)
Статья оригинал здесь
