• 首页 >  人工智能 >  智能家居
  • 中国移动智慧家庭运营中心:2024家庭元宇宙场景化应用白皮书(44页).pdf

    定制报告-个性化定制-按需专项定制研究报告

    行业报告、薪酬报告

    联系:400-6363-638

  • 《中国移动智慧家庭运营中心:2024家庭元宇宙场景化应用白皮书(44页).pdf》由会员分享,可在线阅读,更多相关《中国移动智慧家庭运营中心:2024家庭元宇宙场景化应用白皮书(44页).pdf(44页珍藏版)》请在本站上搜索。 1、家庭元宇宙场景化应用白皮书1家庭元宇宙场景化应用白皮书虚拟现实与元宇宙产业联盟2024 年 3 月家庭元宇宙场景化应用白皮书1前 言本文件由 XRMA 联盟融合应用工作组制订,并负责解释。本文件发布日期:2024 年 3 月 22 日。本文件由虚拟现实与元宇宙产业联盟提出并归口。本文件归属虚拟现实与元宇宙产业联盟。任何单位与个人未经联盟书面允许,不得以任何形式转售、复制、修改、抄袭、传播全部或部分内容。本文件牵头单位:中国移动智慧家庭运营中心本文件核心参编单位:中国信息通信研究院、华为技术有限公司本文件参编单位:深圳创维新世界科技有限公司、上海蛙色网络科技有限公司、烽火通信科技股份有限公司、北2、京凌宇智控科技有限公司、天元瑞信通信技术股份有限公司、鹏博士电信传媒集团股份有限公司、聚好看科技股份有限公司、深圳纳德光学有限公司本文件参编人:王新宁、王国栋、周英能、李达、何婷婷、向潇、吴小军、吕亚兰、罗云钟、袁野、周明洋、肖婷、仇昌栋、廖长军、王昊蛟、冀煜康、李谊、宋倩雯、郑晓刚、王明强、许彩云、李树磊、李韬然、陈曦、陈浩、彭华军、魏文浩、张东东、安雁芬、朱家林免责说明:1,本文件免费使用,仅供参考,不对使用本文件的产品负责。家庭元宇宙场景化应用白皮书2目录1.元宇宙概述.31.1 元宇宙起源与发展分析.31.2 元宇宙终端发展分析.51.3 元宇宙内容生态分析.62.家庭元宇宙发展分析.3、92.1 千兆网络技术分析.92.2 家庭元宇宙入口终端分析.152.3 家庭元宇宙发展路径分析.173.家庭元宇宙场景应用分析.173.1 家庭娱乐.173.2 智慧文旅.193.3 家庭教育.213.4 居家健身.223.5 家庭康养.243.6 家庭物联网.254.家庭元宇宙交互技术分析.264.1 家庭元宇宙交互内容标准.264.2 家庭元宇宙交互技术实现方案.314.3 家庭元宇宙终端交互协议.365.总结与展望.396.附录.416.1 缩略语.416.2 引用.43家庭元宇宙场景化应用白皮书31.元宇宙概述1.1 元宇宙起源与发展分析1.行业发展历史概述1992 年,美国著名科幻4、小说家尼尔斯蒂芬森发表了科幻小说雪崩,并在其中首次提出元宇宙概念。尼尔斯蒂芬森为读者呈现了一个与现实世界平行的元宇宙世界,这个虚拟世界具有较强的开放度和自由度,参与者能够以元宇宙公民的身份实现任何行动,理论上行动仅受想象力的限制。雪崩作者天马行空、别具匠心的构想,奠定了元宇宙基本雏形,让全球资本、学者对元宇宙世界产生了无限遐想,一场全新的科学技术革命正在悄然酝酿中。作为元宇宙的技术核心,虚拟现实的起源早于元宇宙概念的诞生,自 20 世纪 50 年代首款虚拟现实设备出现后,虚拟现实概念萌芽,经历了 60 年代的初始探索,70、80 年代的理论与技术沉淀,在 90 年代进入应用转型阶段。然而此时的5、软硬件技术发展水平尚未成熟,特别是显示技术、3D 渲染技术、网络运算等虚拟现实关键技术,因此相关硬件设备性能、尺寸等未达“可用”标准,距离消费级产品仍有较大差距。经过了二十几年的技术积累和沉淀,元宇宙入口终端打造初具雏形。2012 年 Google Glass 的发布以及2016 年 Oculus Rift 的问世使得 VR 技术重回大众视野,推动行业在 2016 年至 2018 年进入创业和资本狂热期,这一时期众多科技厂商相继推出了眼镜、头盔等多种形式的硬件设备,先进的产品概念发布引发行业畅想,虚拟现实设备被认为可能成为替代智能手机的下一代通用计算平台。但由于软硬件以及网络等核心技术的限制,6、终端设备未能完全满足用户的期望,体验感欠佳、性价比较低、内容生态相对匮乏等问题导致行业再次进入冷静期。新型数字技术的突破升级为元宇宙行业的进一步发展提供了助力。2019 年,5G 网络的正式商用为行业的发展提供了坚实的基础保障,在一定程度上缓解了头显设备因时延导致的眩晕感、停顿感等用户体验不佳的问题,网络性能的提升,区块链、人工智能、数字孪生等新型技术的进一步成熟提振了行业信心。2021 年,随着全球头显销量首次破千万台,扎克伯格重提元宇宙概念,Facebook 更名为 Meta 等大事件发生,元宇宙迎来第二次爆发,全球科技巨头纷纷面向元宇宙领域做出重大战略布局,全面加强技术研发与产业赋能,积7、极推动元宇宙生态构建。2023 年,苹果公司发布首款混合现实设备 Vision Pro,Vision Pro 的发布对于整个元宇家庭元宇宙场景化应用白皮书4宙行业具有举足轻重的意义,一定程度上重拾了资本市场对于元宇宙未来发展的信心,为行业发展注入了新的活力。表 1.1 元宇宙发展关键事件时间关键事件1952 年莫顿海利格创造了第一台沉浸式虚拟现实设备1992 年尼尔斯蒂芬森发表雪崩,首次提出元宇宙概念2012 年Google Glass 的发布引发行业广泛关注2016 年Oculus Rift 问世,这一时期众多科技厂商相继发布终端设备2019 年5G 正式商用,VR/AR 作为 5G 制高点8、应用被重新激活2021 年Facebook 更名为 Meta,元宇宙概念火热出圈2023 年Apple Vision Pro 发布,对元宇宙行业起到积极的促进作用随着科学技术的飞速发展,元宇宙的展现形式也从文学、电影等科学幻想方式逐步向技术实现方式发展,成为人类持续追求极致体验过程中技术升级达到奇点催生出的数字科技集大成者。在区块链、Web3.0 等技术的孕育下,具有去中心化特征的元宇宙平台相继崛起,为元宇宙的构建奠定了基础;在渲染引擎、建模软件等工具厂商的长期耕耘下,3D 建模、实时渲染技术难度大幅降低,为元宇宙内容创作提供了有力保障,孕育了良好的元宇宙生态建设基础;国内外科技厂商推出的 A9、R/VR 设备性能逐步提升、体积轻量便携,也为在消费级市场打造元宇宙入口提供了条件。2.行业发展现状分析在经历几年的元宇宙话题热议后,2022 年全球头显出货量达千万量级后见顶回落,作为元宇宙入口的虚拟现实行业逐步回归理性发展状态。在行业发展降速的情况下,一批国内厂商另辟蹊径,以元宇宙内容为突破口,结合实际业务需求,赋能景区、地产、家装、娱乐、交通等刚需场景,形成了完备的商业模式和较强的行业竞争力。VR 内容的繁荣发展和多样化的业务场景需求促进元宇宙入口终端向多元化方向发展,手机、电视等智能设备也在元宇宙发展浪潮中拥有了独特的舞台。头显端以打造沉浸式精品内容为主,但用户活跃度较低,尚未形成规模10、化发展态势;手机端以打造即时轻交互内容为主,但因其屏幕较小,沉浸感弱,无法产生高粘性用户;电视端以打造家庭场景下的轻、中交互应用为主,但存在操作系统型号繁多、内容格式与交互标准尚未统一等问题,现阶段无法实现规模化推广。经过众多科技厂商在虚拟现实领域的多年耕耘,元宇宙行业已初步形成头显端、手机端、电视端等多终端发展格局,但各端生态建设相对独立,资源利用率不足。为突破行业发展困境,应当充分发挥已沉淀资源与技术优势,打通各终端流量互导链路,实现内容互联互通,完善多终端协同发展体系,加速规模扩张效应,共同助力元宇宙行业实现规模化、高质量发展。家庭元宇宙场景化应用白皮书51.2 元宇宙终端发展分析虚拟现11、实、人工智能、5G、云计算等新兴技术的发展催生了元宇宙行业,然而目前受限于一体机用户规模,元宇宙行业尚未形成规模化发展,为突破行业发展困境,元宇宙入口终端正逐步向多元化方向演进,形成头显、手机、电视多形态终端协同互补的产业格局,构建小屏(智能手机)、中屏(平板类终端)、大屏(大尺寸智能电视、投影仪类终端)、虚拟屏(VR、AR 眼镜)、行业屏等多屏互联互通的“三端多屏”产品体系,共同推动元宇宙产业实现高速发展。1.头显端头显端致力于打造深度沉浸的精品内容,主要服务于特定化应用场景,且随着苹果首款空间计算设备Vision Pro 发布,进一步奠定了当前头显设备更倾向于面向专业级用户以及在固定场景下12、使用的产品定位,并逐步向集娱乐、办公、社交等为一体的通用计算平台发展。Vision Pro 的发布在技术创新、产业升级、生态建设、用户教育等方面对元宇宙行业起到积极的促进作用,然而多元化、轻量化内容的缺乏仍然是导致头显用户覆盖面不足的关键因素之一,一方面深度交互的精品内容创作成本高、生产周期长,内容创作效率低;另一方面在行业轻交互趋势明显的背景下,轻量化内容不足无法满足用户碎片化娱乐的需求。近两年在经济环境欠佳、设备价格上涨的大背景下,全球头显出货量不及市场期望,总用户规模仍处于千万量级,尚未实现“硬件-内容-应用-用户”正向循环。头显用户总量不足、活跃度较低成为制约元宇宙产业发展的重要因素,13、亟待行业上下游由供给关系转向生态协同关系,逐步形成多形态终端协同发展格局。2.手机端随着移动互联网发展,手机已经成为我国网民上网的主要设备,截至 2023 年底,我国互联网上网人数10.92 亿人,其中手机上网人数 10.91 亿人,占比高达 99.9%1。手机具有便携性、娱乐性、多功能、易操作等优势,已成为移动互联网时代全球用户规模最大的移动智能终端。以手机为入口构建轻交互、低沉浸元宇宙场景,可实现元宇宙与头显设备的解耦,通过手机端向用户推广和普及元宇宙应用,可有效降低用户使用门槛、快速提高元宇宙认知度。手机的高普及率使其具备强大的培育引流优势,可快速解决元宇宙用户量问题,实现用户规模上量。14、手机作为培育元宇宙用户、引导用户认知的重要入口终端之一,可承载丰富、轻量化的元宇宙内容,同时作为元宇宙领域重要的辅助交互、控制与显示设备,与头显相互补充共同促进元宇宙规模化发展。3.电视端电视端作为家庭场景下的触达媒体,具有家庭渗透率高、用户规模大、活跃度高等特点,截至 2023 年,我国 IPTV 用户数超过 4 亿户2。随着电视屏幕大屏化趋势越来越明显,内容视听效果逐步升级,沉浸感体验家庭元宇宙场景化应用白皮书6持续增强,用户对电视端内容的类型、数量和质量的需求显著提升。将虚拟现实技术应用于电视端,有利于进一步提高电视内容的丰富度,拓展家庭电视用户的娱乐方式。在千兆网络宽带的加持下,以电视15、为载体,通过构建云游戏、家庭教育、居家健身、3D 巨幕影院等多形态场景化内容矩阵,形成以中度沉浸、轻中度交互为主的应用发展模式,着力打造家庭元宇宙入口,为元宇宙在电视端的规模化发展探索出一条全新可行路径。在 VR 头显实现硬件轻量化、内容丰富化、市场普及化之前,电视端凭借大尺寸屏幕具备的较强沉浸感优势、海量用户规模积累和较高的用户活跃度,有望成为元宇宙内容的主流入口和开拓家庭元宇宙市场的主力军。但目前市场上的电视大多基于深度定制的 Android TV 系统,加上元宇宙内容创作方的差异,在电视端引入元宇宙内容时存在内容格式、交互标准不统一的问题,导致电视端家庭元宇宙规模化推广受到阻碍,因此亟需16、打造统一开放的电视元宇宙生态。立足家庭市场,以发展家庭元宇宙为契机,联合上下游产业合作伙伴,统一电视端内容生态、交互标准,激活产业发展活力,推动家庭元宇宙向标准化、规模化、集约化方向发展。表 1.2 元宇宙入口终端对比终端形态评价维度呈现形式手机端电视端头显端H5 页面、裸眼 VR APP裸眼 VR APPVR APP 定制化 APK应用场景个人场景家庭场景特定场景漫游、直播、娱乐、社交教育、游戏、电影、健身文旅、广告、工业、医疗用户规模10 亿+1(全国手机网民用户)4 亿+2(全国交互式网络电视用户)千万量级(全球头显销量)用户体验轻交互、低度沉浸轻中度交互、中度沉浸强交互、深度沉浸行业痛17、点 屏幕小,沉浸感不足 应用少,内容展示不全 规模大,却难形成质变 型号多,操作系统繁杂 内容格式、交互标准不统一,现阶段难推广 用户量少,且活跃度低 内容生态建设稍逊一筹,行业发展受阻1.3 元宇宙内容生态分析1.元宇宙内容生态发展现状虚拟现实是元宇宙内容生态的关键连接技术之一,其内容规模的持续增长为元宇宙的积累打下了坚实基础,保障了元宇宙内容产业的繁荣发展。海量的内容是元宇宙持续发展的重要基石,而优质的内容则是元宇宙的核心竞争力。元宇宙的数字内容包括图像、视频、音频等多种媒体形式,并通过跨模态的内容生成,保证高度的真实感和多感官互动。现阶段游戏和娱乐是元宇宙内容的重要应用场景,跨领域发展也18、是元宇宙的趋势之一,家庭元宇宙场景化应用白皮书7元宇宙内容可广泛应用于城市规划、室内设计、工业仿真、古迹复原、桥梁道路设计、房地产销售、旅游教学、水利电力、地质灾害、教育培训等众多领域,通过 VR 技术加持为各行各业提供更多的可能性。现阶段国内元宇宙内容厂商以全景漫游类和 3D 建模类为主,形成了较为完备的商业模式。全景漫游类厂商以蛙色 3D VR、720 云、酷雷曼等为代表,为用户提供了高品质、多内容、多体验的元宇宙场景。蛙色 3DVR 基于全景技术提供 VR 直播、VR 景区、VR 全景逛街等众多平台方案,目前已为数十万家商企提供服务,其中全景图全景视频数量已超过 200 万,VR 智慧景19、区数量已超过 1000 家3;720 云内容覆盖地产、家装、文旅、电商、工农业等众多行业,聚集超过 100 万的内容创作者和企业,累计超 4000 万组内容4。3D 建模类厂商则聚焦实景三维重建,构建 3D 数字空间,广泛应用于房产开发、建筑装修、工业园区等领域,助力产业实现数字化和智能化转型。2.元宇宙内容制作工具内容制作工具是实现高质量内容创作的基础设施和支撑平台,为创作者提供了内容创建、内容编辑、内容管理等功能,帮助创作者更高效的利用时间和资源,提升内容质量。传统内容制作工具包括文本编辑工具、图片编辑工具和视频编辑工具等,元宇宙内容制作工具则是集 3D 建模、贴图、动画编辑、光照渲染、交20、互式元素制作等功能为一体的内容创作平台,帮助创作者构建逼真的三维虚拟场景、角色、动画和交互元素等,有效地提高了元宇宙内容的创作效率和内容质量。现阶段元宇宙内容制作工具可分为传统制作工具和 AI 类制作工具。传统制作工具主要包括 3D 建模软件、动画和渲染软件等,需要专业知识和大量的制作时间,更适用于大型制作公司或团队使用。AI 类制作工具主要利用机器学习、人工智能等技术,通过学习和模拟现实世界的数据,辅助生成或自动生成元宇宙内容。AI类制作工具能够快速生成海量内容,降低了制作成本和时间,适用于小型制作公司或个人创作者使用。传统元宇宙内容制作可采用 Unity 和 Unreal 等 3D 建模引21、擎,通过人工进行详细的内容设计、动画设计、建模来完成内容创作,需要程序员、美工、动画师等各个团队的协作配合,通常会耗费大量时间和人力,但能够创作出具有独特风格的高质量作品,满足不同用户的个性化需求。AI 类元宇宙制作工具,如蛙色 3D VR、720 云等以 AI 技术辅助建模,打造元宇宙内容创作平台。蛙色VR 全景编辑器支持多平台、多种全景维度、智能图像匹配、智能分享等功能;720 云 VR 全景及元宇宙创作工具平台提供全景漫游制作工具、三维空间重建工具、3D 模型互动工具等,使得元宇宙场景搭建更简单。同时,ChatGPT 等 AIGC 的逐步落地应用,也给数字内容创作带来了新的降本增效思路,22、AIGC 通过对大量数据的分析和学习,可自动生成高质量、个性化的数字内容,有利于提高内容生成的效率、增加内容的多样性、降低内容创作的门槛,进一步促进行业内容生态的繁荣。家庭元宇宙场景化应用白皮书8传统元宇宙内容制作工具与 AI 类制作工具的结合,可以推动元宇宙内容生态的进一步繁荣和发展,为用户提供更加丰富、多样、真实的元宇宙内容资源。AI 类制作工具可以吸引更多的个人创作者和中小型团队参与元宇宙内容的创作,推动内容创作向 AIGC 方向发展,同时 AI 通过学习和模拟现实世界的数据可提高元宇宙内容的真实性和可信度。传统制作工具和 AI 类制作工具的结合能够创造出新的内容形式和风格,利用 AI 23、类制作工具生成基本场景和角色,再通过传统制作工具进行细节调整和个性化定制,可以创作出独具特色的元宇宙内容。3.元宇宙产业应用随着元宇宙概念的爆发,行业逐渐形成了“元宇宙+产业”的新发展模式,开启了一种新的经济现象。“元宇宙+娱乐”可以使用户身临其境地体验各种电影、游戏中的场景,也可以创造属于自己的虚拟世界,并与虚拟角色进行互动;“元宇宙+教育”则为传统教育行业打开了一扇新的大门,可通过构建虚拟环境模拟现实世界的物理规律和化学反应,使得学生在安全的环境下进行实验,加深对知识的理解,提高对学习的兴趣;“元宇宙+医疗”也展现出巨大的潜力,远程医疗、患者教育、手术导航等均发挥着至关重要的作用。“元宇宙24、+产业”的发展新形式推动着传统行业的变革与升级,同时也面临着诸多挑战,如技术突破、隐私保护、法律制定等,需要更深入的研究和讨论以确保元宇宙产业健康、可持续的发展。图 1.1 元宇宙产业应用家庭元宇宙场景化应用白皮书92.家庭元宇宙发展分析家庭元宇宙是元宇宙产业的重要落地场景之一,是对家庭物理环境的复刻模拟和拓展延伸,将大幅提升用户在未来数字空间的生活体验。在家庭元宇宙中,每个用户可以定义自己专属的数字家庭空间,购买数字资产个性化装扮虚拟世界,启用数字人作为智慧家庭管家并提供主动式服务,实现物理空间与虚拟空间的互助互补、相融共生。家庭元宇宙的落地与应用离不开网络技术升级和电视大屏化发展,千兆宽带25、的高速率、低延迟、大带宽等性能,为家庭元宇宙发展提供了关键条件,是推动了元宇宙产业高速发展的基础;电视作为家庭场景重要的算力与显示终端,具有更大显示屏幕,更沉浸交互体验,更多用户群体,将成为家庭元宇宙的主要入口。依托网络技术和电视终端,通过技术升级、场景升级、业务升级、体验升级,推动家庭元宇宙实现规模化发展。2.1 千兆网络技术分析以 5G 和千兆光网组成的“双千兆”网络能为用户提供千兆移动和固定网络接入能力,5G 网络具有灵活性高、移动性强、连接数大等优势,适用于室外移动场景;千兆光网采用固定光纤连接,具有传输带宽大、抗干扰性强、微秒级连接等优势,适用于家庭、办公室、写字楼等室内或固定场景。26、二者互补互促,是新型基础设施的重要组成部分和承载底座,为元宇宙、虚拟现实、超高清视频等高带宽应用的发展提供了网络保障。1.移动通信网络技术发展史移动通信技术从 1G 开始发展至今已经经历了五个代际,每个代际的面世都带来新的通信技术革新,同时也催生了各类新产业与新业态形成,具体地:(1)1G 时代,采用模拟调制技术,属于纯模拟通信技术时代,“大哥大”、“BB 机”成为时尚与潮流象征;(2)2G 时代,通过数字调制技术代替模拟技术,正式开启数字通信时代,通信的稳定性和安全性得到极大提升,以文字、图片作为信息传输媒介的网上冲浪、短信等交互形态促进了初代互联网诞生,代表公司包括百度、腾讯、阿里、网易、27、新浪、人人、搜狐等;(3)3G 时代,通过 TD-SCDMA、WCDMA 和 CDMA2000 三大标准,实现更大的接入带宽和网络容量,网络性能的大幅提升保障了音频、视频、多媒体文件等各种大数据量信息传输媒介通过移动互联网高速、稳定传输,腾讯视频、爱奇艺、优酷、土豆等互联网视频平台崛起;家庭元宇宙场景化应用白皮书10(4)4G 时代,基于 TD-LTE 和 FDD-LTE 标准的 4G 网络具备更高传输速率,网络性能的提升催生了移动支付、短视频、直播等行业,自媒体、支付宝、快手、抖音、小红书等新兴产业和应用走入大众视野,正式开启了移动互联网浪潮;(5)5G 时代,通过网络切片、毫米波、MIMO28、、全双工等关键技术推动全球进入万物感知、万物互联、万物智能时代,依托于 5G 的超大带宽、超低时延、超高速率等网络性能,推动虚拟现实、元宇宙行业进入新的飞速发展周期,网络信息传输媒介从二维逐渐走向三维,布局虚拟现实领域的 PICO、NOLO、蛙色、720云、贝壳如视等企业应运而生。图 2.1 移动通信发展历史2.家庭宽带网络技术发展史家庭宽带网络的发展以业务需求为驱动、以技术发展为支撑,经历了以 PSTN/ISDN 技术为代表的窄带时代(64Kbps)、以 ADSL 技术为代表的宽带时代(10Mbps)、以 VDSL 技术为代表的超宽带时代(30200Mbps)、以 GPON/EPON 技术为29、代表的超百兆时代(100300Mbps),目前正跨入以 10G PON 技术为代表的千兆光网超宽带时代,未来则可能是以 50G PON 技术为基础的万兆时代。千兆光网超宽带时代以基于 10G PON+FTTR 的全光接入为技术支撑,具备超高带宽、全光联接、极致体验三大关键特征:(1)超高带宽:网络带宽具备上/下行对称千兆宽带能力,通过 Wi-Fi 6 技术打通千兆宽带的最后 10 米瓶颈,实现云时代一点即达的联接体验。(2)全光联接:基于全面覆盖的光纤基础设施可支持泛在联接,包括家庭的联接、IoT 的联接、每个房间甚至每个桌面的联接。同时拓展了垂直行业应用,实现业务场景扩展 10 倍以上、连接30、数提升 100 倍以上,推动全球进入光纤联接万物时代。家庭元宇宙场景化应用白皮书11(3)极致体验:在网络侧引入网络切片与内置 AI 技术,支持“0”丢包和微秒级时延,配合云平台 AI+大数据智能运维可满足用户的极致互动娱乐体验要求。通过持续优化家庭终端上网体验,降低 Wi-Fi 时延,提升家庭用户观看 4K 视频和交互游戏等业务的实时性。图 2.2 家庭宽带发展历史预计到 2025 年,全球智能终端联接数量将达到 1000 亿,千兆宽带普及率将达到 30%5。通过“双千兆”深度协同,结合两者的海量联接优势,共同推动 2H/2B/2C 全场景智能生活的到来,为千行百业创新应用提供关键基础支撑。31、同时,规模化的创新商用也将反哺固网资源升级和 5G 投资需求,促进垂直行业应用和网络基础设施投资形成良性的持续发展闭环。3.双千兆网络性能根据历史发展轨迹,5G 和千兆光网的商用落地,也将迎来新一轮信息革命浪潮。“双千兆”网络性能,为新兴技术和产业发展提供了基础保障,具体包括:(1)更高速率:5G 和千兆光网 FTTR 传输速率均可达到 1000Mbps,可支撑超大文件、无损音频、超高清视频、8K/12K VR 视频、VR 游戏和其他带宽密集型应用实现快速加载和传输。(2)更低延迟:5G 网络通过大幅度降低空口传输时延和尽可能减少转发节点,来降低数据传输的延迟和端到端响应时间;千兆光网则以 132、0G PON+FTTR 的全光接入为技术支撑,为 VR 云游戏、VR 直播等实时应用提供超低延迟的网络保障。(3)更大带宽:5G 网络采用更大的频谱带宽,通过引入高阶调制、Massive MIMO 等技术手段提升了频谱效率;千兆光网方面,FTTR 能够提供更大的带宽容量,可以支持处理更大容量的数据流量,全面提升全景视频的分辨率和传输码率,从而达到更好的 VR 视频观看体验。家庭元宇宙场景化应用白皮书12(4)更低功耗:5G 网络通过 RedCap 和微蜂窝技术,有效降低终端功耗,提高电池续航时间,推动手机、头显等智能终端实现轻量化发展;千兆光网方面,FTTR 则通过 ONT+AP 二合一技术,33、结合智能休眠技术实现每户节省能耗 30%。(5)更强可靠性:5G 和千兆光网能够长时间为用户提供网络连接稳定性,避免 VR 游戏、超高清 VR 点播、VR 直播等高占用网络资源应用场景下,网络出现连接中断或不稳定的情况,为 VR 产业进一步发展与应用落地提供保障。(6)更广连接:5G 网络具有移动性强、连接数量大的优势,能够在交通枢纽、大型体育场馆、热门景区等流量密集区域实现网络的深度覆盖;千兆光网具有微秒级连接的优势,支持更多设备接入并保证网络连接的畅通,其中 FTTR 技术支持 128 个以上的家庭 IoT 设备接入,实现全屋千兆光网共享。4.双千兆网络覆盖率随着 5G 基站与千兆光网的覆34、盖与普及,5G 与千兆宽带用户规模稳步提升。截至 2023 年,我国移动电话用户总数达 17.27 亿户,其中,5G 移动电话用户达 8.05 亿户,占移动电话用户的 46.6%,占比较上年末提高 13.3 个百分点;三家基础电信企业的固定互联网宽带接入用户总数达 6.36 亿户,全年净增 4666 万户,其中 1000Mbps 及以上接入速率的用户达 1.63 亿户,占总用户数的 25.7%6。双千兆网络的落地推动了虚拟现实、元宇宙等新兴技术和领域的高速发展,依托于千兆宽带性能与用户规模优势,家庭元宇宙将成为元宇宙的关键应用场景之一。5.双千兆网络应用在家庭场景中,依托于千兆网络性能,家庭元35、宇宙包含由实向虚、由虚向实、虚实共生三个发展路径。由实向虚通过对现实世界的数字化,建立虚拟世界,为用户带来沉浸式的生活体验,如完全虚拟化的平行宇宙,包括巨幕影院,智慧文旅等应用;由虚向实基于虚拟世界的想象,对现实世界产生影响,包括游戏、社交、虚拟社区等应用;虚实共生通过感知、检测及传感器等设备,将虚拟世界和现实世界连接起来,为用户带来虚实结合的真实体验,包括 XR 运动健身、AR 骑行导航、家庭物联网等应用。不同应用场景网络需求不同,以 XR 视频、XR 游戏、XR 运动健身三个典型应用场景为例,具体需求如下:(1)XR 视频是家庭用户最容易获取的服务内容,主要包括影院、直播、360视频等应用36、,通过 XR 头显、裸眼 3D 屏幕、高清大屏电视、高清投影仪等设备,可为用户提供视觉包裹感,提升视频沉浸体验。现阶段 XR 头显主流单目分辨率为 2K(双目 4K),可支持 8K 及以上全景视频播放;Apple Vision Pro 单目分辨率超 4K(双目 8K),在解码能力足够的条件下,理论上可支持 12K 及以上全景视频播放,其发布推动产业升级的同时也对网络性能提出新的诉求,表 2.1 给出家庭元宇宙 XR 视频业务的网络需求。另一方面,多视点裸眼 3D 显示技术逐渐成熟,千兆光网为其提供网络支撑,让电视大屏实现裸眼 3D 沉浸式体验成为可能。多家庭元宇宙场景化应用白皮书13视点大屏显37、示技术通过屏幕上附着的固定式光栅或透镜阵列完成子图像分离,以实现裸眼 3D 效果。根据视点数量,3D 大屏显示技术可分为裸眼 3D 大屏和全息光场大屏两个分支。其中,裸眼 3D 大屏视点数较少,以 2、9 视点为主,用户通过双目视差原理可在大部分视角感受立体显示效果;全息光场大屏大多为 45100 视点,用户可在不同位置和视角感受差异化 3D 内容。多视点裸眼 3D 视频业务在不同的终端形态、分辨率中对应不同的网络需求,具体需求如表 2.2。表 2.1 家庭元宇宙 XR 视频业务网络需求全景分辨率8K12K24K帧率30fps60fps60fps平均码率80Mbps280Mbps760Mbps38、带宽要求(必须)160Mbps560Mbps1520Mbps网络 RTT(建议)30ms20ms20ms来源:基于电信网的云化虚拟现实网络技术要求表 2.2 家庭元宇宙裸眼 3D 视频(点播)业务网络需求业务类型裸眼 3D 大屏裸眼 3D 光场屏视点数2996060内容分辨率2K(25601600)8K(76804320)12K(115202160)8K(76807200)16K(1536014400)帧率30fps60fps60fps60fps60fps平均码率20Mbps130Mbps293Mbps217Mbps868Mbps带宽需求40Mbps260Mbps586Mbps434Mbps139、736Mbps时延20ms20ms20ms20ms15ms来源:家宽多业务并发体验分级白皮书(2)XR 游戏是家庭元宇宙主要的娱乐场景,通过 VR 技术让用户在虚拟的游戏世界拥有沉浸式视听感受,并配合身体姿态实现人机交互。传统的 XR 游戏对终端性能要求较高,随着云计算技术的发展,通过将内容上云、渲染上云,可有效降低用户侧对终端性能的要求。同时,随着家庭网络和接入网带宽资源的日益丰富,原本应用在视频编辑、媒体制播、交互式远程图像回传等专业领域的浅压缩技术标准,如 JPEG-XS/AVS 及其相关变种,有望在运营商边缘云架构上得到规模化推广和应用,以满足 XR 云游戏低时延(4K60FPS 时编40、解码3ms 以下)和高质量要求(主观无损),具体的网络需求如表 2.3 所示。表 2.3 家庭元宇宙 XR 游戏(云渲染)业务网络需求主流终端屏幕分辨率(双目)4K8K16K帧率60fps90fps90fps平均码率65Mbps270Mbps770Mbps带宽(必须)130Mbps540Mbps1.5Gbps网络 RTT(必须)20ms10ms8ms来源:基于电信网的云化虚拟现实网络技术要求家庭元宇宙场景化应用白皮书14(3)XR 运动健身将 XR 技术融入智能电视端,通过实时动作捕捉、AI 智能指导和负荷统计,并配合云端渲染实现智能健身。相比于传统健身馆固定的营业时间和高昂的私教费用,XR 41、运动健身能够帮助用户实现居家享受专业教练般的指导,具有时间更灵活、费用更低的优势。在电视大屏场景中,舒适体验阶段内容以4K 为代表,帧率达到 60fps;进一步地,理想体验阶段内容以 8K 及以上为代表,帧率超过 120fps 及以上,具体的网络需求如表 2.4 所示。表 2.4 家庭元宇宙 XR 运动健身(电视大屏+云渲染)业务网络需求显示屏分辨率4K8K帧率60fps120fps平均码率65Mbps200Mbps下行带宽130Mbps320Mbps上行带宽2050Mbps2050Mbps网络 RTT20ms15ms来源:云游戏白皮书随着运营商网络的不断升级以及 XR 云游戏、XR 运动健身42、、8K IPTV、8K XR 直播等家庭业务类型的丰富,家庭应用场景进一步向多业务组合并发扩展,如同时享受 8K IPTV 与 XR 运动健身,多业务组合对家庭网络的需求将进一步提高。综上所述,以 XR 视频、XR 游戏及 XR 运动健身为例,表 2.5 汇总了家庭元宇宙场景化应用及网络需求。表 2.5 家庭元宇宙场景化应用及其网络需求汇总应用视频游戏运动健身备注说明内容类型影院、直播、360 视频虚拟游戏体感游戏、动感骑行等显示方式XR 头显、裸眼 3D 终端、电视大屏等XR 头显、电视大屏等XR 头显、电视大屏等交互体验低,几乎无交互高,6DoF 手柄、触摸屏等实时输入高,摄像头、可穿戴等43、传感器实时交互交互类应用对网络上行有要求网络需求(示例)下行带宽:XR:160Mbps8K 全景560Mbps12K 全景裸眼 3D 大屏:260Mbps8K 9 视点1736Mbps16K 60视点下行带宽:XR:130Mbps4K540Mbps8K上行带宽:XR:0.52Mbps下行带宽:电视大屏:130Mbps4K320Mbps8KXR:同游戏场景上行带宽:2050Mbps(摄像头、激光雷达等)上行带宽取决于6DoF 手柄、摄像头、可穿戴等传感器带宽优化建议提供多样化终端选择,如 XR 头显、裸眼 3D 屏降低大型游戏设备性能要求优化动作捕捉精度和时延家庭元宇宙场景化应用白皮书152.244、 家庭元宇宙入口终端分析家庭场景虽然具备了网络技术基础,但家庭元宇宙的落地与广泛应用仍然受一体机销量和用户规模制约,因此在一体机广泛普及前,电视作为家庭场景普及率最高的智能终端将有望成为家庭元宇宙的入口终端,推动元宇宙在家庭市场实现规模化发展。1.电视发展现状电视从诞生之初已发展近百年,从早期普及的 CRT 技术到现代的 LCD、OLED 技术,从小型屏幕到大型屏幕,电视技术发生了翻天覆地的变化。如今市场上流行的电视技术主要分为 LCD 和 OLED 两大类。LCD 使用背光源和液晶屏来显示画面,其中 LED、MiniLED、QLED 等都属于 LCD 液晶电视,只是背光源用 LED 光源替代45、了传统的荧光灯管。OLED 则无需背光源和液晶显示屏,通过有机材料自身发光产生画面,是一种新的显示技术。LCD 和 OLED 电视提供了更高分辨率、更广色域的显示技术,目前 4K 电视迅速普及,各大电视厂商积极投入 8K 电视研发,超高清分辨率、超广无差视角、裸眼 3D 视效、语音控制、智能操作系统等为 8K智能电视增添了极大的优势。现阶段电视服务包括传统电视、IPTV 和 OTT TV,传统电视由地方级有线网络公司提供服务,IPTV 通过电信运营商专网获取广播电视服务,OTT 通过互联网电视集成播控平台获取广播电视服务,表 2.6 说明了传统电视、IPTV 以及 OTT TV 的区别。随着家46、庭网络和硬件基础的蓬勃发展,智能电视集网络化、数字化、高清晰度于一体,已成为三网融合的核心和重要落脚点,为休闲娱乐、运动健身、家庭教育、家庭影院等多场景融合提供了智能载体。表 2.6 传统电视、IPTV、OTT TV 的区别电视服务传统电视IPTVOTT TV信号传输有线电视网络电信运营商提供的 IP 城域网公共互联网操作系统无有有直播信号有有无应用平台无有有应用管理用户无法下载安装软件由增值服务运营商安装软件,用户无法安装、下载第三方软件用户可自行安装、卸载第三方软件观看内容以电视台播放内容为主,不可点播以网络视频资源和电视台播放内容为主,用户可进行点播、回看等操作用户可观看多种视频客户端的47、视频内容,不可观看电视台的直播节目2.电视用户规模家庭元宇宙场景化应用白皮书162023 年全球电视出货量为 2.01 亿台7,消费市场对电视的需求为电视用户规模的维持提供了稳定基础。2023 年国内 IPTV 用户超过 4 亿2,庞大的电视用户规模表明,在以手机为主要娱乐终端的移动互联网时代,智能电视仍然是家庭场景中不可或缺的数字媒体中心,在家庭娱乐、信息获取、智能家居控制等方面扮演着越来越重要的角色。得益于电视日益丰富的应用场景和 IPTV 用户的稳步增长,智能电视延续了传统电视在家庭市场的重要地位。通信技术的发展和新兴技术的应用使得用户对电视内容形式和视听体验有了更高的要求,网络电视为用48、户提供了更多样化的内容形式,高清视频、家庭云游戏、家庭教育等内容丰富了用户的选择,高清的画质和极致的视听体验将用户的视线重新吸引回客厅。3.电视创新发展与应用电视作为家庭场景中的娱乐视听中心,经过漫长的发展,在形态、显示、内容及功能等方面都发生了重大的变化,形态更纤薄、显示更高清、内容更丰富、功能更多样。电视正逐步演变为集硬件、软件和内容于一体的全新智能终端设备,逐渐成为家庭娱乐、信息交互以及智能家居控制的共同载体。大屏化、场景化、创新化或成为未来电视发展的重要方向。大屏化成为消费市场的主流趋势。近年来,国内用户对大屏电视的高需求促使大屏智能电视的出货量逐年增多。2023 年全球电视出货的平均49、尺寸达到 49.3 英寸7,75 英寸液晶电视成为市场中的主流,同时 80 英寸以上的超大屏消费意愿也持续增强。大屏电视能够提供更加震撼的视觉和听觉效果,提升用户沉浸感,满足用户对画面效果和视野冲击的追求。越来越多的厂商开始布局超大屏电视领域,大屏化成为电视行业稳定发展的趋势之一。场景化应用成为未来电视的发展方向之一。随着技术发展与革新,智能电视功能不再局限于单纯的视听终端,远场语音、视觉交互等能力使其担任着娱乐中心、信息交互平台、智能家居控制中心等一系列角色,智能电视将全面融入用户的数字生活。家庭游戏、家庭影院、家庭教育、居家健身、家庭互联等多样化的应用需求推动电视实现迭代更新。同时,智能电50、视与网络、虚拟现实等技术的深度融合推动视听体验向超高清视频、沉浸式视频、三维声、XR、互动视频、全息影像等多技术、多功能融合方向发展,全面提升了场景化应用的发展空间。创新化驱动电视行业实现突破发展。内容上,视听产品持续向多维度、多领域、沉浸式方向演进;技术上,积极探索新形式的电视互动方式,以创新技术驱动产品更新。通过大数据、云存储、分布式计算、5G 通讯等技术完善智能电视关键能力,提升用户视听体验;运用虚拟现实、增强现实、混合现实等技术创新视听娱乐方式,提高视听内容丰富度;依托 6G、人工智能、全息投影等技术创新电视交互方式,推动电视向智能化、个性化、融合化方向发展。家庭元宇宙场景化应用白皮书51、172.3 家庭元宇宙发展路径分析依托于千兆网络高速率、低延迟、大带宽等性能,高度依赖高品质网络性能的元宇宙应用可真正意义上融入基础生产生活,智能电视具备大尺寸屏幕的优势,结合千兆网络、虚拟现实、空间音频、智能交互、云化等技术,衍生出日益丰富的高沉浸式、多维度交互式应用模式,助力电视应用突破原有家庭视听媒介的定位,逐步向功能更全面、内容更丰富、交互更智能、体验更贴心的智慧家庭中枢转型,形成 VR 影视、VR 游戏、VR健身、VR 教育、VR 家装、VR 助老等多领域应用的电视端裸眼虚拟现实应用矩阵,提升用户在居家场景下休闲娱乐的内容丰富度,满足垂直应用场景下用户的个性化需求。元宇宙与 VR 技52、术结合,通过电视端承载服务于家庭用户,赋予了电视极致震撼的视听效果,提升了用户沉浸式人机交互体验,丰富了家庭场景下休闲娱乐方式和应用场景,推动元宇宙在电视端实现繁荣发展。构建“千兆+VR+电视”的家庭元宇宙入口,将促进家庭场景下的消费升级,满足人民对美好生活的热切向往。一方面,将虚拟现实技术应用于电视能够拓展新型家庭休闲娱乐方式,使得用户能够足不出户体验万千世界,加强用户与自然、社会之间的联系;另一方面,通过持续挖掘电视应用新场景,能够推动居家场景下的娱乐模式从个人娱乐回归到家庭娱乐,加强家庭成员之间的互动沟通频率,有效促进家庭成员感情升温,从而提高家庭生活品质。电视也将从单纯的视听设备逐渐向53、家庭娱乐中心、家庭物联网控制中心转变。千兆网络、虚拟现实、电视应用相辅相成、互利共生,逐渐形成协同发展的有机整体,为元宇宙在家庭场景应用与规模化推广奠定基础。依托“千兆+VR+电视”的发展模式,将推动家庭生活向数字化、虚拟化、智能化、线上化、便捷化方向发展。3.家庭元宇宙场景应用分析3.1 家庭娱乐电视作为家庭场景下的主要娱乐载体,为家庭成员之间提供了良好的互动环境。千兆宽带的普及和显示技术的提升为 4K、8K 画质的内容提供了硬件基础,使电视不再局限于传统的视听内容,元宇宙游戏、全景漫游、元宇宙直播、3D 巨幕电影等新型娱乐内容丰富了大屏内容生态,满足了家庭用户更高的精神娱乐需求。娱乐领域是54、元宇宙应用最早、最广泛的领域之一,在数量规模和应用范围上占据主导。元宇宙为用户提供了更多样化的娱乐内容、更沉浸的娱乐体验和更多维度的互动方式,提高了用户的参与度和留存率,推动了娱乐行业的发展。家庭元宇宙场景化应用白皮书18游戏是元宇宙产业主要的消费级场景,游戏玩家被视为元宇宙的“种子用户”,相较于传统游戏,元宇宙游戏更具真实性、交互性和可玩性。真实感是元宇宙游戏最显著的特征之一,基于虚拟现实、人工智能、三维建模等技术可构建出高度仿真的虚拟环境,光影效果、颜色深度以及纹理质感等细节的呈现方式都给用户带来更加真实的视觉效果;沉浸式的音频效果也能增强元宇宙游戏的真实感,同时帮助用户更好地理解游戏的任55、务与情节;模拟触感也是增强真实性的关键因素之一,生动的触觉感应会让用户产生更接近于真实环境的感受。交互性是元宇宙游戏的另一大特点,现阶段 VR 头显、数据手套等可穿戴设备是接入元宇宙的主要途径,手势追踪、眼动追踪、动作捕捉等技术为其提供了更自然真实的交互方式。手势追踪包括光学追踪和数据手套追踪,光学追踪采用摄像头或红外传感识别手势从而实现用户与虚拟环境的交互;数据手套则通过在手套上集成惯性传感器来追踪用户手指或手臂的运动。游戏画面的真实性和良好的交互性提升了可玩性,使元宇宙游戏更具优势。图 3.1 元宇宙游戏应用示意图全景漫游是基于图像处理、三维建模、计算机仿真等技术实现的虚拟实景系统,具有真56、实度高、沉浸式感强等特点,广泛应用于虚拟景区游览、虚拟博物馆漫游等场景,是元宇宙较为成熟的呈现方式。全景漫游首先采用具有重叠视野的多个鱼眼相机拍摄真实场景的多视角画面,然后通过图像拼接算法制作为全景图像,最后基于数字图像处理等技术利用全景图像构建出多维的全景空间。全景漫游通常具有 360 度或 720 度视角,用户可通过触摸屏、手柄、转头等方式控制视野变换,实现多角度、全方位的场景游览。与传统的画面展示相比,全景漫游更具沉浸感、交互性和可塑性,高度的沉浸感和多维的交互性呈现了全新的信息表现形式,高质量的图像和生动的细节使用户更加身临其境。家庭元宇宙场景化应用白皮书19元宇宙 VR 直播是结合虚57、拟现实、5G 等技术实现的一种新型直播方式,主要应用于体育赛事、演唱会、发布会等直播场景。传统直播仅给用户提供一个观看视角,VR 直播则不再局限于导播展示的观看角度,用户可以多角度自由切换视角,捕捉到直播现场的任意角落,有效地提升了用户的沉浸感和观看体验。VR 体育直播从视角上拉近了观众与比赛现场的距离,营造了现场感的观赛氛围。在中国职业篮球联赛 2022-2023 赛季总决赛中,中国移动将 5G+VR 技术赋能体育赛事直播,推出首个 VR+8K 体育直播行业解决方案,为用户带来更丰富立体的细节体现和沉浸式观赛体验。VR 演唱会直播聚焦视觉和听觉两大方向,持续提升用户的视听体验。用户可观看 358、60 度的实体表演舞台和全自由视角的虚拟互动场,实体舞台可在视觉上融入虚拟互动场,并且具备 VR 实时动态音效跟随功能。VR 直播凭借近距离、多视角、高沉浸体验等特点逐渐成为直播行业新趋势,未来有望打破线上和线下活动的壁垒,实现无差别视听体验。在家庭元宇宙场景中,元宇宙游戏、全景漫游、VR 直播也铸造了家庭娱乐的新方式,电视大屏作为家庭场景中的重要媒介,在观影舒适性、互动体验上具备一定的优势。相较于手机、平板电脑等小屏设备,电视有更大的屏幕和更好的音效,可以提升画面沉浸感和真实感,提供更生动的视觉感知体验。相较于 VR 头显,电视大屏在保证一定沉浸感的同时缓解了头显久戴不适的问题,提供了更舒适59、的视听方式。在家庭场景中,电视大屏更利于家庭成员的互动,共享元宇宙的乐趣从而增进家庭成员之间的感情。然而,目前大部分电视仍然采用传统遥控器的按键进行交互,单一、不灵活的交互方式会让用户产生较强的割裂感,缺乏交互的自然性。智能化的大屏交互方式是实现家庭元宇宙场景快速发展的关键,多样灵活的交互方式有利于打造更多的家庭互动场景和应用模式,满足用户多样化的娱乐需求。智能化、个性化、融合化或成为大屏交互的发展方向,语音识别、人脸识别、手势追踪、眼动追踪等前沿的交互视听技术也将应用于大屏交互场景中;根据用户偏好和习惯进行定制化的交互方式会极大地提升用户的交互体验;融合化的大屏交互技术将实现不同平台和设备之60、间的数据共享和互联互通,从而实现更加全面、智能、高效的虚拟现实交互和服务。3.2 智慧文旅随着新一轮产业变革和技术变革的持续推进,数字化转型为文旅产业高质量创新发展提供了新的方向。5G、云计算、人工智能、虚拟现实、增强现实等元宇宙基础技术为文旅产业的转型升级提供了重要技术支撑,文旅产业与元宇宙的深度融合打造了虚拟文旅新模式。元宇宙文旅以历史人文资源或现代社会的地域文化、自然风光为基础,通过虚拟现实、云计算等技术构建更加真实的虚拟环境,打破空间和时间限制,让用户体验世界之美,感受不同时空的历史事件和人文故事,与新兴技术的融合极大地提高了用户的参与度和沉浸感。家庭元宇宙场景化应用白皮书20图 3.61、2 智慧文旅应用示意图元宇宙将数字科技应用于文化艺术,突破艺术形式的限制,为传统文化注入新的能量和无限创意。数字皮影戏融合虚拟现实技术、非物质文化遗产和传统故事,在沉浸式、多感知性的呈现形式中展现中国古老民间戏曲皮影戏的艺术魅力。数字京剧以“文化+科技”的创新形式,将新时代国粹文化的创新传承故事以全新的方式进行呈现,铸造了演播行业的新标杆,实现社会效益和经济效益双赢。元宇宙互动记录片利用 360 度全景视觉技术让用户“站”在历史里,深切体验古人所生活的时代。空间音频技术带来了更具方位感和真实感的视听体验,6DoF 传感器则可以让用户触碰、拿起、旋转、放大文物,深入探索文物的历史文化和背景,实现62、与文物的零距离接触。元宇宙博物馆以 5G、虚拟现实、云计算等技术为支撑,通过多方位、生动立体的线上虚拟博物馆再现真实场馆和展品。用户可在各个虚拟展区中自由穿梭,实现与线下参观同样的体验。基于虚拟现实、3D 建模等技术还可将展品从静态转化为动态置入适当场景中,通过多维立体的呈现形式使沉睡的文物“活”起来,让用户更加深刻地感受历史的厚重感。云旅游是一种通过元宇宙技术实现在云端游览景区、观展、直播的新型虚拟旅游形式,为景区营销和品牌形象塑造提供了新的方法,推动了数字化旅游建设和智慧旅游发展。云旅游以全景视频、3D 图像等多种形式展现观赏内容,并融合游戏化的互动环节以及主题场景等,使游览体验更加立体化63、、具象化、故事化。对于用户/游客而言,一方面,云旅游提供了一种更便捷、更低成本的旅游方式,足不出户就能观赏到不同地区、不同季节的风景,利用碎片化的时间享受旅游的乐趣;另一方面,用户可以通过云旅游预览目的地景色后再决定是否前往,能有效降低出行前期的规划时间成本。对于旅游景区而言,云旅游能够打破时间和地域的限制,使家庭元宇宙场景化应用白皮书21景区面向更多游客,提升景区的知名度。同时,云旅游还可为景区提供实景导航、智能解说等数字化运营工具,实现景区的智能化服务。文旅行业与新兴科技的深度融合有利于探索智慧文旅发展的新方向,元宇宙的加持在促进文旅产业数字化转型、推动文旅产业链的协同创新等方面发挥着重要64、的作用,智能化、互动化、沉浸化的文旅体验有助于提高文旅产业的经济效益和行业竞争力。电视大屏作为家庭元宇宙文旅场景的重要入口,让家庭用户足不出户就能体验到大自然的鬼斧神工、领略不同地域的风土人情。电视端不仅提供了更优质的视听体验,而且帮助家庭成员间建立连接,用户在观赏体验的同时促进了家庭成员之间的良好互动,满足了家庭用户的文旅新需求。3.3 家庭教育2023 年 5 月教育部等十八部门联合发文提出“探索利用人工智能、虚拟现实等技术手段改进和强化实验教学,并注重利用先进技术弥补薄弱地区、薄弱学校及特殊儿童群体优质教育教学资源不足的状况”8。元宇宙与传统教学的深度融合创新了教学模式,虚拟现实、人工智65、能等元宇宙基础技术逐渐成为教育现代化的重要手段,为教育信息化提供了强大的技术支撑。图 3.3 家庭教育应用示意图元宇宙与教育的融合在提升教学效果方面具有显著优势。传统课堂主要通过讲课、演示、实验等方式进行教学,学生被动地接受知识与信息。元宇宙课堂则可以将抽象的概念转化为具体的视觉形象,构建逼真的虚拟学习场景以实现情境式教学,身临其境的学习有利于加深学生对知识的理解和记忆,从而达到提升教学效果的家庭元宇宙场景化应用白皮书22目的。例如在化学课堂中基于虚拟现实技术构建分子的三维结构,或是模拟化学反应过程,通过具象化的画面让学生更直观地了解文字表达的含义。元宇宙在教育领域的应用有利于提高学生学习的积66、极性和趣味性。一方面,相较于传统教学模式或电子学习资源,元宇宙课堂更具沉浸感和交互性,互动式、智能化的课堂能够充分调动学生的积极性和思维扩展能力,虚拟现实、人工智能、物联网等元宇宙技术打破了传统课堂的空间局限,为学生提供了更大的想象空间,有利于提升学生学习的积极性和探索知识的主观能动性。另一方面,元宇宙教育多样性和创新性的特点能够激发学生的学习兴趣,有利于培养学生创新思维能力和自主解决问题的能力,例如将元宇宙小游戏与教学内容融合能够避免文本知识的乏味,提高学生自主学习的兴趣。元宇宙教育可以提供更丰富、多样化的学习内容和形式,有利于学生探索不同学科领域,实现全面发展。在物理、化学课堂上,对于难以67、控制过程的实验可以通过虚拟现实技术呈现,在得到更直观结论的同时能避免实验的危险性和破坏性。对于诗词歌赋的学习,元宇宙课堂能提供意境感更强、更沉浸的知识呈现形式。元宇宙教育不限制学习方式和场景,能提供更加灵活和多样化的学习体验。学生可以选择在不同的时间、地点和环境下进行学习,例如通过虚拟实验室进行科学实验、在虚拟办公室中学习职业技能、或是在虚拟旅游中学习历史文化。灵活的学习方式能更好的满足学生的个性化需求,提高学生的学习兴趣、积极性和学习效果。家庭教育在学生的成长和发展过程中扮演着至关重要的角色,社会的变迁和生活方式的改变为家庭教育带来了新的问题和挑战。快节奏的工作使许多父母无暇顾及孩子的教育和68、辅导,其次,专业知识的缺乏也提高了家庭辅导的门槛。以电视大屏为入口的元宇宙教育为学生提供了一种更加专业、高效、个性化的家庭教育方式,以逼真的虚拟场景和多样化的交互形式提升了学生的学习效果和兴趣,让家庭教育更贴合学生的需求和期望,未来元宇宙与家庭教育融合将成为重要的家庭教育辅助手段,解放家长的课业辅导压力,增强家庭教育的可持续性发展。3.4 居家健身随着大众运动健身的意识提升与定期运动健身的习惯养成,家庭元宇宙场景下的运动健身正成为用户的新型刚性需求。大屏显示、动作捕捉、多人协同等技术为元宇宙运动健身提供了重要技术支撑。在家庭领域,电视大屏与智能机顶盒的组合实现健身内容高清显示,提高运动健身的沉69、浸感体验。相较于传统的手机、平板等小屏,头戴设备可以提供更好的沉浸感和视觉体验,但由于头戴设备与外界完全隔绝,长期佩戴存在眩晕、不适等问题,因此不适用于健身场景。眩晕感是影响用户体验的重要因素之一,引起眩晕感的主要原因是终端设备的处理延迟导致视觉接收信息和身体感知信息不对称,从而引发用户视觉与其他感官通家庭元宇宙场景化应用白皮书23道冲突,产生整体紊乱。电视作为家庭场景中重要的娱乐和信息获取中心,为家庭用户创造了无数的美好记忆。现阶段电视的普遍分辨率已达到 4K、8K,图像分辨率达到了 7680 4320 像素,视场角超过 100 度,并且具备 AI 图像画质增强、动态运动补偿、超分辨率等性能70、,在视听感受上为用户带来极致体验。大屏幕、超高清晰度的特点不仅满足视听沉浸感,而且没有头戴设备的不适感,适宜在家庭场景下长时间使用,尤其是运动健身等需要大范围、长时间活动的场景下,高分辨率的电视大屏是首选显示设备。同时,元宇宙运动健身内容逐渐丰富,包括舞蹈、瑜伽、拳击、跑步、骑行等多种运动类型,推动家庭健身从简单娱乐性发展到专业化阶段,用户足不出户就可以跟着教练进行活动,享受等同专业健身场馆的健身体验。图 3.4 居家健身应用示意图电视端通过定制机顶盒与移动终端,实现用户肢体、动作捕捉,对健身动作进行科学评估与实时纠正。传统的居家运动健身主要存在三个问题:一是健身过程较为枯燥、单调,导致用户无71、法长期坚持;二是健身动作、健身负荷等缺乏科学性的统计方法,健身效果不可量化;三是健身过程中缺乏交互性,动作标准程度和动作安全性缺乏指导,容易造成运动损伤。在家庭元宇宙场景下,基于电视大屏端的 XR 运动健身能有效解决上述问题。通过电视大屏向用户提供丰富想象力的虚拟场景,如海底、太空、以及国家体育运动中心等特殊意义的场所,让运动健身充满乐趣从而解决健身枯燥的问题。其次在智能电视机、智能机顶盒上搭配智能传感器,如HDR 摄像头、雷达、拾音器及 IMU 等,可在健身过程中实时检测活动对象的身体姿态、动作幅度、运动力量、角度、加速度等数据,并通过 AI 算法实时捕捉动作进行标准化分析。同时基于电视音响72、、图像画面和可穿戴传感器等方式进行实时反馈,实现双向交互,提升运动健身体验。新一代智能电视和智能机顶盒不仅在视听方面追求极致体验,还集成 AI 摄像头、神经网络处理器等新兴硬件,丰富 Wi-Fi/蓝牙等多样化网络接入能力,家庭元宇宙场景化应用白皮书24支持与各类智能传感设备互联互通。通过高效的分布式传感技术,可以快速识别各类外围设备,进行高效率的通讯,提供低延时、安全可靠的联接,支持 AI 结构化数据传输,将外围设备虚拟成本地设备进行操控,为用户提供最佳的使用体验。多人协同的运动健身能提高居家健身运动的娱乐性与社交性,有效缓解传统运动健身枯燥、单调的问题。多人协同指同时支持多人在一个虚拟地点或73、多个地点同时接入,当用户与其家人、朋友在同一个虚拟环境下健身运动,即使远隔千里也如同近在身旁,可以实时的交流、碰触,提高了健身过程中的娱乐性。同时家庭元宇宙健身支持运动记录的统计、排名、朋友圈分享等功能,大幅度提高了运动健身的社交性。为保证运动健身活动中良好的多方协同效果,高效的音视频实时通信技术是关键。实时通信的关键技术指标包括清晰度、端到端延迟、首帧加载时长、卡顿率等,这些技术指标将对用户等待时长、使用时长、用户渗透率等用户体验产生直接影响,进而影响业务营收。通常来说,运动健身等业务场景对延迟要求极高,从用户触发指令到首帧响应的往返时延需小于 100 毫秒,最佳体验情况下需要小于 70 毫74、秒。5G 千兆网络支持大带宽、低时延、高并发,可以为实时通信提供可靠的接入网络,是支撑 XR 运动健身业务顺利开展的基础。3.5 家庭康养家庭康养通过结合元宇宙技术和家庭护理服务,以数字化手段赋能健康医疗行业,为家庭成员提供了更多维护和改善健康的选择。针对有健康管理需求的家庭,家庭康养可为用户提供健康数据监测、健康档案建立、心理健康管理、医疗知识教育、数字人问诊、远程诊断等全方位的数字化健康服务。随着用户对个人健康数据关注的提升,在物联网技术下的实时监测成为家庭康养不可或缺的一部分。健康数据监测通过实时监测家庭成员的血压、血糖、心率等指标及时反映用户身体状况,并通过 AI 数据分析为每位家庭用75、户定制个性化的健康管理方案。智能手表、手环等可穿戴设备的飞速发展,实现了对心率、血氧饱和度、体温、睡眠等重要健康指标的实时监测。血糖监测软件通过微创式血糖传感器提升了居家血糖监测的便捷性,光学血压传感器等新型便携式血压检测设备通过算法分析血压变化数据得到血压值。同时,通过大数据、深度学习等技术对个人健康数据进行分析并预测疾病风险指数,提高自我防范意识。虚拟现实技术则为心理健康管理和医疗知识普及教育提供了更有效的方法。以电视大屏为呈现终端,结合云渲染技术,通过 VR 技术为家庭用户构建安全、舒适的虚拟环境,促进用户神经功能恢复,减轻焦虑、抑郁等情绪;并以 VR 形式进行医疗知识教学,一比一还原真76、实的急救案例与操作方式,增强家庭用户对急救技能的理解和掌握,提高对突发情况的处理能力。家庭元宇宙场景化应用白皮书25在技术和需求的双重推动下,数字人可基于历史健康数据进行针对性的诊断,为家庭用户提供便捷化、精细化、平民化的问诊服务。同时,远程诊断也是家庭用户健康管理的重要手段之一,通过视频通话、传感器数据传输等实时通信技术,可将通话功能集成到电视大屏中,利用电视大屏幕、高清晰度等优势为家庭成员与医生搭建更便捷的通话渠道。一般情况下,通话场景中端到端时延在 200 毫秒以内不影响用户体验,家庭千兆网络支持大带宽、低时延、高并发,为大屏实时通话提供了可靠的传输通道。图 3.5 家庭康养应用示意图377、.6 家庭物联网家庭物联网系统是家庭元宇宙场景化应用的重要能力底座,是实现虚拟世界与真实世界互联互通的技术支撑。家庭物联网技术通过智能终端、传感器等设备将家庭中的各种物品、设施与环境连接成一个智能化的网络,构建一个智能家居服务平台,从而实现家庭内部的智能化管理和控制,提供全方位的信息交互。基于家庭物联网系统,用户可在元宇宙中操控各类智能家居或与家庭环境进行互动,如通过虚拟界面控制家庭智能设备、监控家庭安全情况、调节家庭环境等。同时家庭物联网系统通过收集和分析家庭中的各种数据为用户提供更加个性化的服务和体验,为家庭元宇宙场景化的可持续开发提供重要的数据支撑。中国移动智慧家庭以和家亲 APP为入口78、,打造统一的控制平台,通过移动终端实现连网、远程操控和多设备联动等功能,构建家庭物联网系统,为用户提供跨终端、跨场景的连接、应用和服务,满足家庭用户对便捷、贴心、智能家居生活的向往。家庭物联网的发展对家庭网络提出了更高的要求,FTTR 基于 P2MP 系统架构将千兆光接入能力进一步延伸至各个房间,实现全屋千兆以上的网络覆盖能力,成为构建家庭高质量信息基础设施的关键。FTTR 具有频家庭元宇宙场景化应用白皮书26率高、速率高、抗电磁干扰能力强、保密性好等特点,智能终端可在 FTTR 主从设备网络之间无感切换,实现Wi-Fi 全屋覆盖,消除网络切换导致的访问中断或卡顿等问题。同时光纤绝缘性能好、寿79、命长、体积小,便于施工和维护,FTTR 组网方式可规避频繁更换网线、电力线速率低、易受电器干扰等问题,达到“一次部署,长期演进”的效果,推动家庭元宇宙与 IoT 融合发展,助力打造未来数字家庭联接新体验。图 3.6 FTTR 架构示意图4.家庭元宇宙交互技术分析4.1 家庭元宇宙交互内容标准随着元宇宙与虚拟现实技术的蓬勃发展,旅游、医疗、工业、教育等行业涌现了越来越多的三维内容,其数量、质量和丰富度不断提高和完善。电视大屏作为家庭元宇宙娱乐、教育、健康等应用场景的主要入口,缺乏家庭元宇宙相关的内容标准和内容播放能力。为了让用户体验到更真实、丰富的家庭元宇宙互动内容,白皮书制定了统一的家庭元宇宙80、内容格式标准,包括家庭元宇宙基础内容和家庭元宇宙内容规范方案。1.家庭元宇宙基础内容图片内容是家庭元宇宙中应用最多的数据类型,包括传统图片、全景图片和纹理图片等。传统图片,如jpeg、png、gif 等格式,在家庭元宇宙场景中常用于信息传输及表达。全景图片是目前应用最广泛的元宇宙素材,可用于 VR 旅游、VR 看房、VR 户外活动等多种场景。其制作方式通常是由一组或多组前期拍摄的环360 度图片拼接而成,然后通过计算机技术在线还原为真实场景,实现全方位的互动观看,让用户沉浸式的感家庭元宇宙场景化应用白皮书27受到真实的环境和场景。按照几何结构全景图片可细分为球形全景图片和立方体全景图片,球形全81、景图片将多张照片拼接成一张球体状图像,可呈现出一个连续的、无缝的全景视野,展开后的长宽比例通常为 2:1,如图4.1(1)。立方体全景图片则将多张照片拼接成一张宽度、高度相等的图像,通常以正六面体为主,包括前、后、左、右、上、下共六张图,如图 4.1(2)。按照分辨率全景图片有 1K、2K、4K、8K、12K、16K 等多种不同的规格,尺寸大小通常以像素为单位,表 4.1 为全景图片各分辨率具体的尺寸。纹理图片是一种贴在几何表面上的图像,用于增强 3D 模型的表现力。虚拟现实中的几何表面通常由计算机生成,并使用纹理图片来模拟真实世界中的材质和纹理,如木纹、石纹、金属反射等,增加虚拟环境的视觉细82、节和真实感。(1)球形全景图片(2)立方体全景图片图 4.1 不同结构全景图片展开图表 4.1 全景图片的分辨率与尺寸分辨率尺寸(px)1K1024*5122K2048*10244K4096*20486K6144*30728K8192*409612K12288*614416K16384*81923D 模型内容在元宇宙领域发挥着重要作用,在游戏、教育、文旅、医疗、建筑等方面均有深度的应用,为元宇宙场景化应用提供了更加丰富、生动和逼真的视觉效果,让用户更具沉浸感。常见的内容格式包括 obj、fbx、gltf、Unity 等。音频内容是元宇宙应用中不可或缺的部分,按音频的业务类型可以分为背景音乐、解83、说和语音交互。元宇宙场景中的声音通常以立体声或环绕声的形式呈现,常用的音频格式包括 wav、mp3、Ogg、aac 等。视频内容是元宇宙应用主要的承载形式,包括普通视频和全景视频,格式以 mp4 为主。其中全景视频通过拼接多个多视角视频画面制作而成。家庭元宇宙场景化应用白皮书282.家庭元宇宙内容规范方案本章节提出一种家庭元宇宙内容规范方案,开发者可基于此内容规范在电视大屏、手机应用、VR 一体机、H5 等多类型终端渲染全景内容和虚拟现实基础内容。如图 4.2 所示,内容规范包括内容描述文件和内容资源目录,其中内容描述文件包含了内容空间结构和资源描述等方面。图 4.2 家庭元宇宙内容规范结构(84、1)内容空间结构内容空间结构是案例数据组织存储的重要依据以及全景应用解析展示全景内容的基础,主要描述了项目资源类型和各个资源类型层级结构。如图 4.3 所示,基本结构包括项目、分组(一级、二级)和全景。项目是当前整个案例的抽象表述,具有唯一性,一个项目由多个分组构成。分组是指具有相似特征的多个对象的逻辑集合,集合可以是多个全景或多个分组,方便用户依据不同的空间特征进行虚拟场景的浏览,例如一栋楼里的多个客厅全景构成客厅的二级分组,餐厅全景构成餐厅的二级分组,两个二级分组构成该楼的一级分组。全景是带有各类渲染资源的最小组成单元,表示虚拟空间,通过解析全景中的素材数据可实现对虚拟场景的渲染。家庭元宇85、宙场景化应用白皮书29图 4.3 内容空间结构(2)内容资源描述根据内容空间结构分别从项目、分组、全景描述各个结构资源,整体结构如图 4.4 所示。图 4.4 内容资源描述整体结构项目包括基础信息项、一级分组和全局自动导览配置。基础信息在项目、分组、全景中均包含,包括 ID、父级 ID、名称以及内容描述。一级分组属于逻辑单元,用于承载各二级分组、沙盘或全景信息。全局自动导览配置数据主要包括路径信息、字幕、相机动画、展示图片素材以及背景音乐/解说等。通过路径信息提供的全景点位和配置的相机动画参数,虚拟相机可自动实现各点位的实时转换,并在整个案例场景的浏览过程中,在不同的时间及点位播放对应的字幕、86、音乐与图片。家庭元宇宙场景化应用白皮书30一级分组包括基础信息项、二级分组和沙盘信息,二级分组又包含沙盘和全景信息。每个分组中均包含用于表示整体平面结构的分组沙盘信息,其中沙盘数据主要包括名称、沙盘背景图、热点、状态、样式和平面相机。沙盘背景图即平面结构图,在沙盘背景图上按点位分布对应的热点用于展示各个虚拟场景的位置,点击热点则可实现虚拟场景的切换,状态用于控制沙盘与热点的展示行为,样式用于个性化热点的绘制,操作平面相机则可旋转虚拟相机。全景包括基础信息项、全景沙盘信息、兴趣锚点、嵌入媒体内容、相机控制、特效信息、背景解说以及全景素材信息。全景沙盘信息数据与分组沙盘一致,但全景沙盘具有更高的优87、先级。兴趣锚点数据通过标注虚拟场景中的感兴趣点位或关键点位来提升用户的参与度,包括类型、样式、行为、素材、名称、尺寸以及承载内容等信息,其中内容包括各种媒体内容和动画参数内容,例如图片、文字、音频、视频、地理位置、场景切换等。锚点类型可分为图标锚点、几何锚点和个性化锚点,不同类型的锚点具有不同的素材资源,例如几何锚点的数据是一组几何路径数据,个性化描点则依据样式及尺寸数据,并结合用户行为数据和内容数据实现个性化绘制,依据不同的数据信息呈现不同的内容。嵌入媒体数据用于丰富虚拟场景实时展示的媒体内容,包括类型、样式、行为、素材、名称、状态、内容以及动画等信息,其类型主要有图片、视频、文字、标尺与遮88、罩(仅在极点方向上展示的图片),结合素材资源实现不同媒体内容的渲染。文字样式、标尺样式、图片/视频样式(颜色去除)等样式数据可实现嵌入内容的个性化绘制。状态数据用于设置嵌入媒体内容的展示行为,例如场景跟随旋转、固定水平垂直展示。行为数据与内容数据用于处理用户的点击交互,动画数据则主要用于图片内容自动或手动切换。相机数据方便用户控制虚拟相机以实现在不同视角下浏览虚拟场景,主要包括视角、范围控制、行为动画等信息。其中视角数据表示进入场景的初始视角,范围控制用于控制虚拟相机的可视范围,行为动画则包含小行星动画参数和自动旋转动画参数。特效信息数据用于提升虚拟场景的真实感和趣味性,主要包括类型、位置、素89、材等信息。特效类型包括粒子动画和阳光透镜特效,位置数据用于设置阳光特效的位置,素材资源则用于展示个性化的粒子效果。背景音乐/解说数据通过烘托虚拟场景气氛从而提升用户的沉浸感,包括类型、状态、素材等信息。类型数据用以区分背景音乐和解说,状态数据用于设置播放状态,素材则是音频资源数据。全景素材数据是虚拟场景展示的主体部分,主要包括尺寸、类型和素材资源,依据类型数据结合素材实现多形态的全景渲染。(3)内容资源目录内容描述文件以 cmpt 私有文件格式存储,cmpt 中依赖的资源,如图片、视频、音频、模型等分别存储在对应的资源目录下。在实际应用过程中,可将 cmpt 及其依赖的资源通过其他形式服务化,90、例如通过 API 提供 cmpt,视频、音频等静态资源利用单独文件服务器托管。家庭元宇宙场景化应用白皮书314.2 家庭元宇宙交互技术实现方案1.全景应用架构设计和执行流程(1)全景应用系统架构如图 4.5 所示,家庭元宇宙全景应用系统整体采用 B/S 架构,在 Web 前端层面基于 HTML 和 WebGL 对整个应用进行渲染,通过开源框架搭建整个业务系统,并采用 Unity3D 构建客户端应用框架。图 4.5 全景应用系统框架(2)全景应用功能架构图 4.6 为全景应用功能框架,功能架构采用模块化的方式最大限度地解耦合各个功能模块,提高代码复用性和可维护性。包括内核数据模块、场景管理模块、91、全景生成模块、锚点管理模块、嵌入内容模块、自动导览功能模块、相机控制模块、特效模块以及 UI 组件模块九个功能模块。家庭元宇宙场景化应用白皮书32图 4.6 全景应用功能架构内核数据模块主要用于管理全景案例的原始数据,在全景应用的创建过程中生成基础数据结构对象,提供相关的对外接口,方便其他模块获取所需的数据,实现创建、渲染、更新等功能。场景管理模块主要用于管理场景对象,控制不同场景之间的切换。其中场景对象是渲染三维全景以及全景中其他展示内容的媒介,包含主场景与待切换场景两个场景对象,主场景始终通过前台展示内容,而待切换场景则在切换过程中渲染待展示的全景。该模块可根据案例中的相关数据选取不同的场92、景切换策略实现全景场景的切换。全景生成模块主要用于全景对象的创建,根据案例中全景数据的格式可分别创建盒模型全景、球模型全景、全景视频对象,创建的全景对象会加入到场景对象中,最终利用通用图形 API 渲染(OpenGL、Vulkan、WebGL、DirectX、Metal)家庭元宇宙场景化应用白皮书33实现。锚点管理模块用于锚点对象的创建,根据案例锚点数据的类型可分别创建图标锚点、个性化锚点以及几何锚点。其中图标锚点与个性化锚点的数据形式为图片与文字,采用 DOM 渲染实现;几何锚点的数据形式是三维顶点与文字,采用通用图形 API 结合 DOM 渲染方式实现,通用图形 API 用于渲染三维顶点构93、成的几何图形,DOM 实现文字的渲染。嵌入内容模块用于创建嵌入内容对象,包括图片、视频、文字、标尺、掩膜对象,其中文字对象与个性化锚点类似采用 DOM 渲染方式实现,图片、视频、标尺、掩膜则利用 GPU 绘制实现。自动导览功能模块与相机控制模块作用的对象都是相机。其中自动导览功能模块的作用是根据设置的点位,实现相机自动浏览各个全景。相机控制模块主要实现小行星效果、相机旋转控制、相机 FoV 更改、自动巡游与重力感应功能。特效模块为场景实现粒子动画特效以及镜头光晕特效。粒子动画特效包括雨、雪、自定义图片特效。UI 组件模块管理各个 UI 组件的创建,包括全景列表组件、全景视频控制组件、沙盘组件、94、自动导览内容组件、功能按钮组件、内容展示组件。(3)全景应用执行流程全景应用执行流程如图 4.7 所示。首先,创建全景应用对象,加载个性化静态配置文件以实现个性化功能设置;其次,初始化 UI 组件模块,创建对应的组件对象,准备渲染 UI 样式;然后,对各个功能模块进行初始化,以便执行后续的渲染以及交互操作;最后,读入 cmpt 数据,基于 cmpt 文件数据渲染 UI 组件,同时利用通用图形 API 渲染整个场景。图 4.7 全景应用执行流程2.多形态全景应用渲染方案全景内容在游戏或影视动画中一般作为背景,提供烘托场景气氛的作用,对其自身表现力要求不高,通常使用通用图形 API 提供的 Cub95、e Map 功能即可实现全景效果,但在交互操作性上受到一定限制。而 VR 全景漫游则是将全景展示作为主体,使用户感受到身临其境的效果。VR 全景内容展示在不同远近的视角下细节表现不同,视角较远时远端景物细节模糊,视角较近时远端景物细节清晰。为适配全景内容远近切换的细节效果,本方案基于视野大小构建 FoV 金字塔分层模型,不同大小的 FoV 对应不同清晰度的全景图片。同时,为优化高分辨率图片加载效率,自建切片分割式模型,将高分辨率图片按照 512512 的大小进行分割,并建立高分辨分割图片与场景模型分割面之间的映射关系。在绘制时通过浏览器的并行下载功能实现场景资源的快速加载,通过视锥体剔除、几何96、数据合批绘制等实现全景的高性能绘制和流畅交互。(1)盒模型全景渲染家庭元宇宙场景化应用白皮书34盒模型分别设置上(Face 2)、下(Face 3)、左(Face 1)、右(Face 0)、前(Face4)、后(Face5)六个面,每个面长宽相同,且每个面右上角的 uv 坐标系用于图像采样,主要用于对立方体全景图进行渲染。立方体全景图由六张 1:1 的图片构成,与盒模型的六面一一对应,首先在全景金字塔模型中选取当前FoV 下的图像进行切片处理,并对当前 FoV 图像对应的几何面片进行网格切片,建立 FoV 图像切片与每个网格切片的映射关系;然后依次遍历网格切片,构建用于通用图形 API 渲染的97、标准顶点数据,同时将对应的图像切片转换为图形 API 提供的纹理对象,实现每个面的全景渲染。当 FoV 改变时,获取全景金字塔中新层级的全景图像,重新执行切片过程构建新的渲染数据。图 4.8 盒模型全景渲染(2)球模型全景渲染球模型主要用于球形全景图的渲染,其特征是宽高比为 2:1。首先获取不同的 FoV 层级基于球模型切片的几何数据。球体的分割通过经度和纬度实现,每一个全景图切片被映射到由经纬度分割的几何切片中,切片的顶点位置需要通过球坐标计算,利用半径、水平角以及垂直角计算最终的几何顶点位置,将几何切片数据转换为可渲染数据,全景图切片数据转换为纹理对象,实现球模型全景的渲染,在渲染过程中,98、相机视角始终位于球心处。家庭元宇宙场景化应用白皮书35图 4.9 球模型全景渲染(3)全景视频渲染全景视频可看作多张球形全景图的集合,其宽高比为 2:1,同样采用球模型进行渲染,无需对球模型与视频进行切片处理,一次性生成完整球体的顶点数据,绑定视频资源,生成通用图形 API 提供的纹理对象,将视频数据写入纹理缓冲区中,在运行于 GPU 的着色程序中对视频纹理进行采样,最终渲染到屏幕上。3 全景渲染规范(1)渲染数据组织规范全景渲染数据主要包括几何顶点数据与纹理数据。对于全景场景中所有基于 GPU 绘制的几何数据,采用如图 4.10 的组织形式。图 4.10 基于 GPU 绘制的几何数据形式其中99、 x、y、z 表示顶点坐标,用于几何绘制;u、v 表示纹理坐标,用于纹理采样;nx、ny、nz 表示顶点法向,用于额外的光照计算;r、g、b 表示顶点颜色,用于着色;textureId 表示纹理单元,用于合批绘制。家庭元宇宙场景化应用白皮书36对于以三角图元绘制的数据,顶点坐标及纹理坐标是必须的,其余数据根据业务需求进行设置;对于以非三角图元绘制的数据,顶点坐标是必须的,其余数据根据业务需求进行设置。全景渲染中原始纹理素材格式包括 jpeg、png、bmp、gif、mp4、WebM、Ogg 等,可分为静态图像、动态图像及视频。使用 Image 对象加载静态图像(jpeg、png、bmp 等),100、利用通用图形 API 提供的 2D 纹理对象(texture2D)管理静态图像资源;动态图像包括 gif 和序列帧图,gif 需要转换为对应的序列帧图,同样利用 Image 对象加载,利用通用图形 API 提供的 2D 纹理数组对象进行管理(texture2DArray);视频资源(mp4、WebM、Ogg 等)则利用 video 标签进行加载,同样利用通用图形 API 提供的 2D 纹理对象进行资源管理。(2)渲染管线规范通过如图 4.11、4.12 所示的标准硬件渲染管线,可将上述资源数据渲染至屏幕。图 4.11 web 端渲染管线流程图 4.12 客户端渲染管线流程4.3 家庭元宇宙终端101、交互协议智能电视凭借其优质的视听体验以及能减少用户长时间佩戴 VR 头显的不适感等特点,有望成为家庭元宇宙的主要入口,但受限于传统遥控器仅支持上下左右的按键操作,用户在交互控制、文本输入等方面体验欠佳。为提升智能电视、机顶盒等设备的元宇宙交互体验,基于移动终端、手柄、可穿戴设备等智能硬件,通过 Wi-Fi/蓝牙/UWB 等协议建立近距离通信,制定家庭元宇宙终端交互方案,解决家庭元宇宙应用交互难的痛点问题。家庭元宇宙场景化应用白皮书371.整体方案设计家庭元宇宙终端交互方案主要通过移动终端设备控制电视大屏,构建虚拟化控制终端以实现更加灵活的交互操作体验,并支持文本输入、视野控制等功能。如图 4.102、13 所示,交互方案基本架构包括控制终端、交互协议和电视大屏端。控制终端为具有陀螺仪传感器的手机、智能遥控器、手柄、可穿戴硬件等,用于发送陀螺仪数据和交互协议定义的操作指令。交互协议定义了控制终端与电视大屏端传送数据和指令的方式,并通过 Wi-Fi/蓝牙/UWB 等协议建立近距离通信实现信息传递。电视大屏端通过软件适配的方式与控制终端建立通讯连接,处理交互协议中的各项数据与指令,从而实现对家庭元宇宙内容的交互控制。图 4.13 交互方案基本架构为减轻集成复杂性、增强可扩展性,本方案可采用 SDK 的方式集成到电视大屏端运行的单个应用中,避免对电视端硬件或者系统层进行集成,针对不同的应用引擎可根103、据实际情况进行相应的 SDK 实现。电视端应用集成 SDK 后,采用本方案的所有控制终端均能与其建立连接并使用。同时可结合实际使用场景、业务权限或设备类型,选择电视端是否与请求连接的控制终端设备建立连接。2.交互方案主要功能(1)虚拟手柄在电视大屏端显示的元宇宙场景中,基于控制终端的陀螺仪数据生成虚拟手柄,使其方向与控制终端保持一致。虚拟手柄可通过末端发出的射线与场景内其他元素交互,通常情况下虚拟手柄应具有确定和返回按键。额外功能按钮,如音量控制或自定义按键可根据业务需求增加,手柄支持的各个按键通过控制终端实体/虚拟按键映射。基于控制终端的陀螺仪数据,虚拟手柄可以实现 3DoF 的运动追踪,对104、于具备高性能陀螺仪的控制设备方案支持扩展到 6DoF,6DoF 手柄可以追踪用户的位置和姿态,提供更加精准和沉浸式的交互体验。(2)视野控制家庭元宇宙应用中,电视端可通过获取控制终端的陀螺仪数据实现视野控制,达到趋近于头显设备的便捷视野控制体验。视野控制功能需使用控制终端的陀螺仪数据,应与虚拟手柄的操作有所区分。可设置视野控制操作按钮,在控制终端长按该按钮时,电视端忽略虚拟手柄的显示,将陀螺仪数据用于视野控制;当该按钮未被按下时,电视端视野固定并仅显示虚拟手柄。由于视野控制按钮仅需长按,确认按钮仅需短按,因此两个按家庭元宇宙场景化应用白皮书38钮可在控制终端合并。与虚拟手柄类似,当控制终端支持105、 6DoF 时,视野显示功能也应同时支持对视野位置和姿态的控制。(3)虚拟遥控器对于具备多点触控屏幕的移动终端设备,可通过构建虚拟遥控器实现与电视端的交互。遥控器作为传统的电视控制方式,对电视端内容具有较好的适配性。虚拟遥控器应至少支持传统遥控器的基础按钮(包括上下左右方位控制、确定、返回、音量控制、设置、功能键等),所有响应均需与直接使用传统遥控器保持一致,并可根据应用场景额外支持数字键、功能键等。受硬件限制,非多点触控屏幕的移动控制终端无法实现虚拟按键,即无法支持虚拟遥控器功能。(4)文本输入用户在电视端进行文本输入的操作较为困难,通过建立电视与移动控制终端之间的文本输入连接,能够大幅提升106、用户文本输入的便捷度与效率。当电视端需要输入文本内容时,首先通过交互协议与控制终端建立连接,控制终端在收到请求后弹出本地文本输入框;然后用户可在控制终端进行输入,并且输入内容将实时同步到电视端显示;最后在控制终端输入完成后,电视端将同步触发大屏输入完成事件。控制终端文本输入仅可通过电视端触发,并且电视端取消输入时控制终端也将同步取消。由于文本输入依赖于控制终端本身的文本输入功能,对于不支持多点触控屏幕的控制终端将无法支持该功能。(5)扩展逻辑控制除以上通用功能外,控制终端还应结合实际需求额外支持特定的控制逻辑和操作指令,因此在协议层需预留额外的指令发送功能,支持对特定控制逻辑和操作指令的传输。107、对于具备多点触控屏幕的移动终端设备,可在控制终端实现额外的 UI 界面,并通过自定义指令的方式将用户行为发送至电视端,实现更为复杂的多屏交互。对于不具备多点触控屏幕的移动终端设备,系统通过未占用的按键实现额外指令,并通过电视端实际运行的元宇宙应用响应传输信息。3.交互方案关键环节(1)建立近距离通信连接近距离通信连接由控制终端发起,电视端集成的 SDK 响应终端请求。建立流程如图 4.14 所示,电视端在收到连接建立请求后,将控制终端信息交由正在运行的元宇宙应用校验请求的合法性,合法性通过则建立连接,不同的通信协议在实际建立连接过程中可能存在细微差别。在无额外需求时,通常仅对连接设备的类型等信108、息进行校验,若控制终端存在定制开发则可增加权限校验等安全校验环节。家庭元宇宙场景化应用白皮书39图 4.14 近距离通信连接(2)发送坐标与指令控制终端与电视端发送的数据主要包括陀螺仪坐标数据和指令数据。陀螺仪坐标数据是实现虚拟手柄、视野控制的核心要素,其发送的连贯性和及时性对用户体验有较大影响,因此为保证坐标数据最快同步到电视端,在传输协议中可将指令数据附带在坐标数据的数据包中。近距离通信的延时和丢包率相对较小,但在不同的通信协议和实际应用场景中,仍需要考虑指令丢失的可能性。为最大程度减轻数据丢失对整体控制逻辑的影响,每个数据包均应包含当前的控制状态(如是否处于视野控制),并建立关键性指令确109、认机制以保证实际执行的完整性。(3)坐标转换与应用不同控制终端采用的坐标系可能存在细微差异。对于控制终端传输的陀螺仪欧拉角度数据,电视端 SDK将根据控制终端类型统一将其转换为应用内坐标系数据。除了坐标系本身的转换差异外,还需考虑初始欧拉角的校准,在建立近距离通信连接后以及通过按钮手动触发时均需进行视野校准。校准过程中以当前控制终端的欧拉角为基准,即将此角度数据作为转换到应用内坐标系的初始值,然后根据初始角度数据重置手柄位置与视野位置并以此作为初始位置。视野控制操作可通过转换后的应用内角度数据确定当前视野角度,而虚拟手柄则通过角度数据确定控制射线的方向,并通过与可交互元素的碰撞点坐标确定用户当110、前交互元素。5.总结与展望随着 5G 及千兆网络的普及和虚拟现实技术的日渐成熟,元宇宙行业得到了蓬勃发展,但近两年受一体机终端销量回落以及元宇宙退热影响,行业发展逐步回归理性。其中手机端受限于屏幕尺寸,无法满足用户深度沉浸体验的需求;头显端现阶段用户活跃度不足,出货量见顶回落,客群覆盖率低;而电视端用户基数大、活跃程度高,具备中等沉浸感等优势,在一体机广泛普及前有望成为家庭元宇宙场景的主要入口终端。为进一步推动家庭元宇宙规模化发展,可聚焦电视大屏,构建多终端协同发展体系,推动行业向多形态终端共生、产业共赢方向发展。家庭元宇宙场景化应用白皮书40“双千兆网络+虚拟现实”,打造元宇宙技术底座。自 111、2019 年双千兆网络正式投入商用以来,虚拟现实行业迎来了新一轮发展机遇,千兆网络的大带宽、低时延、高速率为虚拟现实发展提供了网络基础。一方面,在千兆网络性能的加持下,数据传输得更快、更稳定,满足了虚拟现实对低时延、高数据量处理的需求,使元宇宙产品的用户体验得到跨越式提升。另一方面,千兆网络的云、边、端技术架构,支持元宇宙内容的云化存储和数据的边缘运算,有效降低了对终端存储和算力资源的依赖,使得终端轻量化发展成为可能。千兆与虚拟现实技术相互结合、互相促进,共建元宇宙技术底座,加速推进元宇宙产业落地,激活消费终端、智慧家庭、教育、零售、工业制造等产业发展活力。构建多形态终端协同产品体系,推动家庭112、元宇宙规模化发展。随着一体机出货量的见顶回落,其用户规模不达预期导致行业面临新的市场挑战和发展的不确定性。为推动行业走出终端销量困境,从家庭市场寻求突破,构建以电视大屏为核心载体,多形态终端协同产品体系,助力家庭元宇宙规模化发展。其中手机端拥有全球最大规模、最高活跃度用户群体,以手机端为初级入口可以快速实现多用户群体覆盖,用户不依赖一体机也能直观体验元宇宙产品,然而手机端受限于屏幕尺寸,导致沉浸感弱、交互性差,因此无法产生高粘性用户群体;电视端同样拥有超大规模用户群体,且凭借大尺寸屏幕可为用户带来更沉浸、轻交互体验,家庭用户通过观影、游戏、健身、教育、购物等应用场景,足不出户即能实现智能、多维113、、沉浸的视听体验。依托电视大屏功能和用户规模优势,聚焦家庭领域,有望推动家庭元宇宙规模化发展。统一元宇宙内容格式,推动实现元宇宙内容生态共建。元宇宙带动全景、3D 等新型内容形态兴起,大量企业进入元宇宙内容生产赛道,由于各厂商之间存在技术壁垒,导致元宇宙内容格式繁杂,互不兼容。各厂商间内容生态封闭,造成市场供给不足、用户端内容匮乏、资源浪费严重等问题,制约多维内容行业发展。规范元宇宙内容格式标准,一方面能够实现全行业内容资源整合,解决内容格式不统一、不兼容的问题;另一方面,整合后的内容生态可为用户提供多种交互模式、改善内容同质化问题、增强人机交互智能性、提升用户的产品使用体验和应用场景的丰富度114、。因此,内容格式标准化将有效促进不同内容形态、不同文件格式、不同交互模式的元宇宙内容融合统一,实现小而精、大而全的内容资源供给,推动元宇宙内容向生产规模化、流程规范化、质量品牌化方向发展。创新电视大屏交互技术方案,实现控制端与显示端隔空联动。传统按键式遥控器是电视大屏的主要交互控制设备,然而在家庭元宇宙应用场景下,通过遥控器方向按键操控三维内容选择与视野调整,存在操作钝感强、自由感知度低、沉浸感弱、交互性差等问题。电视大屏交互控制方案实现了手机、手环、手柄等控制设备与大屏显示终端的隔空联动,为家庭元宇宙应用打造灵活、精准的交互体验。控制端基于陀螺仪数据,完成对大屏显示端的内容选择和视野调整,实115、现 360全景观影;方案基于私有数据传输协议实现高性能交互,大幅缩短控制端与显端的交互时延,实现更流畅的操控体验。以创新型大屏交互控制技术为基础,打造家庭元宇宙交互家庭元宇宙场景化应用白皮书41空间,通过手机、手环、手柄等控制终端实现连接、控制、搜索等交互功能,为用户带来新颖、便捷、流畅、沉浸的人机交互体验,推动家庭生活向数字化、虚拟化、智能化、线上化、便捷化方向发展。激发家庭元宇宙发展活力,搭建行业技术与产业经济融合发展桥梁。依托“双千兆网络+VR+多形态智能终端”家庭元宇宙发展模式,搭建供需对接桥梁,推动链主企业引领家庭元宇宙产业上下游协同发展。连接上游硬件制造公司,拉动硬件设备销售,促进116、后续家庭智能终端、可穿戴设备市场化推广;连接下游内容生产厂商,统一内容格式标准,实现行业内容全量汇聚,补齐内容产能不足短板,推动元宇宙内容生态整合与发展。激发家庭元宇宙发展活力,赋能千行百业。从引领行业发展角度,推进新型技术与千行百业融合,激发信息消费、促进就业创业、繁荣数字经济、为社会高质量发展提供新动能;从支持产业空间化转型角度,通过手机、电视、一体机及可穿戴设备的优势互补,为垂直行业的视听信息媒介升维与体验变革提供基础;从满足人民生活需求角度,网络基础建设和元宇宙新兴技术的相互结合与蓬勃发展,将重新定义家庭场景下的娱乐、教育、康养、物联网等应用形态,为更多家庭用户打造数字科技美好新生活。117、6.附录6.1 缩略语下列术语和定义适用于本文件:3DoF:3 Degrees of Freedom,三自由度6DoF:6 Degrees of Freedom,六自由度ADSL:Asymmetric Digital Subscriber Line,非对称数字用户线路AI:Artificial Intelligence,人工智能AIGC:Artificial Intelligence Generated Content,人工智能生成内容AP:Access Point,接入点API:Application Programming Interface,应用程序接口AR:Augmented Real118、ity,增强现实CRT:Cathode Ray Tube,阴极射线管DOM:Document Object Model,文档对象模型EPON:Ethernet Passive Optical Network,以太网无源光网络家庭元宇宙场景化应用白皮书42FoV:Field of View,视场角FTTR:Fiber To The Room,光纤入房GPON:Gigabit Passive Optical Network,千兆无源光网络GPU:Graphics Processing Unit,图形处理器HDR:High Dynamic Range Imaging,高动态范围成像IMU:Inert119、ial Measurement Unit,惯性测量装置IoT:Internet of Things,物联网IPTV:Internet Protocol Television,交互式网络电视ISDN:Integrated Services Digital Network,综合业务数字网LCD:Liquid Crystal Display,液晶显示器LED:Light-Emitting Diode,发光二极管MIMO:Multiple Input Multiple Output,多入多出OLED:Organic Light-Emitting Diode,有机发光二极管ONT:Optical Net120、work Terminal,光网络设备OTT TV:Over The Top Television,互联网电视P2MP:Point to Multi Point,点对多点PON:Passive Optical Network,无源光纤网络PSTN:Public Switched Telephone Network,公共交换电话网络QLED:Quantum Dots Light-Emitting Diode,量子点发光二极管RedCap:Reduced Capability,降低能力/轻量能力RTT:Round Trip Time,往返时延UWB:Ultra Wide Band,超宽带VDSL:121、Very-high-bit-rate Digital Subscriber Loop,超高速数字用户线路VR:Virtual Reality,虚拟现实XR:eXtended Reality,扩展现实家庭元宇宙场景化应用白皮书436.2 引用1 中华人民共和国中央人民政府,”中华人民共和国 2023 年国民经济和社会发展统计公报“,https:/ 中华人民共和国工业和信息化部,”2023 年 1-12 月通信业主要指标完成情况(二)”,https:/ 蛙色 3DVR,”蛙色 3DVR 平台是什么?“,https:/ 720 云,https:/ 卢毅权,”以全光业务承载网,构建五星品质专线”,https:/ 中华人民共和国工业和信息化部,”2023 年通信业统计公报“,https:/ 洛图科技,”全球电视品牌市场出货季度追踪“,http:/ 中华人民共和国教育部,”关于加强新时代中小学科学教育工作的意见“,http:/

    下载