随着数字技术的不断发展，舞台美术乃至整个戏剧生态都发生了深刻变化。特别是VR、AR等技术的应用，更是为戏剧创作带来了很多前所未有的可能性——舞台出现了去物质化的发展趋势，戏剧甚至可以渗透在任何地点。
文化和旅游部重点实验项目，由上海戏剧学院创意学院副教授、硕士研究生导师张敬平牵头的《基于XR沉浸式体验的越剧表演艺术研究》，用数字技术赋能传统艺术，不仅创新了戏曲艺术的表演形式，也拓展了传统艺术新的观众群体。
“虚拟现实和戏剧都有一个重要特征——在场性。这是两者的共通之处，也是我认为两者可以跨界融合的基础。技术与艺术进行结合，有无限拓展的可能性。”张敬平对记者说，确立《基于XR沉浸式体验的越剧表演艺术研究》的方向，经历了不断思考和积累的漫长过程。
2004年，为适应文化创意产业发展新趋势，上海戏剧学院创办了全国高校第一家创意学院。同年，上海戏剧学院成立了上海市多媒体虚拟空间合成重点实验室，为数字媒体艺术专业建设奠定了基石。2003年，计算机专业毕业的张敬平进入了筹备阶段的上海市多媒体虚拟空间合成重点实验室，希望将数字技术，特别是计算机仿真方式更多地运用到舞台艺术创作中。
2007年至2010年，张敬平与团队制作了“一种虚拟排演系统”，利用“VR+AR”技术实现虚拟仿真彩排舞台演出以及AR沙盘排练与VR虚拟舞台的实时互动。该系统于2011年获得国家技术发明专利。
2015年，张敬平与团队创作的AR交互舞台装置《爱情书简》参加了中国第三届舞台美术展。在体验这套舞台装置时，观众只需打开移动终端的“AR爱情书简”APP，并将移动终端的前置摄像头对准舞台装置模型，就可以点击界面上的按钮选择不同的剧目场景，随后虚拟演员就能出现在舞台上进行表演。观众还可以选择不同的灯光、虚拟背景和舞台特效等。原本观演关系中处于被动接受状态的观众，在这样的观演过程中实现了可选择的、交互式的体验。
2019年，在上海戏剧学院举办的中英文化产业创意论坛上，两国高校的研究人员和相关领域从业者就如何通过新技术打造沉浸式艺术作品进行了深入探讨。而张敬平也对利用新技术来创新传统艺术特别是戏曲艺术，挖掘潜在观众，有了更多的思考，并最终促成了《基于XR沉浸式体验的越剧表演艺术研究》于2020年立项。
据张敬平介绍，对于“XR”，国际上有两种解释，其中一种是“交叉混合的虚拟现实”，这种解释在国内并不普及。被中国用户普遍接受的解释中，“X”是一个变量，代表着未来的各种可能。“无论是VR、AR、MR，或者是未来出现的新技术，其实都是通过数字技术的介入，建立实体空间与虚拟空间的连接，让虚实之间无限延伸和拓展。”张敬平说。
▲ AR越剧《红楼幻境》效果图 唐菡波 制作
在《基于XR沉浸式体验的越剧表演艺术研究》项目中，张敬平和团队着力打造了一部沉浸式AR越剧《红楼幻境》，试图将中国传统戏曲文本根据XR的技术特点，进行分段式叙事创意概念研究，找到一个利用虚拟演员、虚拟效果与真实演员、空间相结合的手法，创造一个“穿越”空间，让观众与虚拟影像元素（如虚拟演员、特效影像、图片等）进行实时互动。
作品用屏风隔断出6个空间，分别呈现小说《红楼梦》中第五回《游幻境指迷十二钗，警幻仙曲演红楼梦》、第十三回《西厢记妙词通戏语，牡丹亭艳曲警芳心》、第二十七回《滴翠亭杨妃戏蝶，埋香冢飞燕泣残红》、第三十四回《情中情因情感妹妹，错里错以错劝哥哥》、第四十回《金兰契剖金兰语，风雨夕闷制风雨词》、第九十七回《林黛玉焚稿断痴情，薛宝钗出闺成大礼》的故事。观众进入空间后，通过AR眼镜可以看到越剧演员的对唱影像，并通过扫描物件弹出诗词和回忆影像，探索这个空间故事的线索。游览完6个空间后，即可串联起完整的宝黛爱情故事。
之所以选择《红楼梦》，张敬平表示是基于多重考虑。“为了能够拉近作品与观众之间的距离，我们选择了一个家喻户晓的经典故事。故事中‘黛玉葬花’‘宝黛读西厢’等经典场景的画面非常唯美，适合作为沉浸式艺术作品呈现。这些场景的舞台调度相对简单，观众带着AR眼镜体验时的舒适度和体验感强，不会头晕。”张敬平说。
▲ 观众体验AR越剧《红楼幻境》
由于是跨学科研究，各专业领域的沟通协作并不容易。“跨界、跨学科融合时，不是‘1+1’这么简单，不断地说服对方是常态，但大家都在为了一个目标而努力。”张敬平认为，除了各专业间的“沟通成本”，技术问题也是一大难点。“观众佩戴的AR眼镜，如何平衡视觉呈现效果与运行流畅性，一直是我们在不断调试和解决的问题。我们会定期请专家来指导。”
据张敬平介绍，该项研究于2020年立项，力争在两年半完成。“今年5月学校的毕业展上，我们将会展示阶段性的创作成果。”张敬平说。
“我是搞技术出身，我了解到在艺术创作上还有很多技术没有应用、有待挖掘。随着新技术的应用，四面投影环绕的沉浸物理空间和计算机仿真的虚拟现实两种形式会走向融合。”张敬平说，他和团队最近与英国阿德曼动画公司、利物浦大学达成合作，将共同打造《小羊肖恩》电影沉浸体验，项目的目标是实现实体和虚拟仿真两种沉浸式体验的融合。“原来的XR都要戴头盔，人工智能技术的介入很可能会实现裸眼可以捕捉的XR。在未来，一切技术都是为观众服务，观众只需沉浸在这个空间中观看或表演。”
