一、项目概述
项目背景
目前国内外医学虚拟仿真和实训平台受训人数和时空受限；画面传输延迟高、失真；仅可视化学习，不支持实时交互以及过分依赖高端PC支持。本研究以全新的视角提出虚拟仿真教学与实训系统网络化的解决方案，从内部结构、硬件接口和软件接口三个维度对GPU编程进行优化，并通过将终端功能简化为仅提供连接网络、视频解码和人机交互等研究，实现医学仿真系统在局域网和云端上的部署，即网络架构C/S到B/S的转换，使学习者通过HTML5浏览器的鼠标、键盘或操作杆等外设，极大的降低网络运营成本，易于推广，并由此构建线上（云端）和线下（局域网）混合式教学与培训的医学虚拟仿真智慧教学共享平台，并在此平台上建设虚拟仿真课程群，已建成“虚拟动态心脏基础解剖实验系统、膝关节解剖虚拟仿真教学系统、眼眶解剖虚拟教学及手术培训系统”等近十项系统。师生在教学和实训中拥有高感知的体验感，获得自然而真实的场景式学习体验。
应用行业
（一）医疗领域
（二）医学教育领域
核心优势
突破硬件限制，大规模同步操作，数据安全与知识产权保护，提升沉浸式学习体验，促进资源共享。
二、解决方案
架构设计
本平台以全新的视角将医学仿真系统VR版部署到局域网和5G云上。给出虚拟仿真教学与实训系统网络化的解决方案，从GPU应用程序优化算法研究、硬件结构设计改进方案和网络传输优化策略三个方面入手，优化GPU服务器部署的虚拟仿真程序与GPU计算资源的使用效率；设计和优化硬件结构体系，改进资源调度策略，强化终端通用性和运行效率。为虚拟仿真教学系统网络化开辟了新的思路和技术支持。
方案功能
本项目旨在创建一个基于5G技术和B/S架构的创新型智能医学共享资源平台。平台主要功能包括：
5G+智慧教育网络化：结合5G技术与B/S架构，实现医学仿真系统云端部署，打破传统C/S架构局限，终端只需网络连接即可访问，不受地域和人数限制，大幅降低应用门槛，开创线上混合式教学与培训的新时代。
高交互性：优化GPU虚拟化渲染与算法及硬件设计，实现GPU虚拟化，支持多用户并发使用，简化终端至视频解码交互，增强实时性，提供跨平台无缝体验，减少对硬件的依赖，增加趣味性和互动性。
多学科融合：整合多源数据，构建高质量的仿真课程群，涵盖心脏解剖、关节、眼眶手术等课程，确保每个系统精确度，实现跨学科融合，为医学教育提供新途径。
即时反馈与评估：平台具备智能反馈与分析能力，利用实时数据对学生操作进行即时分析，提供个性化学习评估，智能辅助决策，改善教学效果，提升教学效率，帮助师生及时调整，确保学习质量。
局域网与5G云传输互通：支持局域网与5G云传输的互补使用，局域网主要用于教室覆盖，而5G网络用于线上教育，弥补室内5G信号不足的情况。
前端Web程序开发：采用HTML5页面结合自研传感器定位手柄的方式实现操作模拟，通过网络平台提供交互实训体验，并实现对现有输入方式的全方位适配，解决客户端通用性问题。
创新定位手柄：通过开源单片机研发电磁定位算法，结合3D打印技术设计定位手柄，达到教学与实训应用标准，同时降低成本。
多人学习与培训：通过优化C++对GPU 3D渲染编程，实现HTML页面运行仿真软件，使系统更加开源，并支持多人同时在线学习，改变传统一对一的教学实训模式。
关键技术
（1）服务器端程序开发
①服务器编程解决方案
为了发挥GPU内部架构和执行逻辑的优势，完成其强大并行处理能力的底层实现，研究从内部结构、硬件接口和软件接口三个维度对GPU编程进行优化，将虚拟仿真教学实训系统部署在GPU服务器上。
GPU虚拟化处理是实现服务器部署的关键之一。本研究通过对软件底层代码和算法的优化，使用Hook方式接管系统API，通过重新分配显卡时间片解决GPU分时同步的计算，使得单一显卡扩展成供多用户同时使用的数个虚拟显卡，实现GPU虚拟化。
②视频流实时编码程序
视频流实时编码实现的技术路线如图3所示，首先通过算法对GPU编码进行优化，其次优化H.265编码器，即对视频流编码程序实现视频和音频的H.265实时编码。通过重写实时编码程序API接口，对多用户请求与多GPU虚拟化运算单元进行适配，使多用户调用成为可能。音频实现相对简单，接管Windows Audio Session API即可。
③速率控制技术与参数选择
对于控制比特率，需考虑：编码的I帧和P帧所产生的比特数会大大的不同，会导致图像质量的变化，原因是为了维护比特率的不变，需要编码器不断的增加或者降低QP。为了解决上述问题，本研究采用了基于调速器直接控制的视频编码控制方法。
④与Web交互通信服务器程序
针对流处理计算模式中的任务分配不平衡问题，给出资源动态分配的硬件调度机制。即通过实时监测各个任务的计算量，动态地调节分配各个任务的计算资源，提髙不规则任务的计算资源利用率，并且利用任务间数据流的特性优化缓存设计。与现有GPU的成熟调度算法相比，该调度算法能使系统性能获得明显提升。
（2）虚拟仿真程序网络传输的策略
①构建局域网传输环境
研究采用万兆技术组建局域网，通过两层扁平化结构，中高端以太网交换机进行组网，两台核心交换机进行冗余备份负载分担设计。通过万兆级连、千兆多桌面的组网方式，从根本上解决网络的带宽问题，为每个用户提供最大千兆的网络带宽，使局域网内直接开展IP组播视频业务成为可能。
②5G互联网传输的部署与应用方式
研究采用视频流作为云端向终端呈现处理结果的一种云计算方案。应用程序在云端服务器上运行，将视频输出和音频输出编码后经过网络实时传输给终端，终端进行实时解码后可视化输出。在云服务器上部署虚拟仿真程序，采取全部云主机的方式，将GPU渲染程序，GPU实时编码程序，Web交互通信服务器程序全部部署到GPU云主机。
③局域网和5G云传输的互通性
虚拟仿真系统的局域网版和5G版采用相同的程序架构，只是具体应用中所需硬件设备有一定区别。局域网版需要将局域网升级为WiFi 6网络环境，更换路由器、交换机、网卡等一系列局域网设备。5G版需要相应的云服务器，不需要更换其他设备。局域网WiFi 6理论速度为9.6Gb/s，与5G的10Gb/s速度接近。校园宽带的费用远低于5G的成本。未来一段时间内，局域网WiFi 6和5G将会相互补充。局域网WiFi 6主要用于覆盖教室，5G网络在室内穿透力较弱，但可进行线上教育，因此在室内采用WiFi 6对室内5G信号是一种补充。
（3）前端Web程序开发
本研究的客户端采用 HTML5页面+自研传感器定位手柄的方法实现对操作的模拟。通过网络平台体验交互实训；通过程序优化，实现对现有输入方式全方位适配，解决客户端通用性的问题。通过HTML5浏览器页面呈现三维仿真程序所有内容。将输入设备API的C++源代码移植到Web页面。
数据要素利用方案
实时数据传输与同步：利用5G技术提供的高速、低延迟特性，确保医学仿真数据的实时传输和同步，保障平台的流畅性和可靠性。
数据安全性与隐私保护：考虑到医疗数据的高度敏感性，采用数据加密技术，并严格遵循相关法律法规，确保数据的安全与合法合规。
多源数据整合：将不同来源的数据科学性整合，形成高质量的仿真课程，如心脏解剖、关节、眼眶手术等，以实现教学内容的真实度与精确度。
智能反馈与评估机制：利用收集到的学生操作数据进行即时分析，提供个性化的学习评估报告，帮助学生和教师做出更有效的教学决策。
跨学科融合：通过医学、技术、教育学、心理学等多学科的知识融合，创造新型教学方法，提高教学质量。
好文章需要您的支持
根据《中华人民共和国著作权法》及《最高人民法院关于审理涉及计算机网络著作权纠纷案件适用法律若干问题的解释》的规定，本网站声明：凡本网转载作品，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责，转载信息版权属于原媒体及作者。我们力所能及地注明初始来源和原创作者，如果您觉得侵犯了您的权益，请通知我们，我们会立即删除改正。如因作品内容、版权和其它问题需要同本网联系的，请在30日内进行。
联通在线荣膺2024元宇宙数据要素指向标--“金杏特等奖”
数算电产业融合（庆阳）研究院牵头推动慧康链健康监测网格计划，推动落地城市健康数据感知计算与大健康产业融合一体化创新中心平台解决方案。城市健康数据感知计算的核心是健康数据采集+智算应用，全面具备了国家征集“数据要素×”典型案例的所有条件。
数据产业白皮书、红皮书、绿皮书、紫皮书、蓝皮书、黄皮书
为了贯彻落实党的二十届三中全会精神，贯彻落实国家数据局“数据要素×”三年行动计划，根据2024年“数据要素×”大赛全国总决赛第三方赛事的安排，举办了2024元宇宙数据要素大赛。
北京泛亚智库国际咨询中心 入围2024元宇宙“数据要素”全国大赛
北京泛亚智库国际咨询中心入围2024元宇宙“数据要素”全国大赛
在蒸馏酿酒体验场景中，我们将视觉、听觉、触觉和温度等多种感官反馈交互融合在一起，使参与者能够沉浸式地体验酿酒过程。主要内容分为：1）虚拟人表情交互 2）振动触觉反馈交互 3）虚拟人对话。4）虚拟人运动规划。 在蒸馏酿酒体验场景中，我们将视觉、听觉、触觉和温度等多种感官反馈交互融合在一起，使参与者能够沉浸式地体验酿酒过程。主要内容分为：1）虚拟人表情交互：在虚拟人表情交互部分，项目提出基于Oculus Lipsync实现语音驱动虚拟人表情动画。2）振动触觉反馈交互：我们采用触觉交互代替传统的手柄交互，振动反馈装置主要是虚拟手与物体接触时会产生振动反馈。 此外，触觉手套还配备了温度反馈装置和显示装置，用于模拟和显示虚拟环境中的温度变化。3）虚拟人对话：智能NPC来作为导览员，导览员可以与参与者持续对话；并且设置虚拟古代饮酒名人李白形象，用户可以穿越和李白进行游戏互动，增加沉浸感和趣味性。4）虚拟人运动规划：我们对观众化身和导览员化身分别设置了两种不同的运动规划。我们提出了一种新的行为树算法来规划虚拟化身的运动轨迹。
空间计算是下一代计算平台的核心技术，是完成虚实空间结合、提升XR体验的关键因素，其在XR、图形、机器视觉、AIGC等技术加持下，实现对现实世界的数字化构建，用户可以摆脱束缚从而身临其境地实现虚实互动，技术模块涉及研发空间跟踪定位引擎、空间构建引擎、人机交互引擎等。
公司致力于推动车路云一体化建设，涵盖路侧基础设施与云控平台的智能化发展，旨在构建一个高度集成的“聪明路”系统。在这一现代交通架构中，路侧基础设施和云控平台发挥着核心作用。路侧基础设施不仅与车辆和交通参与者进行局域动态交通感知数据的交互，还与云控基础平台进行实时动态交通感知数据、道路交通态势信息，以及交通决策与控制信息的交流。云控平台作为系统的核心，负责交通相关数据的采集、存储与处理，通过数据赋能，提供分级共享基础服务，满足各种应用需求，实现交通管理的智能化与优化。基于公司的深厚技术积累和行业指导文件，团队研发了“基于人工智能的车路云一体化-路侧全息感知平台”。
基于XR遥操作的人形机器人系统结合了虚拟现实技术与远程操作控制，通过XR终端为操作人员提供沉浸式的操控体验。系统通过XR Interaction Toolkit实现手势与手柄的捕捉和交互，并结合ZED深度相机进行环境感知与识别，用户可通过Socket通信与云端服务器进行实时数据传输，并通过ROS系统进行机器人的控制与协调。该系统的主要功能包括环境检测、手部动作捕捉、头部运动、以及对物体的操作与移动，从而实现人形机器人的远程操作控制，适用于如核废料处理等复杂操作场景。
COPYRIGHT 2017-2024 ALL RIHGTS RESERVED 元宇宙公共服务平台
投诉或咨询：13366570151版权归秘书长单位：物链芯工程技术研究院（北京）股份有限公司【可信官方网站】
工信部网站备案号：京ICP备19012045号-1 Email ：cciapcb2016@126.com