随着全球数字化进程加速演进,三维重建技术如同一座桥梁,连接着物理世界与虚拟世界的广阔天地。何为三维重建?它是如何将纷繁复杂的现实世界,转化为可漫游、可交互的数字空间?又都在哪些行业和场景中绽放出耀眼的光芒?
什么是三维重建?
从行业视角看三维重建
三维重建(3D Reconstruction)是一种利用计算机技术,从二维图像或其他数据源中生成三维模型的过程。VR需要构建虚拟的数字空间,而三维重建技术正是对空间最完整、最深度信息采集的技术方案。
如视的三维重建探索
如视当下正在做的三维重建,是采集真实的空间深度信息(包括场景中物体的形状、大小以及它们之间的空间位置关系等),结合RGB相机(一种色彩还原度高、能够采集详细光谱信息的彩色相机)采集的图像信息,经由算法融合后构建1:1真实还原的三维模型的结果,如视软硬一体的三维重建解决方案就是在此基础上形成的。
由此得到的三维模型中,会包含丰富的语义信息,我们将之称为潜藏数据。而如视将通过深度学习算法,进一步挖掘采集生成的VR产物,从中获取包括空间结构信息、文字信息、物体信息、材质信息、光照信息等在内的潜藏数据并应用。
与三维重建共生共荣
三维重建是如视的核心技术能力,基于线下采集空间数据,如视通过自动建模、智能空洞填补、全自动数据提取、HDR 优化等三维重建技术将全部数据及图片纹理精准映射到三维模型上,在数字世界还原真实的三维空间。
作为数字空间综合解决方案引领者,如视自诞生起便深耕三维重建领域, 多年来,如视为全行业提供三维空间的采集、重建、展示能力,打造低成本、高效、有针对性的 VR 空间应用解决方案。
如视通过自研,实现了软硬一体的三维重建全流程解决方案。
多样的空间数据采集产品
如视产品矩阵已经完全覆盖了超大、大、中、小,空间、物体全场景的三维重建,能够提供高效、低成本、稳定的空间数据采集方案,满足千行百业的三维重建需求。
强大的算法能力
如视通过强大的算法能力,打造自动化处理全流程,让整个三维重建过程无需任何人工干预,为客户提供高效的三维重建能力。同时,通过如视特有的基于数字空间的AI能力,如视为用户提供自动平面图、空间物体识别等多样性的衍生产物。
丰富的产物数据编辑系统
为满足用户的多元化、个性化需求,如视打造了一套功能丰富强大的编辑系统,让客户可以对产物数据进行加工编辑。
灵活的场景应用解决方案
如视构建了一套跨越多行业、多业态的数字空间综合解决方案,全面响应并赋能千行百业的数字空间应用需求。同时如视也提供了多样灵活的部署方案,全方位支持客户的多元化应用场景。
如何进行三维重建?
三维重建步骤
一般而言,三维重建需要经过图像生成深度图、深度图生成点云、点云处理、网格重建、网格处理、纹理映射等步骤。
图像生成深度图
三维重建的第一步,是从知道每个点到相机的距离开始。而深度图像就是一张特殊的照片,上面每个点的颜色深浅,代表了它在现实中的位置到观察点所在垂直平面的真实距离。
深度图生成点云
点云是空间中代表3D形状或对象的数据点集合,数据集中的每个点代表一组X、Y、Z几何坐标。在这一步中,电脑会根据深度图像中的距离信息画出许多“小点点(点云)”,它们代表了空间内所有3D形状或对象的位置。
点云处理
之后,我们需要对点云数据进行一系列的处理和优化,提高后续三维重建的准确性和效率,如去除点云中的噪声、离群点等无用或干扰数据,提高数据的纯净度和准确性等。
网格重建
网格是点云的一种简化的表达形式,在三维重建中表示多面体形状的顶点与多边形的集合,这些网格通常由三角形、四边形或者其它的简单凸多边形组成。网格重建,就是要把刚才获取的“小点点”连接起来,形成“小面片(网格)”,这些面片(网格)组合起来就像是房间或者物体的外壳,让房间或物体看起来更有立体感。
网格处理
为了进一步提高模型的质量,接下来需要对初步生成的网格模型进行优化和调整,比如去除网格中的尖锐边缘和不平整表面,让模型更加平滑和自然等。
纹理映射
纹理是一张图片,可以根据特征映射贴在网格表面上。通过纹理映射给网格加上纹理后,诸如房间的墙纸、地板的颜色等内容就会显现出来,模型就会变得更加真实。
3D模型
网格和纹理全部组合在一起,就得到了一个完整的三维模型,它将支持我们的随意旋转、放大、缩小等。
如视的创新与优化
如视的三维重建,与一般的三维重建步骤差别不大,但在深度图和点云的生成上有两种方式。
图像生成深度图,深度图转换成点云
人类通过两个眼睛的视差来实现对距离的估算,但事实上我们用单个眼睛也可以大致估算出距离,这是因为我们的大脑已经记住了一些规律,比如近处的遮挡远处、近处的体积看似大于远处等。
利用这一原理,如视通过积累的数百万专业设备扫描的三维数据集,以全景图为输入、深度信息为标注(答案)训练出"单目图像深度估算"Al模型——Cyclops,实现无需深度传感器、仅采集空间图像即可实现三维重建。Cyclops的诞生,推动了如视轻量级和消费级VR采集产品的诞生,让VR 拍摄进入大众的日常生活。
借助累积的百万套真实空间数据,2019年11月Cyclops的推测误差率突破性地达到4.23%,超越了学界水平,随着采集矩阵的完善,到2023年4月,Cyclops算法误差进一步降至1.35%。
传感器(激光扫描仪)直接采集深度图/点云
我们向某物体发射一束光,并通过接收装置测量光线反射或散射回来的时间差,就可以直接计算出物体离我们有多远,得到物体的深度信息。如果再配上一个角度测量装置,测量光线发射的角度,结合已知的距离信息,就能直接得到该物体的空间坐标。而当我们利用传感器,同时向某场景发射无数道光,就能得到场景中各点的空间信息,也就是它们离传感器有多远、具体在哪个角度等,并据此直接绘制出精准的深度图和点云。
这种采集方式在空间数据的精准性、实时性、便捷性、抗干扰性等方面具备显著优势,如视旗下的专业级激光VR扫描仪“伽罗华(Galois)”,就利用了这一原理。伽罗华在采集过程中显示出卓越的环境适应性,并能够精确捕捉空间内的每一处细节,让大空间和超大空间三维重建变得轻松与高效,为专业人士提供无以伦比的便利体验。
三维重建质量影响因素剖析
三维重建的质量受到多种因素的影响,包括深度数据质量、点位拼接、操作规范、语义信息等。
深度数据质量
深度数据是三维重建的基石,其质量直接决定了三维模型的准确性和精细度。
如视目前已有的两款专业级空间采集产品——激光VR扫描仪“伽罗华”和手持实景扫描仪“庞加莱”——都采用激光雷达传感器,其产物质量受传感器精度影响;此外,庞加莱因为采用了SLAM技术(同时定位与地图构建技术,一种通过传感器数据实时估计自身位置并构建环境地图的技术),其质量还与其使用的IMU(惯性测量单元,一种集成了多种惯性传感器的装置,用于测量和跟踪物体的加速度和角速度)、相机等质量有关;而轻量级产品全景相机、Realsee G1智能云台和消费级产品如视VR APP,其产物质量与深度推测质量相关,目前误差为1.35%。
点位拼接
定点式扫描设备点位拼接是利用多点位采集到的彩色图像和深度信息,通过提取特征寻找相似的匹配点位,并计算相对位置和姿态,最终实现多个点位之间的精确拼接,简单来说就是将多个点位采集到的深度数据进行整合。
操作规范
包括扫描密度、手动拼接、特征工具等在内的人工操作规范与否,会极大程度上影响三维重建的产物精度,作业人员需要按照规范操作步骤,合理设置点位进行采集。
语义信息
语义信息是指对三维模型中各元素(如物体、场景等)的识别和标注,在三维重建过程中引入一些标注的或自动识别的语义信息,不仅可以提高模型的语义丰富度,还有助于提高模型的准确性和实用性。
三维重建用在哪里?
三维重建的无限可能
三维重建技术广泛应用于城市规划、影视制作、游戏开发、考古研究、文物保护、医疗影像、虚拟现实(VR)、增强现实(AR)等诸多领域。随着基于深度学习的三维重建方法突破传统界限,开始处理更加复杂的场景重建任务,三维重建技术应用的广度和深度将不断拓展。
如视的三维重建产物
如视的三维重建技术,不仅能够精准捕捉并还原真实世界的每一个细节,还能将这些数据转化为丰富多样的产物,包括全景图、点云、模型等各个格式的导出,以及视频、截图等营销物料的下载,满足不同用户群体的多元应用需求。
以三维重建推动产业进化
如视通过覆盖了超大、大、中、小空间、物体等多行业、全场景的三维重建能力,为企业的线上营销、空间运维、数字化管理等提供有效助力。目前,如视的三维重建技术已经成功渗透并深度服务工业园区、商业零售、文博会展、酒旅餐饮等九大行业,应用范围覆盖营销推广、内部管理、人员引导、模拟培训等诸多场景,引领千行百业的数字化转型。
结尾
三维重建技术作为数字化转型的重要工具,正以前所未有的速度重塑着人类的生活方式。而如视正在以技术创新为驱动,以用户需求为导向,持续加速三维重建技术迭代和产品升级,为千行百业提供更加高效、精准的三维重建解决方案。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。
标签:最近更新
- 什么是三维重建?2024-08-05
- 健康监测热潮风起 airsleep成为众多家庭的首选健康监测品牌2024-08-04
- 智能算力产业优秀实践,中科曙光All In!2024-08-02
- 汇聚数字智慧 构建新质未来——《CMG数字中国》融媒体节目正式上线2024-07-31
- 破冰查采先锋!国产操作系统赋能一线办案智能化升级2024-07-31
- “走进夏尔西里无人区”——新疆阿拉套山综合科学考察队在乌鲁木齐壮行出发2024-07-30
- 2024 ChinaJoy骁龙主题馆盛大开启,高通带你玩转科技潮流娱乐盛宴2024-07-29
- 让智能计算无处不在,高通ChinaJoy AIGC大会展望终端侧AI行业赋能2024-07-28
- 1MORE万魔携手品家,开启电商新纪元——— 双方签订战略合作协议,共铸电商领域新篇章2024-07-26
- 高通侯明娟:芯之所向皆精彩,骁龙技术赋能数字娱乐创新体验2024-07-26
- 骁龙游戏技术赏:高通携手合作伙伴展示骁龙技术创新与合作生态2024-07-25
- 畅享贵州23°C的夏日清凉,“解锁”更多新玩法2024-07-25
- 畅享贵州23°C的夏日清凉,“解锁”更多新玩法2024-07-25
- 高通骁龙主题馆将登陆2024 ChinaJoy,全方位呈现数字娱乐无限可能2024-07-22
- 2024深圳国际移动电子展火热招展中, 一键开启3C市场掘金之路2024-07-17
- Yale耶鲁YF1093M系列斩获2024葵花奖“科技创新”奖,以创新引领行业发展2024-07-17
- 西班牙2-1击败英格兰夺冠,海信新风空调闪耀燃情时刻2024-07-16
- 智能守护,美学新篇|盼盼智能锁上新,安全生活触手可及2024-07-11
- 智慧能源行天下 能动未来促共享——蚕丛机器人在世界人工智能大会发布新产品及五大移动能源组网方案2024-07-08
- 高通徐晧:5G与AI相结合,赋能打造更加智能和现代化的工业环境2024-07-05
- 高通公司亮相2024世界人工智能大会,以终端侧技术创新与合作引领人工智能新未来2024-07-04
- 国产OS拥抱AI新生态,应用丰富度与体验双重提升2024-07-04
- “AI卓智奖” 2024年度人工智能创新评选,火热报名中!2024-07-04
- 终端侧生成式AI更多惊喜?高通将在WAIC带来新的“首个”演示2024-07-03
- 打造原生创新人才新高地 上海交通大学携手华为成立鲲鹏昇腾科教创新卓越中心2024-07-01
- 汇正炒股帮:实时数据引领,洞悉市场动态2024-06-28
- 工业元宇宙AI超级终端“派中心一体机”问世2024-06-27
- Moka Ascend 2024|势在·人为,技术创新,激发企业管理内在效能2024-06-26
- 曙光存储“硬核”发布会:重磅新品、全新理念共同亮相2024-06-25
- 引领高校原生人才新生态 北京大学鲲鹏昇腾科教创新卓越中心正式成立2024-06-24