王廷魁1,2，顾星月1,2，杨喆文1,2，李治川3
(1. 重庆大学建设管理与房地产学院，重庆 400045；
2. 重庆大学BIM研究中心，重庆 400045；
3. 重庆大学软件学院，重庆 400030)
摘 要：建筑物在运维阶段涉及大量设备的维修和使用，这些后期维护与检修十分繁琐，经过长期训练和经验丰富的专家才能够胜任这份工作，并且维护成本高、效率低。为降低设备现场维修的难度和提高维护效率质量，本研究在增强现实（AR）系统的基础上集成运用Qt和MySQL技术，开发设计了基于AR的设备维修管理系统。通过对系统进行相关的实验，提出设备信息查询和运用AR实时指导设备维修这两个模块。深入研究了各模块所需要的模型和设备维护管理资料信息，分析了AR在设备设施管理的应用。在此基础上，设计了应用模块系统的总体架构和界面，并详细阐述了实现流程。最后对整个项目进行总结并分析不足之处，为后续研究提供参考。
关键词：信息化，增强现实，设备维护，Qt图形化界面，数据库
建筑物在建设工程项目交付后的运维阶段，涉及到大量建筑设备的维修和使用，需要耗费很多的人力、物力和财力。随着创新动力的增加，产品生命周期越来越短，产品和相应的生产过程变得越来越复杂。产品开发后期维护与检修十分繁琐，只有经过长期训练和经验丰富的专家能够胜任这份工作，并且维护成本高、效率低[1]。
据统计，75%的有关设备管理研究的文章加入了信息技术的内容，认为该类技术使得研究更有价值和意义，且研究者认为，其中的增强现实（Augmented Reality，简称AR）技术在设备管理中将会发挥出更大的作用[2]。AR技术是通过将计算机生成的虚拟物体或信息和真实环境实时叠加在一起，给用户呈现一个感官效果真实、场景信息丰富的情境[3]。这种虚拟零件和真实零件共存的特点，可以为用户在复杂的设备维护和检修中提供一种更灵活、直观的方法，从而使得非熟练工人能够正确地进行设备维护与检修，达到缩短设备维护周期、提高维护效率质量、降低成本的目标[4]。为提高效率和产量，在设备维护中应当不断地寻找新的方法。研究者对如何进行现场设备管理提出了新方法，通过使用观测和跟踪调查点信息作为AR工具来获取他们所维护的设施的信息，实现现实环境中的数据交互[5]。用户能够快速地在一个固定位置安装一个观察和追踪的调查点，然后系统将在特定的位置为个人提供所需的信息[6]。为让外勤人员能够自动获得最新的用AR覆盖的项目信息，研究者就现场设备管理提出了新方法，将移动AR建立在一种新的基于图像的3D点云的定位方法，因此获取最新的项目信息[7]。
在设备的组装维护和检修领域，主要有SteveFeriner带领的哥伦比亚大学计算机图形与用户界面实验室的KARMA，用于激光打印机的维修；波音公司也研究如何利用AR技术指导技术人员组建飞机电气系统中的配电装置；西门子公司开发了用于工业管道维护的CyliCon系统等。利用AR技术，将设备维修模型与真实世界结合，并关联相关手册或指南，直观形象地对每一步工作进行现场指导，为维修人员实时提供大量信息，大大简化了维修人员的工作难度，提高了工作效率，而且用电子方式取代传统的纸张进行资料的存储可以节省空间、降低成本。
由此看来，AR技术在复杂设备的组装和维护方面发挥了很重要的作用，通过AR系统利用三维图形的重叠进行图片文本的关联可以使维护指导更加清楚直观。本文在AR系统的基础上集成运用Qt和MySQL技术，构建设备维修阶段的集成系统。Qt是一个用于Windows系统和嵌入式开发的图形用户界面的开发框架，通过使用Qt使得界面设计更改更加简便，与此同时，该系统与MySQL数据库相关联，通过数据库的管理，保障数据的读取、修改、存储的安全性、准确度。因此该系统集成运用Qt和MySQL技术有效实现设备信息查询和设备维修过程指导这两个功能，方便用户在设备装配与维修中与计算机进行实时交互，达到降低管理过程中的成本、提高管理效率的目的。
1.1 ARToolkit技术
AR是将电脑虚拟的图像覆盖到真实世界画面中，它的主要功能是实现真实场景中标志物相对于摄像机位置、方向信息的跟踪，以及完成虚拟物体的实时注册。ARToolkit利用摄像机识别并读取已知标识的相对位置，通过一系列的矩阵计算得到真实环境中参照点与虚拟环境中坐标的映射关系，然后在标记上描绘出3D物体，最终显示虚拟物体与真实场景的叠加[8]，其工作原理如图1所示。
图1 ARToolkit工作原理
1.2 系统需求分析
本研究主要探讨两个模块，分别是设备维护查询和设备维护过程指导。根据相关的专家访谈和文献查询，我们总结的需求主要有以下两点：
（1）对于设备维护管理人员来说，他们执行的设备维护管理工作内容常见的有定期进行设备盘点、保养、精密设备的校正、设备仪器出借管理以及设备维护状况的清查等。在实际工作时，工作人员的主要目的是通过定期工作了解基本维护管理状况，所以他们需要的设备维护管理资料主要包含设备ID、设备名称、供应商编号、维护管理工作负责人、设备维护历史记录等等。因此在设备维护查询模块中需包含以上信息，方便设施维护管理工作。
（2）传统设备维护需要由有经验的和经过长期训练的专家来进行，并且维护成本高、效率低。新进人员可能不熟悉复杂构建的维修工序。基于AR的设备维护过程指导就是利用AR技术虚实结合的特点，将三维可视化模型展现在工作人员面前，指导其维修工作，同时针对复杂构建的维修工序，也可以依据BIM模型制作相应的指导动画，提供实施指导，给维修工作人员提供维护过程指导。
1.3 系统模块功能
本文意在通过建立基于AR的设备维护管理系统，实现对设备维护的可视化管理，通过AR虚实融合的特点，指导设备维护，同时将设备的各方面信息整合到该系统中，通过文本与模型的关联，从而实现在设备维护阶段的可视化信息化管理。通过访谈设备维护专家等方式总结出系统需求，在该需求的基础上，本文通过集成BIM、AR、数据库等技术转换成系统功能。该设备维护管理系统主要由设备信息查询和设备维护过程指导两大模块组成。设备信息查询模块主要是通过链接到设备存储数据库获取相关设备的信息，并在该系统中展示提取；设备维护过程指导模块主要是为设备维修提供可视化平台，通过虚实融合指导设备维修步骤。
在该系统中所涉及的参与方主要是设备保障部和技术部，主要参与人员也就是设备管理人员和维修人员。在该系统中，设备管理人员可以及时全面地了解设备信息，做出管理计划和任务安排；维修人员平时工作时可以随时查看自己负责的设备的信息和状态，在接收到工作任务后，可通过系统快速查询所需维护的设备的具体信息和故障问题，并通过图片、文本、AR动画等指导信息高效准确地完成维护工作。图2显示了整个设备维护管理过程的操作流程。
图2 设备维修作业流程图
1.3.1 设备信息查询模块
设备信息查询模块包括设备基本信息管理，比如设备编号、名称、性能、设备日常保养维护信息管理、维修信息管理（含维修记录信息等内容）和设备运行维护状态管理等，此模块可以添加、修改、删除和查询记录。此外，该模块的相关信息以相关负责的维修人员为分类标准，设备信息与图片关联，便于设备管理者管理。
1.3.2 设备维修过程指导
由于建筑物变得越来越庞大，设备的复杂度越来越高，数量也越来越多，对维修人员的水平要求也越来越高，如果设备发生故障，很有可能因为维修人员的水平不足或是对发生故障的设备不熟悉，导致设备不能及时维修，影响设备的正常使用。基于AR的设备维护过程指导就是利用AR技术虚实结合等特点，将三维可视化模型展现在工作人员面前，指导其维修工作，同时针对复杂构件的维修工序，也可以依据BIM模型制作相应的指导动画，提供实施指导，给维修工作人员提供维护过程指导。本研究以一片式球形阀的安装过程为例，利用3ds Max事先建立好球阀的安装动画模型，再通过AR技术在现场展示动画模型，维修工人便可直接参照直观的动画模型一步步完成一片式球形阀的安装工作，这种即时的指导方法不仅降低了对维修工人的水平要求，还减轻了记忆压力。
1.4 基于AR的设备维修指导流程
基于AR的设备维修指导流程主要分为创建模型、AR实现和指导应用3个步骤，如图3所示。
（1）创建模型
对设备维护和检修模型进行调整和修改，设备管理人员根据实际设备维修的需要，对模型进行拆分并进一步处理成不同指导需求的AR虚拟场景模型，分类存储在指导数据库中。模型既可在Revit中创建，也可在3ds Max中创建，具体处理过程是通过BIM数据共享与交换的标准格式IFC实现不同软件之间的信息交换，将Revit模型导出为FBX格式，然后将此格式文件导入3dsMax软件中再处理或加以渲染，导出WRL格式的模型，该模型将作为后期AR程序调用的模型。
（2）AR实现
将ARToolkit嵌入到在Visual Studio 2013环境下所开发的基于AR的设备维修指导系统，成功后运行程序，即可在显示设备上看到虚实融合的场景，实现AR的效果。
（3）指导应用
若维修工人对某个设备维修存在困惑时，即可在系统中选择相应的AR程序，根据指导内容完成相应维修工作。
图3 基于AR的设备维修指导流程
2.1 开发环境
系统采用Microsoft Visual Studio 2013作为开发平台，C++为开发语言，同时使用Qt 5.4.1作为界面开发工具。Qt是一个用于Windows系统和嵌入式开发的图形用户界面的开发框架，通过使用QT使得界面设计更改更加简便，提高了界面制造效率。最后系统与MySQL数据库相关联，通过数据库的管理，保障数据的读取、修改、存储的安全性和准确度。本系统开发所使用的工具见表1。
表1 系统相关技术表
技术功能 技术名称虚拟建筑构件模型生成 Autodesk Revit虚拟建筑构件模型渲染 3DMAX虚拟建筑构件模型读取 OpenVRML虚拟建筑构件模型AR展示 ARToolKit虚拟建筑构件模型交互操作 OpenGL模型与图片信息存储 MySQL系统界面开发 QT
2.2 系统架构
本文中，基于AR的设备维修管理平台的开发工具是ARToolkit工具包，整个平台的构建分为两大部分，一个是Qt图形化界面的开发与设计，另一个是MySQL数据库的数据存储，整个系统框架通过层级结构实现，通过数据层、模型层、平台层、应用层、界面层这五个层级实现。
在这个系统的开发设计过程中，使用了如图4所示的逻辑结构，每一层的意义如下：
1）数据层。包含了基于AR的维护管理应用模块中的所有相关数据，包括设备的基本数据、设备运行维护数据以及三维模型数据等。这些数据在数据层按一定的方式读取、调用、修改和存储，包括了数据结构、数据调用机制等内容，是该系统各模块功能得以实现的基础。
2）模型层。将模型层的数据进行有机的组织，形成具有特性的模型，在系统中整合3D模型、文本信息、平面动画指导等。
3）平台层。平台层对系统的各个模型以及数据库进行集成与管理，使得各个功能模块可以顺利实现。平台层是数据层与应用层之间的纽带，包括设备查询平台和过程指导平台。
4）应用层。应用层是基于AR的设备维护管理应用的模块和功能的体现。包括设备维护信息查询、设备维护决策、设备维护过程指导、设备维护结果对比。
5）界面层。界面层是该系统进行人机交互的截面，包括界面风格、界面显示的内容等。
图4 集成系统逻辑结构图
基于以上架构分析，该系统的总体框架如图5所示。系统服务器是整个系统的核心，负责存储设备模型（WRL格式）和相关文件，以及各个文件中信息的存储、搜索、调用等操作。MySQL数据库控制着相关模块和数据库之间的关联关系，包括AR标识数据库、WRL模型数据库、图片数据库、文本数据库等。该系统通过相关建模软件和AR技术，提供设备信息查询以及维修过程中的指导这两个具体应用。
图5 集成系统框架
3.1 创建标签
ARToolKit内置了一些默认的标识，图6所示的标识是在操作过程中的一个常用识别标记。整个标识的设计可以在Adobe Illustrator中操作完成，设计打印完成识别标记之后将其制作成标记文件。
3.2 建立模型
这里提到的模型是指AR虚拟场景所需要的模型，模型的制作可以通过Autodesk Revit、Autodesk 3ds Max以及Autodesk Solidworks等软件制作，得到的主要模型包括建筑模型、结构模型和机电模型等。其次通过这些软件将模型导出为WRL格式，保存至相应位置，并与标识关联后，即可作为AR的虚拟场景模型。
图6 ARToolKit常用识别标记
本研究主要以一片式球形阀模型为例，主要目的是在其维修过程中提供动画指导，本例的动画模型在Autodesk 3ds Max中制作，整个动画模型演示了这个球形阀的组装维修过程，具体如图7所示。
图7 一片式球形阀组装模型动画
3.3 系统应用展示
3.3.1 登录界面
使用该系统的用户，可以通过登录界面，输入用户名和密码，进入系统。本系统的登录界面如图8所示。
图8 系统登录界面
3.3.2 设备信息查询模块
管理人员可以看到所有设备具体情况，包括设备编号、设备名称、设备型号、出厂日期、维修历史、安装位置、维修状态、维护人员等，如果某一设备出现故障，即可派出负责该设备的维修人员去维修。维护人员登录系统后只可以看到自己所负责那部分设备的具体情况，当某一设备出现故障时，可以查询到该设备的详细信息（见图9）。
图9 设备查询模块
本案例假设一共有张三、李四、王五这三名维修人员，分别负责编号为101、102、103、104、105的五个设备。管理人员进入信息查询模块后，可看到以维修人员姓名来分类的基本信息状况，当维护人员进入信息查询模块后，只能看到自己所负责的设备的详细情况，具体情况如图10、图11所示。
图10 设备信息查询（管理人员）
图11 设备信息查询（维修人员）
维修人员李四在进入信息查询模块之后，可以查询自己所负责的103、104号设备，点击进入103设备，可看到103设备的具体情况，包括设备编号、设备名称、维修历史等，以及该设备的图片，图片的大小可通过“+”、“–”调节，“上一页”和“下一页”可以翻页文本档（见图12）。
图12 设备具体信息
3.3.3 维护过程指导模块
如有设备发生故障，管理人员和维护人员可进入维护指导模块（见图9），该模块是将AR嵌入其中，虚实结合指导设备维修。本案例以一片式球形阀为例，指导球形阀的安装过程。具体安装过程如图13所示。
图13 一片式球形阀维护指导过程
点击“显示TIPS”，会出现与模型相关联的图片，“隐藏TIPS”则将显示的图片隐藏（见图14）。
图14 关联图片和文本
本文探索通过AR技术融合虚拟模型与设备维护的真实环境，并提供实时交互，以最大化AR在设备维护中的应用价值。综合运用AR技术，基于Qt图形化界面平台，研究如何通过C++语言和MySQL数据库开发出基于AR的、具有对设备信息进行快速查询并在设备维修过程中指导等功能的设备维修系统，实现了设备维修过程中建筑设备信息的综合管理。
综上所述，尽管在技术层面和人为因素上还存在一些问题，但是基于AR的设备维护指导已经被证明非常有应用前景，接下来还可以在深度和广度上进一步探讨：（1）该研究中基于AR的设备维护管理仅以设备装配指导为例，但是该系统在其他设备维护方面的兼容模块还未得到充分挖掘，为了拓宽其在设备维护中的应用价值，还需要更多的试验和探讨；（2）该系统是在室内客户端开发设计，为了增强其移动性，未来需将其转移到设备维护现场，同时对户外跟踪技术和虚实配准率进行更深入的研究和测试，进一步在移动端开发设计出适用于设备维护现场的应用系统。
参考文献：
[1] Azuma R, Baillot Y, Behringer R, et al. Recent Advances in Augmented Reality[J]. IEEE Computer Graphics & Ap-plications, 2001, 21(6): 34-47.
[2] Ebbesen Poul. Information Technology in Facilities Management - A Literature Review[C]. United Kingdom: 14th EuroFM Research Symposium, 2015.
[3] BIM-AR之一：AR发展与应用介绍[R]. 2016. http:// sanwen.net/a/hftzooo.html
[4] 陈丽娟, 骆汉宾, 辛宏妍. 增强现实技术在武汉国际博览中心设备维护系统中的应用[J]. 施工技术, 2016(6): 37-40.
[5] Gheisari M, Williams G, Walker B N, et al. Locating Building Components in a Facility Using Augmented Reality vs. Paper-Based Methods: A User-Centered Experimental Comparison[C]. // International Conference on Computing in Civil and Building Engineering, 2014: 850-857.
[6] Bae H, Golparvarfard M, White J. Rapid Image-Based Localization using Clustered 3D Point Cloud Models with Geo-Location Data for AEC/FM Mobile Augmented Reality Applications[C]. // International Conference on Computing in Civil and Building Engineering, 2014: 841-849.
[7] Gheisari M, Goodman S, Schmidt J, et al. Exploring BIM and Mobile Augmented Reality Use in Facilities Management[C]. // Construction Research Congress, 1950: 1941-1950.
[8] 李泽朋. 基于ARToolKit的增强现实应用平台的研究与实现[D]. 中国海洋大学, 2013.
Application of Augmented Reality (AR) Technology in Facility Maintenance
Wang Tingkwei1,2, Gu Xingyue1,2, Yang Zhewen1,2, Li Zhichuan3
(1. School of Construction Management and Real Estate, Chongqing University, Chongqing 400045, China; 2. BIM Research Center, Chongqing University, Chongqing 400045, China; 3. School of Software, Chongqing University, Chongqing 400045, China)
Abstract：Because the operation and maintenance phase involves a large number of construction equipment maintenance and use, which are very tedious demanding, only experienced experts can be competent for this job with high cost and low efficiency. In order to reduce the difficulty of field equipment maintenance and to improve the efficiency and quality of maintenance, this paper integrates QT and MySQL technology based on the augmented reality system to develop and design an equipment-maintenance management system based on AR. The system realizes the equipment information query and real-time guidance equipment maintenance based on AR. The system has achieved the equipment information query and real-time guidance equipment-maintenance based on AR. In this paper, the models and data of equipment-maintenance management are deeply studied, and the application of AR in equipment facility management is analyzed. Furthermore, the interface of the application module system is designed and the implementation process is described in detail. Finally, the whole study is summarized and the shortcomings are analyzed, which can provide reference for the follow-up study.
Keywords：information; augmented reality (AR); facility maintainable management; Qt graphical interface; data base
中图分类号：TP21
文献标识码：A
文章编号：1674-4969(2017)02-0173-08
DOI：10.3724/SP.J.1224.2017.00173
收稿日期：2016-10-14;
修回日期：2017-03-13
基金项目：中央高校基本科研业务资助（106112016CDJSK03XK06）
作者简介：王廷魁（1977-），男，副教授，研究方向为建筑信息模型（BIM）、地理信息系统（GIS）和决策支持系统等。E-mail：tingkwei@cqu.edu.cn
联系客服
