図1：本取り組みが目指す工場設備点検の省力化イメージ2024年12月20日
NTT数据集团有限公司
NTT通讯服务株式会社
伊藤忠科技解决方案株式会社
三菱化学集团株式会社
株式会社NTT数据集团（以下：NTT数据集团）、NTT通讯服务株式会社（以下：NTT通讯服务）、伊藤忠科技解决方案株式会社（以下：伊藤忠科技解决方案）、三菱化学集团株式会社（以下：三菱化学集团）旨在通过利用IOWN APN注1和AI的应用实现智能维护，减轻工厂设备检查人员的负担。这次，我们开展了利用APN的机器人远程操作和使用AI进行图像分析的工厂设备远程检查的共同验证。验证结果显示，能够实时检测到工厂墙面上管道的裂缝，并精确解析管道振动等老化迹象，取得了具有实用化潜力的高水平数值结果，满足了图像延迟时间和画质的要求。今后，我们将通过同时获取多台机器人和设备的图像、声音等环境信息，以及实施多模态AI分析注2，力求实现更高精度和实时性的远程工厂监测世界。
图1：本项目旨在实现工厂设备检查的省力化图示
背景
NTT数据集团、NTT Comware、伊藤忠科技解决方案、三菱化学集团正在参与IOWN全球论坛（以下简称IOWN GF）的活动，以实现可持续社会。34家公司开发了一个包括远程操控机器人的功能和要求的远程控制机器人检查用例的参考实施模型，与IOWN GF的合作伙伴公司一起。
验证的概述
在工厂等制造现场，设备维护所需的定期检查是必不可少的，且如果设施规模较大，检查所需的工作量就会增加。同时，进行高空检查时存在坠落等危险。为减轻现场工作人员的负担，我们验证了利用IOWN APN的优势，实现高速、超低延迟和宽带通信的机制，使远程机器人得以巡检，以及利用实时影像检测管道异常的机制。具体而言，我们在距离120公里的APN环境中构建了台场至五反田之间的连接，并从多个设备以低延迟传输高清影像，通过AI分析验证设备异常的检测。
各公司的角色
| NTT数据群 | 提供机器人和管道的振动分析系统 |
| NTT Comware | APN环境的提供，图像识别AI的提供，将墙面上管道的裂缝分析结果可视化到数字孪生环境的应用程序提供，机器人的提供 |
| 伊藤忠技术解决方案 | 支持RDMA的FA相机环境的提供，通过APN进行非压缩实时视频传输验证 |
| 三菱化学集团 | 对工厂设备检查所需的功能需求和非功能需求等的定义 |
图2：本验证的形象
图3：验证中使用的机器人
（左上）NTT通信公司使用的HBA公司生产的HBA SMART ROBOT
（右下）NTT数据集团使用的Unitree生产的狗型机器人
各公司的验证内容和结果如下所示。
NTT数据群
NTT数据集团通过将其长期积累的计算机视觉技术与最新的机器人结合，旨在实现对远程设备的自动检测/监视。在此次验证中，我们远程操作Unitree生产的狗型机器人Unitree Go2，并通过机器人上配备的相机拍摄的画面，利用AI对检验对象管道的振动进行分析。管道的异常振动是表明劣化或破损迹象的重要数据。从前，工人在点检中依靠目视或听觉进行判断，而这依赖于作业员的熟练程度，因此需要减少遗漏和错误判断的风险。在本次验证中，我们验证了人工产生的管道振动能否从机器人拍摄的画面中被高精度分析，并且实现了设定的远程操作和视频分析目标值。
图4：NTT数据集团的验证形象
远程操作
在拠点间的APN中，机器人能够顺利连接。此外，机器人摄像头实时传输的影像，操作人员在远程PC上没有感到延迟，可以确认操作人员在观看影像的同时，通过PC的键盘或遥控器远程操作机器人。
影像解析
通过机器人摄像头识别和拍摄的管道影像，分析了振动的有无。机器人能够从标记中识别出解析目标的管道，没有出现管道识别错误。此外，从影像解析中也能够提取管道的振动振幅和频率。虽然机器人自身也在电机等的振动中，但依然能够顺利地解析出管道的振动，并能够确定管道振动的时间。根据这个结果，正在与三菱化学株式会社冈山事业所设备技术部进行确认，是否能够解析指定的实际参考值：振幅0.1mm，频率60Hz。
图5：管道的振动解析结果
NTT Comware
通过点检机器人搭载的摄像头拍摄的远程工厂设备等影像进行AI解析，实现数字孪生，以此来实现智能维护。在本次验证中，承担了整个项目的管理，进行了验证环境的构建、实施和进度管理。在验证中，解析通过APN传输的流媒体影像，实时反映检测到的墙面上管道的裂缝到数字孪生环境，以验证能够远程查看。
・构建APN等验证环境
在作为验证地点的台场-五反田之间，设计并构建了最大120公里的远程APN验证。此外，这次验证使用的数字空间是利用NTT Comware的4DVIZ实现的3D数字孪生空间。
・通过图像识别AI进行裂缝检测与分析
通过远程操作的检测机器人（HBA SMART ROBOT）臂上安装的摄像头拍摄的视频，利用图像识别AI Deeptector进行分析，检测现实时空墙面上的管道裂缝并实时反映到数字孪生环境中。同时，在数字孪生环境中，点击与现实空间相同位置上绘制的裂缝图标，可以参考现实空间中有裂缝的位置的图像。在此次验证中，4K 60fps的高分辨率视频通过无线和APN发送，即使在远程地点也能无延迟地进行裂缝的检测和分析，确认其具备实际设备检测的可用水准。
图6：图像识别AIによる裂缝检测图像
伊藤忠技术解决方案
使用能够在不通过CPU的情况下实现高速数据通信的远程直接内存访问（RDMA）摄像头，对APN上的大容量视频进行实时传输进行了验证。在改变摄像头与PC之间APN的距离从0公里到120公里的过程中，发送视频的结果显示，随着APN之间的距离增加，吞吐量（数据传输速度）和每秒显示的图像数量fps（帧率）有所下降。通过对2K和4K视频的实测值进行模拟，明确了APN距离与吞吐量的关系。此外，关于视频的延迟，APN的传输延迟相比设备的处理延迟影响更大，因此了解设备选择的重要性。同时，与一般TCP传输相比，这次的RDMA传输使CPU负荷减少了6%，确认了抑制功耗的效果。
图7：伊藤忠科技解决方案 验证构成图像
三菱化学集团
在此次验证之前，通过制造现场的预备验证，协助识别远程点检中的现场需求及需了解的条件。此外，着眼于未来的实际应用，深入探讨了设备维护工程师等现场工作人员在工厂设备点检中所面临的负担原因。这些意见作为现场的声音，反映在此次验证条件（振动条件、数据容量、速度等）中。
关于未来
四家公司将继续推进机器人远程操作、分析的高度化，以及实现更远距离环境下的无缝视频传输。此外，通过使用多个机器人和设备同时获取视频及音频等环境信息，并进行多模态AI分析，致力于实现对远程现场状况的高精度实时把握。这样不仅能大幅减轻点检作业员的负担，同时还将提高高空作业的安全性，解决制造业者面临的问题。今后，将在IOWN GF进行意见交换，同时推进利用APN创建解决方案和新功能开发。在下一阶段，计划在三菱化学集团的制造现场，完善通信环境，并对机器人应用和AI分析的异常检测进行验证。
注释
- 注1APN（全光网络）作为IOWN的主要技术领域之一，旨在从终端到网络引入以光为基础的技术，通过波长网络提供端到端的光波长路径，力求实现压倒性的低能耗、高速大容量、低延迟传输。
APN环境是支撑APN的基础设施的统称。 - 注2多模态AI是一种可以根据希望实现的内容综合利用各种类型的输入信息进行判断的AI。模态是指输入给AI的信息类型（图像、声音、文本等）。
- 注3IOWN全球论坛是为实现IOWN构想而成立的国际组织。目前有超过150家企业和组织参与。
- 注4直线距离大约是5km，但在本次验证中，通过多个节点进行通信，总距离为120km。五反田位于东京都品川区，台场位于东京都港区。
- “4DVIZ”是NTT Comware株式会社在日本国内的注册商标。
- “Deeptector”是NTT Comware株式会社在日本国内的注册商标。
- 其他板块商品名称、公司名称、组织名称均为各自商标或注册商标。
本件的咨询联系信息
报道关系的询问联系处
株式会社NTTデータ
宣传部
梅原
电话：03-5546-8051
电子邮件：nttdata-pr-inquiries@am.nttdata.co.jp
NTT通讯服务株式会社
公关部
电话：03-5796-4139
电子邮件：kouhou@nttcom.co.jp
伊藤忠科技解决方案株式会社
宣传部
电话：03-6433-4570
电子邮件：press@ctc-g.co.jp
三菱化学集团株式会社
宣传总部广播关系部
电话：03-6748-7140
产品·服务相关咨询联系方式
NTT数据集团有限公司
技术革新统括本部
创新技术部
田端、矢实
电话：050-5546-9741
