一种远程控制挖掘机的方法、系统、装置及电子设备pdf 

　　本申请公开了一种远程控制挖掘机的方法、系统、装置、电子设备及计算机可读存储介质，所述方法包括：接收远程控制端发送的挖掘请求，根据所述挖掘请求获取作业场景点云数据；向远程控制端发送所述作业场景点云数据，以供远程控制端根据所述作业场景点云数据构建作业场景点云模型；接收远程控制端基于所述作业场景点云模型发送的挖掘指令，根据所述挖掘指令控制挖掘机执行目标挖掘动作。该方法将点云模型的概念引入挖掘机远程控制中，通过作业场景点云模型为远程操作者提供更多的场景信息，有助于远程操作者精准的控制挖掘机远程作业。解决

　　(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 116016613 A (43)申请公布日 2023.04.25 (21)申请号 1.1 (22)申请日 2022.11.28 (71)申请人 网易（杭州）网络有限公司 地址 310052 浙江省杭州市滨江区长河街 道网商路599号4幢7层 (72)发明人 杨新伟范长杰胡志鹏陈赢峰 金诚陈广大韩夏冰 (74)专利代理机构 北京清源汇知识产权代理事 务所(特殊普通合伙) 11644 专利代理师 汪洋 (51)Int.Cl. H04L 67/125 (2022.01) H04L 67/75 (2022.01) E02F 9/20 (2006.01) 权利要求书4页 说明书24页 附图8页 (54)发明名称 一种远程控制挖掘机的方法、系统、装置及 电子设备 (57)摘要 本申请公开了一种远程控制挖掘机的方法、 系统、装置、电子设备及计算机可读存储介质，所 述方法包括 ：接收远程控制端发送的挖掘请求， 根据所述挖掘请求获取作业场景点云数据；向远 程控制端发送所述作业场景点云数据，以供远程 控制端根据所述作业场景点云数据构建作业场 景点云模型；接收远程控制端基于所述作业场景 点云模型发送的挖掘指令，根据所述挖掘指令控 制挖掘机执行目标挖掘动作。该方法将点云模型 的概念引入挖掘机远程控制中，通过作业场景点 云模型为远程操作者提供更多的场景信息，有助 A 于远程操作者精准的控制挖掘机远程作业。解决 3 了现有技术存在因作业场景图像提供的场景信 1 6 6 息有限，导致远程控制精准度低、挖掘效率低的 1 0 6 问题。 1 1 N C CN 116016613 A 权利要求书 1/4页 1.一种远程控制挖掘机的方法，其特征在于，所述方法应用于挖掘机端，所述方法包 括： 接收远程控制端发送的挖掘请求，根据所述挖掘请求获取作业场景点云数据； 向所述远程控制端发送所述作业场景点云数据，以供所述远程控制端根据所述作业场 景点云数据构建作业场景点云模型； 接收所述远程控制端基于所述作业场景点云模型发送的挖掘指令，根据所述挖掘指令 控制挖掘机执行目标挖掘动作。 2.根据权利要求1所述的方法，其特征在于，所述挖掘请求包括目标视角选择信息；所 述目标视角包括所述作业场景的固定视角及所述作业场景的全方位视角；所述作业场景的 固定视角包括以下视角中的至少一个： 所述作业场景的正视视角、所述作业场景的俯视视角、所述作业场景的左侧视视角、所 述作业场景的右侧视视角。 3.根据权利要求2所述的方法，其特征在于，所述根据所述挖掘请求获取作业场景点云 数据，包括：根据包括所述目标视角选择信息的所述挖掘请求，获取所述目标视角下的所述 作业场景点云数据。 4.根据权利要求3所述的方法，其特征在于，所述向所述远程控制端发送所述作业场景 点云数据，以供所述远程控制端根据所述作业场景点云数据构建作业场景点云模型，包括： 向所述远程控制端发送所述目标视角下的所述作业场景点云数据，以供所述远程控制 端根据所述目标视角下的所述作业场景点云数据构建所述目标视角下的所述作业场景点 云模型。 5.据权利要求1所述的方法，其特征在于，所述作业场景点云数据包括所述作业场景中 各点位对应的像素坐标信息及深度信息；所述远程控制端根据所述作业场景点云数据构建 作业场景点云模型，包括： 所述远程控制端根据所述作业场景中各点位对应的像素坐标信息及深度信息构建所 述作业场景点云模型，其中，所述作业场景点云模型包括所述作业场景中各点位对应的所 述像素坐标信息及所述作业场景中各点位对应的所述深度信息。 6.根据权利要求1所述的方法，其特征在于，所述挖掘指令包括目标挖掘点位对应的像 素坐标信息及深度信息，所述根据所述挖掘指令控制挖掘机执行目标挖掘动作，包括： 根据所述目标挖掘点位对应的像素坐标信息及深度信息，控制所述挖掘机对所述目标 挖掘点位进行挖掘。 7.根据权利要求6所述的方法，其特征在于，在所述控制所述挖掘机对所述目标挖掘点 位进行挖掘的步骤之前，所述方法还包括： 响应于接收到所述远程控制端基于所述作业场景点云模型发送的所述挖掘指令，获取 所述挖掘机的当前位姿状态参数，所述当前位姿状态参数包括所述挖掘机当前所在点位对 应的像素坐标信息、及所述挖掘机的当前姿态信息； 根据所述目标挖掘点位对应的像素坐标信息及深度信息，计算所述挖掘机的目标位姿 状态参数，所述目标位姿状态参数包括所述目标挖掘点位对应的像素坐标信息、及所述挖 掘机的目标姿态信息； 根据所述当前位姿状态参数及所述目标位姿状态参数，计算所述挖掘机的运动轨迹， 2 2 CN 116016613 A 权利要求书 2/4页 所述运动轨迹包括所述挖掘机的点位移动轨迹及所述挖掘机的姿态变化轨迹。 8.根据权利要求7所述的方法，其特征在于，所述控制所述挖掘机对所述目标挖掘点位 进行挖掘，包括： 控制所述挖掘机根据所述点位移动轨迹移动到所述目标挖掘点位，并根据所述姿态变 化轨迹改变所述挖掘机的姿态，对所述目标挖掘点位进行挖掘。 9.一种远程控制挖掘机的方法，其特征在于，所述方法应用于远程控制端，所述远程控 制端至少包括一显示屏幕，所述方法包括： 向挖掘机端发送挖掘请求，以供所述挖掘机端根据所述挖掘请求获取作业场景点云数 据； 接收所述挖掘机端发送的所述作业场景点云数据，根据所述作业场景点云数据构建作 业场景点云模型，并将所述作业场景点云模型显示在所述显示屏幕上； 基于所述作业场景点云模型，向所述挖掘机端发送挖掘指令，以供所述挖掘机端根据 所述挖掘指令控制挖掘机执行目标挖掘动作。 10.根据权利要求9所述的方法，其特征在于，所述挖掘请求包括目标视角选择信息，所 述向挖掘机端发送挖掘请求，包括：向所述挖掘机端发送包括所述目标视角选择信息的挖 掘请求。 11.根据权利要求10所述的方法，其特征在于，在所述向所述挖掘机端发送包括所述目 标视角选择信息的挖掘请求的步骤之前，所述方法还包括：响应于远程操作者对所述目标 视角的选择操作，生成所述包括所述目标视角选择信息的挖掘请求。 12.根据权利要求11所述的方法，其特征在于，所述远程操作者对所述目标视角的选择 操作，包括：所述远程操作者在所述显示屏幕上对第一视角选择控件的第一点击操作，将所 述第一视角选择控件对应的第一视角选做所述目标视角。 13.根据权利要求12所述方法，其特征在于，所述挖掘请求还包括目标视角切换信息， 所述向挖掘机端发送挖掘请求，包括：向所述挖掘机端发送包括所述目标视角切换信息的 挖掘请求。 14.根据权利要求13所述的方法，其特征在于，在所述向所述挖掘机端发送包括所述目 标视角切换信息的挖掘请求的步骤之前，所述方法还包括：响应于所述远程操作者对所述 目标视角的切换操作，生成所述包括所述目标视角切换信息的挖掘请求。 15.根据权利要求14所述的方法，其特征在于，所述远程操作者对所述目标视角的切换 操作，包括：所述远程操作者在所述显示屏幕上对第二视角选择控件的第二点击操作，将所 述目标视角从所述第一视角切换为所述第二视角选择控件对应的第二视角。 16.根据权利要求9所述的方法，其特征在于，所述挖掘指令包括目标挖掘点位对应的 像素坐标信息及深度信息，所述向所述挖掘机端发送挖掘指令，包括：向所述挖掘机端发送 包括所述目标挖掘点位对应的所述像素坐标信息及所述目标挖掘点位对应的所述深度信 息的挖掘指令。 17.根据权利要求16所述的方法，其特征在于，在所述向所述挖掘机端发送包括所述目 标挖掘点位对应的所述像素坐标信息及所述目标挖掘点位对应的所述深度信息的挖掘指 令的步骤之前，所述方法还包括：响应于远程操作者在所述作业场景点云模型上对所述目 标挖掘点位的选择操作，生成所述包括所述目标挖掘点位对应的所述像素坐标信息及所述 3 3 CN 116016613 A 权利要求书 3/4页 目标挖掘点位对应的所述深度信息的挖掘指令。 18.根据权利要求17所述的方法，其特征在于，所述远程操作者在所述作业场景点云模 型上对所述目标挖掘点位的选择操作，包括：所述远程操作者在所述作业场景点云模型上 对所述目标挖掘点位的第三点击操作。 19.一种挖掘机远程控制系统，其特征在于，所述系统包括：远程控制端和挖掘机端； 所述远程控制端，用于向所述挖掘机端发送挖掘请求，以使所述挖掘机端根据所述挖 掘请求获取作业场景点云数据；接收所述挖掘机端发送的所述作业场景点云数据，根据所 述作业场景点云数据构建作业场景点云模型，并将所述作业场景点云模型显示在显示屏幕 上；基于所述作业场景点云模型，向所述挖掘机端发送挖掘指令，以供所述挖掘机端根据所 述挖掘指令控制挖掘机执行目标挖掘动作； 所述挖掘机端，用于接收所述远程控制端发送的所述挖掘请求，根据所述挖掘请求获 取所述作业场景点云数据；向所述远程控制端发送所述作业场景点云数据，以供所述远程 控制端根据所述作业场景点云数据构建所述作业场景点云模型；接收所述远程控制端基于 所述作业场景点云模型发送的所述挖掘指令，根据所述挖掘指令控制所述挖掘机执行所述 目标挖掘动作。 20.一种挖掘机，其特征在于，所述挖掘机配置有车载系统，所述车载系统至少包括：第 一接收组件、数据获取组件、数据发送组件、第二接收组件、控制组件； 所述第一接收组件，用于接收远程控制端发送的挖掘请求； 所述数据获取组件，用于根据所述挖掘请求获取作业场景点云数据； 所述数据发送组件，用于向所述远程控制端发送所述作业场景点云数据； 所述第二接收组件，用于接收所述远程控制端基于所述作业场景点云模型发送的挖掘 指令； 所述控制组件，用于根据所述挖掘指令控制挖掘机执行目标挖掘动作。 21.根据权利要求20所述的方法，其特征在于，所述数据获取组件包括图像采集单元、 数据计算单元； 所述图像采集单元，用于采集作业场景原始图像； 所述数据计算单元，用于根据所述作业场景原始图像计算所述作业场景中各点位对应 的像素坐标信息及深度信息，并由所述各点位对应的像素坐标信息及深度信息构成所述作 业场景点云数据。 22.根据权利要求21所述的方法，其特征在于，所述图像采集单元包括设置在所述挖掘 机的车体前端的一双目相机。 23.一种挖掘机远程控制装置，其特征在于，所述装置应用于挖掘机端，所述装置包括： 点云数据获取单元、点云数据发送单元、挖掘动作控制单元； 所述点云数据获取单元，用于接收远程控制端发送的挖掘请求，根据所述挖掘请求获 取作业场景点云数据； 所述点云数据发送单元，用于向所述远程控制端发送所述作业场景点云数据，以供所 述远程控制端根据所述作业场景点云数据构建作业场景点云模型； 所述挖掘动作控制单元，用于接收所述远程控制端基于所述作业场景点云模型发送的 挖掘指令，根据所述挖掘指令控制挖掘机执行目标挖掘动作。 4 4 CN 116016613 A 权利要求书 4/4页 24.一种挖掘机远程控制装置，其特征在于，所述装置应用于远程控制端，所述远程控 制端至少包括一显示屏幕，所述装置包括：挖掘请求发送单元、点云模型构建单元、挖掘指 令发送单元； 所述挖掘请求发送单元，用于向挖掘机端发送挖掘请求，以使所述挖掘机端根据所述 挖掘请求获取作业场景点云数据； 所述点云模型构建单元，用于接收所述挖掘机端发送的所述作业场景点云数据，根据 所述作业场景点云数据构建作业场景点云模型，并将所述作业场景点云模型显示在所述显 示屏幕上； 所述挖掘指令发送单元，用于基于所述作业场景点云模型，向所述挖掘机端发送挖掘 指令，以供所述挖掘机端根据所述挖掘指令控制挖掘机执行目标挖掘动作。 25.一种电子设备，其特征在于，包括：存储器和处理器； 所述存储器，用于存储一条或多条计算机指令； 所述处理器，用于执行所述一条或多条计算机指令，以实现如权利要求1‑8、或权利要 求9‑18任意一项所述的方法。 26.一种计算机可读存储介质，其上存储有一条或多条计算机指令，其特征在于，该指 令被处理器执行时，执行如权利要求1‑8、或权利要求9‑18任意一项所述的方法。 5 5 CN 116016613 A 说明书 1/24页 一种远程控制挖掘机的方法、系统、装置及电子设备 技术领域 [0001] 本申请涉及挖掘机远程控制技术领域，尤其涉及一种远程控制挖掘机的方法。本 申请同时涉及一种挖掘机远程控制系统、一种挖掘机、一种挖掘机远程控制装置、电子设 备、以及计算机可读存储介质。 背景技术 [0002] 随着计算机远程控制技术的发展，挖掘机的远程控制也成为一项重要的研究课 题。挖掘机远程控制主要是通过在远程控制端的屏幕上显示挖掘机的作业场景图像，从而 使远程操作者能够在远程控制端依据该作业场景图像控制挖掘机作业。 [0003] 现有的挖掘机远程控制所依据的作业场景图像为二维图像，远程操作者需要凭借 丰富的经验对挖掘的位置和深度进行预判。这样往往会导致因远程操作者的误判，造成挖 掘机作业时出现错挖、空挖等情况。因此，现有的远程控制挖掘机的方法存在因作业场景图 像提供的场景信息有限，导致远程控制精准度低、挖掘效率低的问题。 发明内容 [0004] 本申请提供了一种远程控制挖掘机的方法、系统、装置、挖掘机、电子设备以及计 算机可读存储介质，以解决现有的远程控制挖掘机的方法存在因作业场景图像提供的场景 信息有限，导致远程控制精准度低、挖掘效率低的问题。 [0005] 本申请实施例提供了一种远程控制挖掘机的方法，所述方法应用于挖掘机端，所 述方法包括： [0006] 接收远程控制端发送的挖掘请求，根据所述挖掘请求获取作业场景点云数据； [0007] 向所述远程控制端发送所述作业场景点云数据，以供所述远程控制端根据所述作 业场景点云数据构建作业场景点云模型； [0008] 接收所述远程控制端基于所述作业场景点云模型发送的挖掘指令，根据所述挖掘 指令控制挖掘机执行目标挖掘动作。 [0009] 本申请实施例还提供了一种远程控制挖掘机的方法，所述方法应用于远程控制 端，所述远程控制端至少包括一显示屏幕，所述方法包括： [0010] 向挖掘机端发送挖掘请求，以供所述挖掘机端根据所述挖掘请求获取作业场景点 云数据； [0011] 接收所述挖掘机端发送的所述作业场景点云数据，根据所述作业场景点云数据构 建作业场景点云模型，并将所述作业场景点云模型显示在所述显示屏幕上； [0012] 基于所述作业场景点云模型，向所述挖掘机端发送挖掘指令，以供所述挖掘机端 根据所述挖掘指令控制挖掘机执行目标挖掘动作。 [0013] 本申请实施例还提供了一种挖掘机远程控制系统，所述系统包括：远程控制端和 挖掘机端； [0014] 所述远程控制端，用于向所述挖掘机端发送挖掘请求，以使所述挖掘机端根据所 6 6 CN 116016613 A 说明书 2/24页 述挖掘请求获取作业场景点云数据；接收所述挖掘机端发送的所述作业场景点云数据，根 据所述作业场景点云数据构建作业场景点云模型，并将所述作业场景点云模型显示在显示 屏幕上；基于所述作业场景点云模型，向所述挖掘机端发送挖掘指令，以供所述挖掘机端根 据所述挖掘指令控制挖掘机执行目标挖掘动作。 [0015] 所述挖掘机端，用于接收所述远程控制端发送的所述挖掘请求，根据所述挖掘请 求获取所述作业场景点云数据；向所述远程控制端发送所述作业场景点云数据，以供所述 远程控制端根据所述作业场景点云数据构建所述作业场景点云模型；接收所述远程控制端 基于所述作业场景点云模型发送的所述挖掘指令，根据所述挖掘指令控制所述挖掘机执行 所述目标挖掘动作。 [0016] 本申请实施例还提供了一种挖掘机，所述挖掘机配置有车载系统，所述车载系统 至少包括：第一接收组件、数据获取组件、数据发送组件、第二接收组件、控制组件； [0017] 所述第一接收组件，用于接收远程控制端发送的挖掘请求； [0018] 所述数据获取组件，用于根据所述挖掘请求获取作业场景点云数据； [0019] 所述数据发送组件，用于向所述远程控制端发送所述作业场景点云数据； [0020] 所述第二接收组件，用于接收所述远程控制端基于所述作业场景点云模型发送的 挖掘指令； [0021] 所述控制组件，用于根据所述挖掘指令控制挖掘机执行目标挖掘动作。 [0022] 本申请实施例还提供了一种挖掘机远程控制装置，所述装置应用于挖掘机端，所 述装置包括：点云数据获取单元、点云数据发送单元、挖掘动作控制单元； [0023] 所述点云数据获取单元，用于接收远程控制端发送的挖掘请求，根据所述挖掘请 求获取作业场景点云数据； [0024] 所述点云数据发送单元，用于向所述远程控制端发送所述作业场景点云数据，以 供所述远程控制端根据所述作业场景点云数据构建作业场景点云模型； [0025] 所述挖掘动作控制单元，用于接收所述远程控制端基于所述作业场景点云模型发 送的挖掘指令，根据所述挖掘指令控制挖掘机执行目标挖掘动作。 [0026] 本申请实施例还提供了一种挖掘机远程控制装置，所述装置应用于远程控制端， 所述远程控制端至少包括一显示屏幕，所述装置包括：挖掘请求发送单元、点云模型构建单 元、挖掘指令发送单元； [0027] 所述挖掘请求发送单元，用于向挖掘机端发送挖掘请求，以使所述挖掘机端根据 所述挖掘请求获取作业场景点云数据； [0028] 所述点云模型构建单元，用于接收所述挖掘机端发送的所述作业场景点云数据， 根据所述作业场景点云数据构建作业场景点云模型，并将所述作业场景点云模型显示在所 述显示屏幕上； [0029] 所述挖掘指令发送单元，用于基于所述作业场景点云模型，向所述挖掘机端发送 挖掘指令，以供所述挖掘机端根据所述挖掘指令控制挖掘机执行目标挖掘动作。 [0030] 本申请实施例还提供了一种电子设备，包括：存储器和处理器； [0031] 所述存储器，用于存储一条或多条计算机指令； [0032] 所述处理器，用于执行所述一条或多条计算机指令，以实现上述方法。 [0033] 本申请实施例还提供了一种计算机可读存储介质，其上存储有一条或多条计算机 7 7 CN 116016613 A 说明书 3/24页 指令，该指令被处理器执行时，执行上述方法。 [0034] 与现有技术相比，本申请提供的远程控制挖掘机的方法，包括：接收远程控制端发 送的挖掘请求，根据所述挖掘请求获取作业场景点云数据；向所述远程控制端发送所述作 业场景点云数据，以供所述远程控制端根据所述作业场景点云数据构建作业场景点云模 型；接收所述远程控制端基于所述作业场景点云模型发送的挖掘指令，根据所述挖掘指令 控制挖掘机执行目标挖掘动作。该方法通过获取作业场景点云数据、构建作业场景点云模 型，使得远程操作者能够在挖掘机远程控制端，基于作业场景点云模型精准下达挖掘指令， 提高了远程控制的精准度，也提高了挖掘效率。本申请提供的远程控制挖掘机的方法将点 云模型的概念引入挖掘机远程控制中，通过挖掘机作业场景的点云模型为远程操作者提供 了更多的场景信息，有助于远程操作者根据作业场景点云模型精准的控制挖掘机远程作 业。解决了现有的远程控制挖掘机的方法存在因作业场景图像提供的场景信息有限，导致 远程控制精准度低、挖掘效率低的问题。 附图说明 [0035] 图1是本申请实施例提供的一种远程控制挖掘机的方法的应用系统图； [0036] 图2是本申请第一实施例提供的远程控制挖掘机的方法的流程图； [0037] 图3是本申请第一实施例提供的获取点位对应的像素坐标信息的方法示意图； [0038] 图4是本申请第一实施例提供的获取点位对应的深度信息的方法示意图； [0039] 图5是本申请第一实施例提供的获取挖掘机的当前姿态信息的方法示意图； [0040] 图6是本申请第二实施例提供的远程控制挖掘机的方法的流程图； [0041] 图7是本申请第二实施例提供的选择目标视角的方法示意图； [0042] 图8是本申请第二实施例提供的切换目标视角的方法示意图； [0043] 图9是本申请第二实施例提供的选择目标挖掘点位的方法示意图； [0044] 图10是本申请第二实施例提供的远程控制挖掘机的方法的信令流程图； [0045] 图11是本申请第三实施例提供的挖掘机远程控制系统的结构示意图； [0046] 图12是本申请第四实施例提供的挖掘机的结构示意图； [0047] 图13是本申请第五实施例提供的挖掘机远程控制装置的结构示意图； [0048] 图14是本申请第六实施例提供的挖掘机远程控制装置的结构示意图； [0049] 图15是本申请第七实施例提供的电子设备的结构示意图。 具体实施方式 [0050] 在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以 很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况 下做类似推广，因此本申请不受下面公开的具体实施的限制。 [0051] 以下对本申请实施例所涉及的专业名词进行解释，以便于理解。 [0052] 远程控制，是指远程操作者通过计算机网络对异地的设备进行操控的过程。比如： 对计算机的远程控制，就是远程操作者通过计算机网络对异地的计算机进行操作，如，远程 操作者操控异地的计算机，帮助异地的用户解决计算机存在的问题。再比如：对挖掘机的远 程控制，就是远程操作者利用远程操作端的控制组件通过计算机网络对施工地点的挖掘机 8 8 CN 116016613 A 说明书 4/24页 进行操作的过程，如，远程控制挖掘机进行矿山采掘。 [0053] 世界坐标系，是系统的绝对坐标系，在没有建立用户坐标系之前图像上所有点的 坐标都是以该坐标系的原点来确定各自的位置。 [0054] 相机坐标系，是以相机的光心为原点，x轴及y轴与图像的X轴及Y轴平行，z轴为相 机光轴，与图形平面垂直。 [0055] 像素坐标系，是以图像左上角为原点，建立的以像素为单位的直接坐标系u‑v。像 素的横坐标u与纵坐标v分别表示其在图像数组中所在的列数与所在行数。 [0056] 点云(Point Cloud)，是点的集合，点云中的每一个点都是三维点，点云所包含的 信息有每个点所在的位置信息(即每个点的三维坐标X，Y，Z)，还可以有颜色、光照强度、类 别标签、法向量、灰度值等信息。点云可以将现实世界原子化，通过高精度的点云数据可以 还原现实世界。 [0057] 点云数据(Point Cloud Data)，是指在一个三维坐标系统中的一组向量的集合， 这些向量通常以(X，Y，Z)三维坐标的形式表示，而且一般主要用来代表一个物体的外表面 形状。除(X，Y，Z)代表的几何位置信息之外，点云数据还可以表示一个点的颜色信息，灰度 值信息等。若用P ＝{X ，Y ，Z ，……}表示点云中的一个点，那么，Point Cloud＝{P ，P ， i i i i 1 2 P ，……，P}即可表示一组点云数据。 3 i [0058] 点云模型，是通过表面重建的方法将点云数据转换到3D表面后形成的模型，是将 获得的点云数据进行渲染后得到的三维模型。 [0059] 挖掘机是工程建设中必不可少的一个工程设备，在建筑领域、交通运输领域、矿山 采掘领域发挥着无可替代的作用。目前，挖掘机的作业大部分还是通过操作人员在挖掘机 上进行控制操作完成的。挖掘机的作业环境往往较为恶劣，具有较多的粉尘，同时存在发生 塌方、泥石流等灾害的风险，操作人员长期处于该环境中不仅会严重影响身体健康，还会对 人身安全造成极大的威胁。 [0060] 随着远程控制技术的快速发展，挖掘机的远程控制也受到了重视。挖掘机的远程 控制是通过在远程控制端的屏幕上显示挖掘机的作业场景图像，从而使远程操作者在远程 控制端能够依据该作业场景图像控制挖掘机作业，因此，挖掘机远程控制技术中图像获取 是至关重要的步骤，作业场景图像包括的场景信息越多，远程操作者越能够精准的对挖掘 机进行远程操控。 [0061] 目前，挖掘机远程控制所依据的作业场景图像为二维图像，只能为远程操作者提 供作业场景中各点位的位置信息，并不能提供各点位的深度信息，使得远程操作者需要凭 借丰富的挖掘经验对挖掘的位置和深度进行预判。这样往往会导致因远程操作者的误判， 造成挖掘机作业时出现错挖、空挖等情况，严重时甚至会导致挖掘机侧翻。因此，现有的远 程控制挖掘机的方法存在因作业场景图像提供的场景信息有限，导致远程控制精准度低、 挖掘效率低的问题。 [0062] 另外，现有的远程控制挖掘机的方法需要远程操作者在远程控制端的模拟驾驶舱 中通过模拟驾驶控制挖掘机作业，对于远程控制端的建立有极高的要求，且对远程操作者 的业务要求也极高。因此，现有的远程控制挖掘机的方法虽然改善了操作者的工作环境，但 并没有降低操作者的劳动强度及业务门槛。 [0063] 因此，现有的远程控制挖掘机的方法存在因作业场景图像提供的场景信息有限， 9 9 CN 116016613 A 说明书 5/24页 导致远程控制精准度低、挖掘效率低的问题。同时存在远程操作者的劳动强度大、业务门槛 高的问题。 [0064] 有鉴于此，本申请提供了一种远程控制挖掘机的方法，该方法通过获取作业场景 点云数据、构建作业场景点云模型，使得远程操作者能够在挖掘机远程控制端，基于作业场 景点云模型精准下达挖掘指令，提高了远程控制的精准度，也提高了挖掘效率。同时，本申 请提供的远程控制挖掘机的方法能够使远程操作者通过在作业场景点云模型上对目标挖 掘点位的点击操作，控制挖掘机对目标挖掘点位进行挖掘，大大降低了远程操作者的劳动 强度，及业务门槛。 [0065] 下面结合具体实施例及附图对本申请所述的远程控制挖掘机的方法、远程控制系 统、挖掘机、远程控制装置、电子设备、及计算机可读存储介质做进一步详细说明。 [0066] 图1是本申请实施例提供的一种远程控制挖掘机的方法的应用系统图。 [0067] 如图1所示，所述应用系统，包括：挖掘机端101、远程控制端102。所述挖掘机端101 与所述远程控制端102通过网络进行通信连接。所述挖掘机端101位于工程建设场景中，至 少包括挖掘机和配置在所述挖掘机上的车载系统，所述车载系统上部署有本申请提供的远 程控制挖掘机的方法，为所述远程控制端102提供所述挖掘机的作业场景点云数据。所述远 程控制端102位于所述工程建设场景外，至少包括显示屏幕，在所述显示屏幕上显示通过所 述作业场景点云数据构建而成的作业场景点云模型，远程操作者依据显示在所述显示屏幕 上的所述作业场景点云模型控制所述挖掘机在所述工程建设场景中进行目标挖掘作业。 [0068] 本申请第一实施例提供了一种远程控制挖掘机的方法，该方法应用于挖掘机端， 所述挖掘机端为位于作业场景中的挖掘机。 [0069] 图2是本实施例提供的远程控制挖掘机的方法的流程图。以下结合图2对本实施例 提供的远程控制挖掘机的方法进行详细描述。以下描述所涉及的实施例用于解释本申请的 技术方案，并不作为实际使用的限定。 [0070] 如图2所示，本实施例提供的远程控制挖掘机的方法，包括如下步骤： [0071] 步骤S201，接收远程控制端发送的挖掘请求，根据所述挖掘请求获取作业场景点 云数据。 [0072] 所述挖掘请求可以理解为远程操作者通过远程控制端向挖掘机端发送的挖掘启 动请求，其中可以包括目标视角选择信息。 [0073] 所述视角可以理解为相机接收影像的角度范围，也可以称为视野，描述相机摄取 影像的角度，对同一场景而言，不同视角会看到不同的场景图像。本实施例所述的视角是对 挖掘机前方作业场景的影像摄取角度。 [0074] 所述目标视角可以理解为远程操作者查看作业场景时，期望的影像摄取角度。在 本实施例的一个可选实现方式中，所述目标视角包括所述作业场景的固定视角及所述作业 场景的全方位视角。 [0075] 所述作业场景的固定视角可以包括作业场景的一个影像摄取角度，也可以包括作 业场景的多个影像摄取角度，本实施例提供的作业场景的固定视角包括以下视角中的至少 一个：所述作业场景的正视视角、所述作业场景的俯视视角、所述作业场景的左侧视视角、 所述作业场景的右侧视视角。 [0076] 正式视角下的作业场景为作业场景的正视影像，俯视视角下的作业场景为作业场 10 10 CN 116016613 A 说明书 6/24页 景的俯视影像，左侧视视角下的作业场景为作业场景的左侧视影像，右侧视视角下的作业 场景为作业场景的右侧视影像。 [0077] 所述作业场景的全方位视角可以理解为作业场景的360度影像摄取视角，全方位 视角下的作业场景为作业场景的360度影像，即，通过全方位视角可以查看到任意一个视角 下的作业场景影像。 [0078] 在本实施例的一个可选实现方式中，响应于挖掘机端接收到远程控制端发送的包 括目标视角选择信息的挖掘请求，挖掘机端即会根据包括所述目标视角选择信息的所述挖 掘请求，获取所述目标视角下的所述作业场景点云数据。 [0079] 所述点云数据可以理解为一个三维坐标系统中的一组向量的集合，每一个向量代 表点云中的一个点，可以以三维坐标的形式表示，若用P ＝{X ，Y ，Z }表示点云中的一个 i i i i 点，那么，Point Cloud＝{P，P ，P ，……，P}即可表示一组点云数据。 1 2 3 i [0080] 在本实施例中，所述作业场景点云数据可以理解为作业场景中各点位对应的向量 的集合，各点位对应的向量为各点位对应的点位信息构成的向量，包括所述作业场景中各 点位对应的像素坐标信息及深度信息，所述像素坐标信息可以理解为对应于{X ，Y}的二维 i i 坐标点，所述深度信息可以理解为对应于{Z }的一维坐标点，因此，包括各点位对应的像素 i 坐标信息及深度信息的点云数据即为对应于{X ，Y ，Z}的三维坐标点集合。 i i i [0081] 本实施例提供了获取作业场景点云数据的一种可选实现方法，包括以下步骤： [0082] 第一，通过设置在挖掘机车体前端的双目相机采集目标视角下的作业场景原始图 像。 [0083] 双目相机设置在挖掘机车体前端，可以对挖掘机车体前端的作业场景进行任意视 角下的影像摄取。双目相机模仿双眼对同一个场景进行拍摄，可以得到同一场景在不同视 角下的图像，通过比较两张图像，提取出两张图像中的相同特征点，利用这些特征点对两张 图像进行立体匹配，即可得到两张图像中所有点位的对应关系，再根据已知的双目相机的 相关参数，即可计算出图像中所有点位在实际空间中的深度。 [0084] 第二，将作业场景原始图像中各点位的坐标信息从世界坐标系下转换到像素坐标 系下，获取作业场景原始图像中各点位对应的像素坐标信息。 [0085] 作业场景原始图像中各点位对应的像素坐标信息需要通过坐标系转换得到，其中 涉及四个坐标系，即，世界坐标系、相机坐标系、图像坐标系、像素坐标系。像素坐标信息的 获取包括从世界坐标系向相机坐标系的第一次转换，从相机坐标系向图像坐标系的第二次 转换，及从图像坐标系向像素坐标系的第三次转换。第一次转变是三维信息向三维信息的 转换，第二次转变是三维信息向二维信息的转换，第三次转换是二维信息向二维信息的转 换。以下对点位坐标信息的坐标系转换方法进行说明。 [0086] 图3是本实施例提供的获取点位对应的像素坐标信息的方法示意图。 [0087] 如图3所示，本实施例提供的获取点位对应的像素坐标信息的方法包括: [0088] S31，世界坐标系向相机坐标系的转换。 [0089] 如图3(a)所示，(X ,Y ,Z)为目标点位在世界坐标系下的点位坐标信息，(X ,Y , w w w c c Z)为目标点位在相机坐标系下的点位坐标信息，那么，目标点位从世界坐标系向相机坐标 c 系的转换公式为： 11 11 CN 116016613 A 说明书 7/24页 [0090] [0091] 其中，R表示世界坐标系到相机坐标系的旋转矩阵，T表示平移变量，世界坐标系向 相机坐标系的转换，只是变换了参考坐标系，并不涉及投影变换。 [0092] S32，相机坐标系向图像坐标系的转换。 [0093] 如图3(b)所示，(x,y ,z)为目标点位在相机坐标系下的点位坐标信息，(x,y)为 c c c 目标点位在图像坐标系下的点位坐标信息。图像坐标系没有z轴分量，因此，目标点位从相 机坐标系向图像坐标系的转换涉及到了投影变换。在投影变换中涉及相机焦距f，及尺度因 子，该尺度因子与z有关。如图3(b)所示，相机坐标系与图像坐标系存在如下投影关系： c [0094] ΔABO ～ΔoCO c c [0095] ΔPBO ～ΔpCO c c [0096] 因此，目标点位从相机坐标系向图像坐标系的转换公式为： [0097] [0098] S33，图像坐标系向像素坐标系的转换。 [0099] 如图3(c)所示，(x,y)为目标点位在图像坐标系下的点位坐标信息，(u,v)为目标 0 0 点位在像素坐标系下的点位坐标信息。图像坐标系中，坐标系的原点在图像中间，像素坐标 系中，坐标系的原点在图像左上角。如图3(c)所示，图像坐标系与像素坐标系存在如下对应 关系： [0100] [0101] 因此，目标点位从图像坐标系向像素坐标系的转换公式为： [0102] [0103] 第三，计算作业场景原始图像中各点位的深度信息。 [0104] 深度信息的获取涉及双目相机以不同的视角获得的同一场景的两张图像的立体 匹配，图4是本实施例提供的获取点位对应的深度信息的方法示意图。 [0105] 如图4所示，O和O 分别为双目相机的两个摄像头对应的光心，两个光心的连线称 L R 为基线，基线的长度为b。光心所在的平面称为投影平面，f为相机焦距，三维空间中的目标 点位P分别在左右摄像头中成像点为P 和P ，线段X 和X 分别为左右摄像头成像点到左成像 L R L R 面的距离，则目标点位P在左右摄像头的视差可以定义为d＝X‑X 。 L R 12 12 CN 116016613 A 说明书 8/24页 [0106] 两个成像点P 和P之间的距离为： L R [0107] [0108] 通过三角测量原理可得到视差与深度的关系，由于三角形PO O 与三角形PP P 相 L R L R 似，深度与视差的关系可以表示为： [0109] [0110] 因此，目标点位P到投影平面中心的距离可以表示为： [0111] [0112] 目标点位P到投影平面中心的距离即为目标点位P的深度信息。 [0113] 第四，根据获取的各点位对应的像素坐标信息和深度信息，形成包括作业场景中 各点位对应的像素坐标信息及深度信息的作业场景点云数据。 [0114] 通过点位坐标系的转换及点位深度的计算，可以得到作业场景原始图像中各点位 对应的像素坐标信息及深度信息，即可构成作业场景点云数据。 [0115] 步骤S202，向所述远程控制端发送所述作业场景点云数据，以供所述远程控制端 根据所述作业场景点云数据构建作业场景点云模型。 [0116] 挖掘机端将获取的作用场景点云数据发送给远程控制端，远程控制端能够根据所 述作业场景点云数据构建对应的作业场景点云模型。 [0117] 通常情况下，获取的点云数据的数据量较大，需要根据挖掘机端与远程控制端之 间的传送带宽将点云数据进行分片传输。当远程控制端接收到所有的点云数据分片后，可 以利用点云渲染技术构建点云模型。 [0118] 作业场景点云数据包括所述作业场景中各点位对应的像素坐标信息及深度信息， 那么，远程控制端根据所述作业场景中各点位对应的像素坐标信息及深度信息构建的所述 作业场景点云模型，也会包括所述作业场景中各点位对应的所述像素坐标信息及所述作业 场景中各点位对应的所述深度信息。 [0119] 在本实施例的一个可选实现方式中，远程控制端将包括目标视角选择信息的挖掘 请求发送给挖掘机端，挖掘机端即会获取所述目标视角下的作业场景点云数据，并向所述 远程控制端发送所述目标视角下的所述作业场景点云数据，以供所述远程控制端根据所述 目标视角下的所述作业场景点云数据构建所述目标视角下的所述作业场景点云模型。 [0120] 作业场景的影像摄取视角，影响了作业场景点云数据所包括的信息，进一步影响 了作业场景点云模型所包括的信息。比如：作业场景的影像摄取视角为作业场景的左侧视 视角，那么，挖掘机端获取的作业场景点云数据即包括作业场景的左瞰图中各点位对应的 像素坐标信息和深度信息，对应的，远程控制端构建的作业场景点云模型也包括了作业场 景的左瞰图中各点位对应的像素坐标信息和深度信息。 [0121] 步骤S203，接收所述远程控制端基于所述作业场景点云模型发送的挖掘指令，根 据所述挖掘指令控制挖掘机执行目标挖掘动作。 [0122] 所述挖掘指令可以理解为远程操作者通过远程控制端向挖掘机端发送的控制挖 13 13 CN 116016613 A 说明书 9/24页 掘机进行挖掘动作的命令，其中可以包括目标挖掘点位对应的像素坐标信息及深度信息。 [0123] 所述目标挖掘点位可以理解为远程操作者基于所述作业场景点云模型选择的预 期挖掘点位。通过远程操作者对目标挖掘点位的选择，挖掘机端即可获得所述目标挖掘点 位对应的像素坐标信息及深度信息，从而根据所述目标挖掘点位对应的像素坐标信息及深 度信息，控制所述挖掘机对所述目标挖掘点位进行挖掘。 [0124] 在本实施例提供的一个可选实现方式中，在控制所述挖掘机对所述目标挖掘点位 进行挖掘的步骤之前，还包括如下步骤： [0125] 第一，响应于接收到所述远程控制端基于所述作业场景点云模型发送的所述挖掘 指令，获取所述挖掘机的当前位姿状态参数，所述当前位姿状态参数包括所述挖掘机当前 所在点位对应的像素坐标信息、及所述挖掘机的当前姿态信息。 [0126] 所述姿态信息主要包括挖掘机大臂与座舱、小臂与大臂、挖斗与小臂、座舱与履带 之间的角度位置信息，可以通过在挖掘机的大臂、小臂、挖斗、座舱等部件上安装姿态传感 器，获取大臂、小臂、挖斗和座舱的关节角度，从而获取挖掘机的姿态信息。 [0127] 所述当前姿态信息可以理解为挖掘机处于待启动状态或当前作业状态的姿态信 息。 [0128] 图5是本实施例提供的获取挖掘机的当前姿态信息的方法示意图。 [0129] 如图5所示，当前姿态信息的获取方法主要包括： [0130] S51，定义挖掘机各部件的坐标系，具体定义为：挖掘机整体坐标系base_link、座 舱坐标系upper_body_link、大臂根部坐标系arm_base_link、大臂坐标系boom_link、小臂 坐标系arm_link、挖斗坐标系gripper_link。其中大臂根部坐标系arm_base_link与座舱坐 标系upper_body_link为固定转换关系。 [0131] S52，通过姿态传感器获得大臂根部坐标系arm_base_link与大臂坐标系boom_ link的转换关系、及大臂坐标系boom_link与小臂坐标系arm_link的转换关系。 [0132] 由图5可看出，大臂坐标系boom_link、小臂坐标系arm_link、挖斗坐标系gripper_ link绕y轴转动，大臂、小臂、挖斗向下移动为绕y轴的逆时针旋转，随之大臂、小臂、挖斗的 关节角度均逐渐增大。大臂、小臂、挖斗向上移动为绕y轴的顺时针旋转，随之大臂、小臂、挖 斗的关节角度均逐渐减小。座舱坐标系upper_body_link绕z轴转动，座舱向左移动为绕z轴 的逆时针旋转，座舱的关节角度逐渐增大。座舱向右移动为绕z轴的顺时针旋转，座舱的关 节角度逐渐减小。 [0133] S53，定义关节零位，具体定义为：大臂坐标系boom_link与大臂根部坐标系arm_ base_link成1弧度夹角，小臂坐标系arm_link与大臂坐标系boom_link成1.5弧度夹角，挖 斗坐标系gripper_link与小臂坐标系arm_link平行。 [0134] S54，基于对关节零位的定义，通过传感器即可获得挖掘机的当前姿态信息。比如： 通过传感器感知小臂在关节零位的基础上向上转动了1弧度，则当前姿态信息即包括小臂 与大臂之间的关节角度为0.5弧度。 [0135] 所述挖掘机当前所在点位对应的像素坐标信息根据步骤S201中提供的点位对应 的像素坐标信息的获取方法即可得到。 [0136] 通过获取的挖掘机当前所在点位对应的像素坐标信息，及挖掘机的当前姿态信 息，即可得到挖掘机的当前位姿状态参数。 14 14 CN 116016613 A 说明书 10/24页 [0137] 为了便于理解挖掘机的当前位姿状态参数所包括的信息内容，以表格的形式进行 举例说明，比如：挖掘机当前处于A点位，挖掘机的当前姿态为M姿态，那么挖掘机的当前位 姿状态参数即包括了A点位的像素坐标信息(30、23)和M姿态的姿态信息(0.5，1.5，2，0)，其 中，30为A点位在像素坐标系下的横坐标信息，单位为像素，23为A点位在像素坐标系下的纵 坐标信息，单位为像素，0.5为M姿态下挖斗与小臂之间的关节度数，单位为弧度，1.5为M姿 态下小臂与大臂之间的关节度数，单位为弧度，2为M姿态下大臂与座舱之间的关节度数，单 位为弧度，0为M姿态下座舱与履带之间的关节度数，单位为弧度。挖掘机的当前位姿状态参 数可以如表1所示： [0138] 表1挖掘机的当前位姿状态参数 [0139] [0140] 挖掘机的当前位姿状态参数也可以用向量形式进行表示，如表示为{30，23，0.5， 1.5，2.0，0}。挖掘机的当前位姿状态参数的具体表示形式在此不做限制。 [0141] 第二，根据所述目标挖掘点位对应的像素坐标信息及深度信息，计算所述挖掘机 的目标位姿状态参数，所述目标位姿状态参数包括所述目标挖掘点位对应的像素坐标信 息、及所述挖掘机的目标姿态信息。 [0142] 通过远程操作者对目标挖掘点位的选择，挖掘机端即可获得所述目标挖掘点位对 应的像素坐标信息及深度信息，根据目标挖掘点位对应的像素坐标信息及深度信息可以计 算出挖掘机的目标姿态信息，比如：根据目标挖掘点位对应的深度信息，发现挖掘机处于关 节零位时，无法接触到目标挖掘点位的作业内容，那么就需要将大臂、小臂、挖斗绕y轴逆时 针向下移动，对应的角关节均会增大，假如将大臂向下移动2弧度，将小臂向下移动1弧度即 可接触到目标挖掘点位的作业内容，那么，目标姿态信息即包括大臂与大臂根部之间的关 节角度为3弧度，小臂与大臂之间的关节角度为2.5弧度。 [0143] 由于目标挖掘点位对应的像素坐标信息是已获取的，因此，计算出挖掘机的目标 姿态信息即可获得挖掘机的目标位姿状态参数。 [0144] 假如目标挖掘点位为B点位，挖掘机端即可获取B点位的对应的像素坐标信息(40， 10)及深度信息(2)，其中，40为B点位在像素坐标系下的横坐标信息，单位为像素，10为B点 位在像素坐标系下的纵坐标信息，单位为像素，2为B点位的深度信息，单位为米。 [0145] 根据B点位的深度信息2米，及挖掘机的当前姿态M的姿态信息(0.5，1.5，2，0)，可 知，将处于M姿态下的挖掘机移动到B点位后，将大臂绕y轴逆时针向下移动2弧度、将小臂绕 y轴逆时针向下移动0.5弧度、将挖斗绕y轴逆时针向下移动1弧度，将座舱绕z轴逆时针旋转 30弧度，即可接触到目标挖掘点位的作业内容。 [0146] 那么，挖掘机的目标姿态N的姿态信息即为(2.5，2.0，3，30)，挖掘机的目标位姿状 15 15 CN 116016613 A 说明书 11/24页 态参数可以如表2所示： [0147] 表2挖掘机的目标位姿状态参数 [0148] [0149] 挖掘机的目标位姿状态参数也可以用向量形式进行表示，如表示为{40，10，2.5， 2.0，3.0，30}。挖掘机的目标位姿状态参数的具体表示形式在此不做限制。 [0150] 第三，根据所述当前位姿状态参数及所述目标位姿状态参数，计算所述挖掘机的 运动轨迹，所述运动轨迹包括所述挖掘机的点位移动轨迹及所述挖掘机的姿态变化轨迹。 [0151] 基于上述获取的当前位姿状态参数及计算得到的目标位姿状态参数，利用轨迹规 划器，结合运动学方程，即可计算出挖掘机的点位移动轨迹及挖掘机的姿态变化轨迹。 [0152] 所述点位移动轨迹可以理解为挖掘机从当前所在点位移动到目标挖掘点位的移 动轨迹，主要通过挖掘机当前所在点位对应的像素坐标信息，及目标挖掘点位对应的像素 坐标信息计算得到，可以是当前所在点位与目标挖掘点位之间的直线] 所述姿态变化轨迹可以理解为挖掘机的姿态从当前姿态信息转换为目标姿态信 息的挖掘机部件移动轨迹，主要通过挖掘机当前姿态信息与目标姿态信息计算得到，可以 是综合优化挖掘机各部件的移动轨迹。 [0154] 获得了挖掘机的运动轨迹后，即可控制所述挖掘机根据所述点位移动轨迹移动到 所述目标挖掘点位，并根据所述姿态变化轨迹改变所述挖掘机的姿态，对所述目标挖掘点 位进行挖掘。 [0155] 假如挖掘机的当前位姿状态信息(A，M)为{30，23，0.5，1.5，2.0，0}，目标位姿状态 信息(B，N)为{40，10，2.5，2.0，3.0，30}，那么，挖掘机从点位A移动到点位B即为点位移动轨 迹、从姿态M转变为姿态N即为姿态变化轨迹。挖掘机的运动轨迹可以如表3所示： [0156] 表3挖掘机的运动轨迹 16 16 CN 116016613 A 说明书 12/24页 [0157] [0158] [0159] 挖掘机根据表3所示的运动轨迹，从A点位移动到B点位，并在B点位处，由姿态M变 换为姿态N，即可完成对目标挖掘点位的目标挖掘动作。 [0160] 上述第一实施例以挖掘机端为主体，对本申请提供的远程控制挖掘机的方法进行 了详细说明，本申请提供的远程控制挖掘机的方法包括但不限于本申请第一实施例所述的 方法。 [0161] 本申请第二实施例提供了一种远程控制挖掘机的方法，该方法应用于远程控制 端，所述远程控制端为位于作业场景外的电脑、手机、平板电脑等，所述远程控制端至少包 括一显示屏幕。 [0162] 图6是本实施例提供的远程控制挖掘机的方法的流程图。 [0163] 如图6所示，本实施例提供的远程控制挖掘机的方法，包括如下步骤： [0164] 步骤S601，向挖掘机端发送挖掘请求，以供所述挖掘机端根据所述挖掘请求获取 作业场景点云数据。 [0165] 所述挖掘请求可以理解为远程操作者通过远程控制端向挖掘机端发送的挖掘启 动请求。 [0166] 本实施例提供的挖掘请求可以包括目标视角选择信息，所述目标视角可以理解为 远程操作者查看作业场景时，期望的影像摄取角度。在本实施例的一个可选实现方式中，所 述目标视角包括所述作业场景的固定视角及所述作业场景的全方位视角。 [0167] 所述作业场景的固定视角可以包括作业场景的一个影像摄取角度，也可以包括作 业场景的多个影像摄取角度，本实施例提供的作业场景的固定视角包括以下视角中的至少 一个：所述作业场景的正视视角、所述作业场景的俯视视角、所述作业场景的左侧视视角、 所述作业场景的右侧视视角。 [0168] 正式视角下的作业场景为作业场景的正视影像，俯视视角下的作业场景为作业场 景的俯视影像，左侧视视角下的作业场景为作业场景的左侧视影像，右侧视视角下的作业 17 17 CN 116016613 A 说明书 13/24页 场景为作业场景的右侧视影像。 [0169] 所述作业场景的全方位视角可以理解为作业场景的360度影像摄取角度，全方位 视角下的作业场景为作业场景的360度影像，即，通过全方位视角可以查看到任意一个视角 下的作业场景影像。 [0170] 在本实施例的一个可选实现方式中，向挖掘机端发送挖掘请求，包括向所述挖掘 机端发送包括所述目标视角选择信息的挖掘请求。挖掘机端接收到该挖掘请求后，即会获 取所述目标视角对应的作业场景点云数据。作业场景点云数据的获取方法在本申请第一实 施例中已做了详细说明，在此不再进行赘述。 [0171] 在本实施例的另一个可选实现方式中，在向挖掘机端发送包括所述目标视角选择 信息的挖掘请求的步骤之前，所述方法还包括生成所述挖掘请求的步骤，即，响应于远程操 作者对所述目标视角的选择操作，生成所述包括所述目标视角选择信息的挖掘请求。 [0172] 所述选择操作可以理解为远程操作者对目标视角的触发操作，比如，通过语音触 发对目标视角的选择，再比如：通过点击目标视角对应的选择控件触发对目标视角的选择。 [0173] 本实施例提供了一种选择目标视角的可选实现方法，即，通过所述远程操作者在 所述显示屏幕上对第一视角选择控件的第一点击操作，将所述第一视角选择控件对应的第 一视角选做所述目标视角。 [0174] 图7是本实施例提供的选择目标视角的方法示意图。 [0175] 如图7所示，在远程控制端的显示屏幕上显示待选择的第一视角选择控件701、第 二视角选择控件702，响应于远程操作者对第一视角选择控件701的点击操作，即将第一视 角选择控件701对应的第一视角选做目标视角，并将包括第一视角选择信息的挖掘请求发 送给挖掘机端，进而使得挖掘机端获取第一视角下的作业场景点云数据。 [0176] 比如：第一视角选择控件701对应的第一视角为固定视角，第二视角选择控件702 对应的第二视角为全方位视角，那么响应于远程操作者对第一视角选择控件701的选择操 作，即将固定视角选做目标视角，将包括固定视角选择信息的挖掘请求发送给挖掘机端，挖 掘机端即会获取包括作业场景的正视视角、俯视视角、左侧视视角、右侧视视角的点云数 据，并将包括作业场景的正视视角、俯视视角、左侧视视角、右侧视视角的点云数据发送给 远程控制端，远程控制端根据该点云数据即可获取包括作业场景的正视视角、俯视视角、左 侧视视角、右侧视视角的点云模型，远程操作者能够在远程控制端的显示屏幕上看到作业 场景的正视3D影像、俯视3D影像、左侧视3D影像、及右侧视3D影像。当然，正视3D影像、俯视 3D影像、左侧视3D影像、及右侧视3D影像可以同时显示在远程控制端的显示屏幕上，也可以 通过远程操作者对固定视角的进一步选择，确定显示在显示屏幕上的固定视角，还可以通 过远程操作者对点云模型的旋转分别将正视3D影像、俯视3D影像、左侧视3D影像、右侧视3D 影像显示在显示屏幕上。 [0177] 本实施例提供的挖掘请求还可以包括目标视角切换信息，所述目标视角切换信息 可以理解为远程操作者在操控挖掘机进行远程作业过程中，期望切换的影像摄取角度，比 如：当前目标视角为固定视角，远程操作者在操控过程中期望看到除作业场景的正视3D影 像、俯视3D影像、左侧视3D影像、及右侧视3D影像以外的其他视角下的作业场景影像，那么 即可对目标视角进行切换，比如，将固定视角切换为全方位视角。 [0178] 在本实施例的一个可选实现方式中，向挖掘机端发送挖掘请求，包括向所述挖掘 18 18 CN 116016613 A 说明书 14/24页 机端发送包括所述目标视角切换信息的挖掘请求。挖掘机端接收到该挖掘请求后，即会获 取切换后的目标视角对应的作业场景点云数据。作业场景点云数据的获取方法在本申请第 一实施例中已做了详细说明，在此不再进行赘述。 [0179] 在本实施例的另一个可选实现方式中，向所述挖掘机端发送包括所述目标视角切 换信息的挖掘请求的步骤之前，所述方法还包括生成所述挖掘请求的步骤，即，响应于所述 远程操作者对所述目标视角的切换操作，生成所述包括所述目标视角切换信息的挖掘请 求。 [0180] 所述切换操作可以理解为远程操作者对待切换的目标视角的触发操作，比如，通 过语音触发对目标视角的切换，再比如：通过点击待切换目标视角对应的选择控件触发对 目标视角的切换。 [0181] 本实施例提供了一种切换目标视角的可选实现方法，即，通过远程操作者在所述 显示屏幕上对第二视角选择控件的第二点击操作，将所述目标视角从所述第一视角切换为 所述第二视角选择控件对应的第二视角。 [0182] 图8是本实施例提供的切换目标视角的方法示意图。 [0183] 如图8所示，在远程控制端的显示屏幕上显示待选择的第一视角选择控件801、第 二视角选择控件802，响应于远程操作者对第一视角选择控件801的点击操作，即将第一视 角选择控件801对应的第一视角选做目标视角，并将包括第一视角选择信息的挖掘请求发 送给挖掘机端，进而使得挖掘机端获取第一视角下作业场景点云数据。 [0184] 进一步，响应于远程操作者对第二视角选择控件802的点击操作，将目标视角从第 一视角切换为第二视角选择控件802对应的第二视角，并将包括第二视角切换信息的挖掘 请求发送给挖掘机端，进而使得挖掘机端获取第二视角下作业场景点云数据。 [0185] 比如：第一视角选择控件801对应的第一视角为固定视角，第二视角选择控件802 对应的第二视角为全方位视角，那么响应于远程操作者对第一视角选择控件801的选择操 作，即将固定视角选做目标视角，并将包括固定视角选择信息的挖掘请求发送给挖掘机端。 挖掘机端即会获取包括作业场景的正视视角、俯视视角、左侧视视角、右侧视视角的点云数 据，并将包括作业场景的正视视角、俯视视角、左侧视视角、右侧视视角的点云数据发送给 远程控制端，远程控制端根据该点云数据获取包括作业场景的正视视角、俯视视角、左侧视 视角、右侧视视角的点云模型。远程操作者即可在远程控制端的显示屏幕上看到作业场景 的正视3D影像、俯视3D影像、左侧视3D影像、及右侧视3D影像。 [0186] 进一步，响应于远程操作者对第二视角选择控件802的点击操作，将目标视角由固 定视角切换为全方位视角，并将包括全方位视角选择信息的挖掘请求发送给挖掘机端。挖 掘机端即会获取包括作业场景的360度影像摄取视角的点云数据，并将包括作业场景的360 度影像摄取视角的点云数据发送给远程控制端，远程控制端根据该点云数据获取包括作业 场景的360度影像摄取视角的点云模型，远程操作者即可在远程控制端的屏幕上通过任意 旋转该点云模型，从显示屏幕上看到作业场景的360度影像。 [0187] 步骤S602，接收所述挖掘机端发送的所述作业场景点云数据，根据所述作业场景 点云数据构建作业场景点云模型，并将所述作业场景点云模型显示在所述显示屏幕上。 [0188] 当远程控制端接收到作业场景点云数据后，即可利用点云渲染技术构建作业场景 点云模型。比如：通过WebGL将接收到的作业场景点云数据渲染为作业场景点云模型，并在 19 19 CN 116016613 A 说明书 15/24页 远程控制端的屏幕上呈现该作业场景点云模型。 [0189] 作业场景点云数据中已经包括了所述作业场景中各点位对应的像素坐标信息及 深度信息，在远程控制端对点云数据中包括的各点位对应的像素坐标信息及深度信息进行 渲染，即可获得对应的点云模型。 [0190] 步骤S603，基于所述作业场景点云模型，向所述挖掘机端发送挖掘指令，以供所述 挖掘机端根据所述挖掘指令控制挖掘机执行目标挖掘动作。 [0191] 在远程控制端的显示屏幕上显示作业场景点云模型后，远程操作者即可通过显示 在显示屏幕上的作业场景点云模型准确的看到作业场景的当前状态，比如作业场景中各点 位的坐标信息、深度信息等。从而使远程操作者能够基于作业场景点云模型，准确的通过远 程控制端向挖掘机端发送挖掘指令。 [0192] 所述挖掘指令可以理解为远程操作者通过远程控制端向挖掘机端发送的控制挖 掘机进行目标挖掘动作的命令，其中可以包括目标挖掘点位对应的像素坐标信息及深度信 息。 [0193] 所述目标挖掘点位可以理解为远程操作者基于所述作业场景点云模型选择的预 期挖掘点位。通过远程操作者对目标挖掘点位的选择，挖掘机端即可获得所述目标挖掘点 位对应的像素坐标信息及深度信息，从而根据所述目标挖掘点位对应的像素坐标信息及深 度信息，控制所述挖掘机对所述目标挖掘点位进行挖掘。 [0194] 在本实施例的一个可选实现方式中，向挖掘机端发送挖掘指令，包括向所述挖掘 机端发送包括所述目标挖掘点位对应的所述像素坐标信息及所述目标挖掘点位对应的所 述深度信息的挖掘指令。挖掘机端接收到该挖掘指令后，即会控制挖掘机对目标挖掘点进 行挖掘。控制挖掘机对目标挖掘点位进行挖掘的控制方法在本申请第一实施例中已做了详 细说明，在此不再进行赘述。 [0195] 在本实施例的另一个可选实现方式中，在向挖掘机端发送包括所述目标挖掘点位 对应的所述像素坐标信息及所述目标挖掘点位对应的所述深度信息的挖掘指令的步骤之 前，所述方法还包括生成所述挖掘指令的步骤，即，响应于远程操作者在所述作业场景点云 模型上对所述目标挖掘点位的选择操作，生成所述包括所述目标挖掘点位对应的所述像素 坐标信息及所述目标挖掘点位对应的所述深度信息的挖掘指令。 [0196] 所述选择操作可以理解为远程操作者对目标挖掘点位的触发操作，比如，通过在 作业场景点云模型上点击目标挖掘点位触发对目标挖掘点位的选择。 [0197] 本实施例提供了一种选择目标挖掘点位的可选实现方法，即，通过远程操作者在 所述作业场景点云模型上对所述目标挖掘点位的第三点击操作，选择目标挖掘点位。 [0198] 图9是本实施例提供的选择目标挖掘点位的方法示意图。 [0199] 如图9所示，在远程控制端的显示屏幕上显示作业场景点云模型，响应于远程操作 者在作业场景点云模型上对点位901的点击操作，即将点位901选做目标挖掘点位，并将包 括点位901对应的像素坐标信息及深度信息的挖掘指令发送给挖掘机端，进而使得挖掘机 端控制挖掘机对点位901进行挖掘。 [0200] 结合第一实施例与第二实施例，本实施例还提供了远程控制挖掘机的方法的一种 可选实施方式，图10是本实施例提供的远程控制挖掘机的方法的信令流程图。 [0201] 如图10所示，本实施例提供的远程控制挖掘机的方法包括如下步骤： 20 20 CN 116016613 A 说明书 16/24页 [0202] 步骤S1001，远程操作者通过远程控制端向挖掘机端发送挖掘请求； [0203] 步骤S1002，响应于挖掘机端接收到所述挖掘请求，挖掘机端根据所述挖掘请求获 取作业场景点云数据； [0204] 步骤S1003，挖掘机端向远程控制端发送所述作业场景点云数据； [0205] 步骤S1004，响应于远程控制端接收到所述作业场景点云数据，远程控制端端根据 所述作业场景点云数据，构建并显示作业场景点云模型； [0206] 步骤S1005，远程操作者基于所述作业场景点云模型，通过远程控制端向挖掘机端 发送挖掘指令； [0207] 步骤S1006，响应于挖掘机端接收到所述挖掘指令，挖掘机端根据所述挖掘指令， 控制挖掘机执行目标挖掘动作。 [0208] 上述第二实施例以远程控制端为主体，对本申请提供了远程控制挖掘机的方法进 行了详细说明，本申请提供的远程控制挖掘机的方法包括但不限于本申请第二实施例所述 的方法。 [0209] 本申请第三实施例提供了一种挖掘机远程控制系统，图11是本实施例提供的挖掘 机远程控制系统的结构示意图。 [0210] 如图11所示，本实施例提供的挖掘机远程控制系统，包括：远程控制端1001和挖掘 机端1102； [0211] 所述远程控制端1101，用于向所述挖掘机端1102发送挖掘请求，以使所述挖掘机 端1102根据所述挖掘请求获取作业场景点云数据；接收所述挖掘机端1102发送的所述作业 场景点云数据，根据所述作业场景点云数据构建作业场景点云模型，并将所述作业场景点 云模型显示在显示屏幕上；基于所述作业场景点云模型，向所述挖掘机端1102发送挖掘指 令，以供所述挖掘机端1102根据所述挖掘指令控制挖掘机执行目标挖掘动作。 [0212] 在本实施例的一个可选实现方式中，所述挖掘请求包括目标视角选择信息，所述 向挖掘机端1102发送挖掘请求，包括：向所述挖掘机端1102发送包括所述目标视角选择信 息的挖掘请求。 [0213] 在本实施例的另一个可选实现方式中，所述远程控制端1101，还用于响应于远程 操作者对所述目标视角的选择操作，生成所述包括所述目标视角选择信息的挖掘请求。 [0214] 在本实施例的一个可选实现方式中，所述远程操作者对所述目标视角的选择操 作，包括：所述远程操作者在所述显示屏幕上对第一视角选择控件的第一点击操作，将所述 第一视角选择控件对应的第一视角选做所述目标视角。 [0215] 在本实施例的另一个可选实现方式中，所述挖掘请求还包括目标视角切换信息， 所述向挖掘机端1102发送挖掘请求，包括：向所述挖掘机端1102发送包括所述目标视角切 换信息的挖掘请求。 [0216] 在本实施例的一个可选实现方式中，所述远程控制端1101，还用于响应于所述远 程操作者对所述目标视角的切换操作，生成所述包括所述目标视角切换信息的挖掘请求。 [0217] 在本实施例的另一个可选实现方式中，所述远程操作者对所述目标视角的切换操 作，包括：所述远程操作者在所述显示屏幕上对第二视角选择控件的第二点击操作，将所述 目标视角从所述第一视角切换为所述第二视角选择控件对应的第二视角。 [0218] 在本实施例的一个可选实现方式中，所述挖掘指令包括目标挖掘点位对应的像素 21 21 CN 116016613 A 说明书 17/24页 坐标信息及深度信息，所述向所述挖掘机端1102发送挖掘指令，包括：向所述挖掘机端1102 发送包括所述目标挖掘点位对应的所述像素坐标信息及所述目标挖掘点位对应的所述深 度信息的挖掘指令。 [0219] 在本实施例的另一个可选实现方式中，所述远程控制端1101，还用于响应于远程 操作者在所述作业场景点云模型上对所述目标挖掘点位的选择操作，生成所述包括所述目 标挖掘点位对应的所述像素坐标信息及所述目标挖掘点位对应的所述深度信息的挖掘指 令。 [0220] 在本实施例的一个可选实现方式中，所述远程操作者在所述作业场景点云模型上 对所述目标挖掘点位的选择操作，包括：所述远程操作者在所述作业场景点云模型上对所 述目标挖掘点位的第三点击操作。 [0221] 所述挖掘机端1102，用于接收所述远程控制端1101发送的所述挖掘请求，根据所 述挖掘请求获取所述作业场景点云数据；向所述远程控制端1101发送所述作业场景点云数 据，以供所述远程控制端1101根据所述作业场景点云数据构建所述作业场景点云模型；接 收所述远程控制端1101基于所述作业场景点云模型发送的所述挖掘指令，根据所述挖掘指 令控制所述挖掘机执行所述目标挖掘动作。 [0222] 在本实施例的一个可选实现方式中，所述挖掘请求包括目标视角选择信息；所述 目标视角包括所述作业场景的固定视角及所述作业场景的全方位视角；所述作业场景的固 定视角包括以下视角中的至少一个： [0223] 所述作业场景的正视视角、所述作业场景的俯视视角、所述作业场景的左侧视视 角、所述作业场景的右侧视视角。 [0224] 在本实施例的另一个可选实现方式中，所述根据所述挖掘请求获取作业场景点云 数据，包括：根据包括所述目标视角选择信息的所述挖掘请求，获取所述目标视角下的所述 作业场景点云数据。 [0225] 在本实施例的一个可选实现方式中，所述向所述远程控制端1101发送所述作业场 景点云数据，以供所述远程控制端1101根据所述作业场景点云数据构建作业场景点云模 型，包括： [0226] 向所述远程控制端1101发送所述目标视角下的所述作业场景点云数据，以供所述 远程控制端1101根据所述目标视角下的所述作业场景点云数据构建所述目标视角下的所 述作业场景点云模型。 [0227] 在本实施例的另一个可选实现方式中，所述作业场景点云数据包括所述作业场景 中各点位对应的像素坐标信息及深度信息；所述远程控制端1101根据所述作业场景点云数 据构建作业场景点云模型，包括： [0228] 所述远程控制端1101根据所述作业场景中各点位对应的像素坐标信息及深度信 息构建所述作业场景点云模型，其中，所述作业场景点云模型包括所述作业场景中各点位 对应的所述像素坐标信息及所述作业场景中各点位对应的所述深度信息。 [0229] 在本实施例的一个可选实现方式中，所述挖掘指令包括目标挖掘点位对应的像素 坐标信息及深度信息，所述根据所述挖掘指令控制挖掘机执行目标挖掘动作，包括： [0230] 根据所述目标挖掘点位对应的像素坐标信息及深度信息，控制所述挖掘机对所述 目标挖掘点位进行挖掘。 22 22 CN 116016613 A 说明书 18/24页 [0231] 在本实施例的另一个可选实现方式中，所述挖掘机端1102，还用于响应于接收到 所述远程控制端1101基于所述作业场景点云模型发送的所述挖掘指令，获取所述挖掘机的 当前位姿状态参数，所述当前位姿状态参数包括所述挖掘机当前所在点位对应的像素坐标 信息、及所述挖掘机的当前姿态信息； [0232] 根据所述目标挖掘点位对应的像素坐标信息及深度信息，计算所述挖掘机的目标 位姿状态参数，所述目标位姿状态参数包括所述目标挖掘点位对应的像素坐标信息、及所 述挖掘机的目标姿态信息； [0233] 根据所述当前位姿状态参数及所述目标位姿状态参数，计算所述挖掘机的运动轨 迹，所述运动轨迹包括所述挖掘机的点位移动轨迹及所述挖掘机的姿态变化轨迹。 [0234] 在本实施例的一个可选实现方式中，所述控制所述挖掘机对所述目标挖掘点位进 行挖掘，包括： [0235] 控制所述挖掘机根据所述点位移动轨迹移动到所述目标挖掘点位，并根据所述姿 态变化轨迹改变所述挖掘机的姿态，对所述目标挖掘点位进行挖掘。 [0236] 本申请第四实施例提供了一种挖掘机，图12是本实施例提供的挖掘机的结构示意 图。 [0237] 如图12所示，本实施提供的挖掘机配置有车载体统，所述车载系统至少包括：第一 接收组件1202、数据获取组件1202、数据发送组件1203、第二接收组件1204、控制组件1205。 [0238] 所述第一接收组件1201，用于接收远程控制端发送的挖掘请求。 [0239] 在本实施例的一个可选实现方式中，所述挖掘请求包括目标视角选择信息；所述 目标视角包括所述作业场景的固定视角及所述作业场景的全方位视角；所述作业场景的固 定视角包括以下视角中的至少一个： [0240] 所述作业场景的正视视角、所述作业场景的俯视视角、所述作业场景的左侧视视 角、所述作业场景的右侧视视角。 [0241] 所述数据获取组件1202，用于根据所述挖掘请求获取作业场景点云数据。 [0242] 在本实施例的另一个可选实现方式中，所述根据所述挖掘请求获取作业场景点云 数据，包括：根据包括所述目标视角选择信息的所述挖掘请求，获取所述目标视角下的所述 作业场景点云数据。 [0243] 在本实施例的一个可选实现方式中，所述作业场景点云数据包括所述作业场景中 各点位对应的像素坐标信息及深度信息； [0244] 在本实施例的另一个可选实现方式中，所述数据获取组件1202，包括：图像采集单 元、数据计算单元； [0245] 所述图像采集单元，用于采集作业场景原始图像； [0246] 所述数据计算单元，用于根据所述作业场景原始图像计算所述作业场景中各点位 对应的像素坐标信息及深度信息，并由所述各点位对应的像素坐标信息及深度信息构成所 述作业场景点云数据。 [0247] 在本实施例的一个可选实现方式中，所述图像采集单元包括设置在所述挖掘机的 车体前端的一双目相机。 [0248] 所述数据发送组件1203，用于向所述远程控制端发送所述作业场景点云数据。 [0249] 在本实施例的一个可选实现方式中，所述向所述远程控制端发送所述作业场景点 23 23 CN 116016613 A 说明书 19/24页 云数据，包括： [0250] 向所述远程控制端发送所述目标视角下的所述作业场景点云数据。 [0251] 所述第二接收组件1204，用于接收所述远程控制端基于所述作业场景点云模型发 送的挖掘指令。 [0252] 在本实施例的另一个可选实现方式中，所述挖掘指令包括目标挖掘点位对应的像 素坐标信息及深度信息。 [0253] 所述控制组件1205，用于根据所述挖掘指令控制挖掘机执行目标挖掘动作。 [0254] 在本实施例的一个可选实现方式中，所述根据所述挖掘指令控制挖掘机执行目标 挖掘动作，包括： [0255] 根据所述目标挖掘点位对应的像素坐标信息及深度信息，控制所述挖掘机对所述 目标挖掘点位进行挖掘。 [0256] 在本实施例的另一个可选实现方式中，所述控制组件1205，还用于： [0257] 响应于接收到所述远程控制端基于所述作业场景点云模型发送的所述挖掘指令， 获取所述挖掘机的当前位姿状态参数，所述当前位姿状态参数包括所述挖掘机当前所在点 位对应的像素坐标信息、及所述挖掘机的当前姿态信息； [0258] 根据所述目标挖掘点位对应的像素坐标信息及深度信息，计算所述挖掘机的目标 位姿状态参数，所述目标位姿状态参数包括所述目标挖掘点位对应的像素坐标信息、及所 述挖掘机的目标姿态信息； [0259] 根据所述当前位姿状态参数及所述目标位姿状态参数，计算所述挖掘机的运动轨 迹，所述运动轨迹包括所述挖掘机的点位移动轨迹及所述挖掘机的姿态变化轨迹。 [0260] 在本实施例的一个可选实现方式中，所述控制所述挖掘机对所述目标挖掘点位进 行挖掘，包括： [0261] 控制所述挖掘机根据所述点位移动轨迹移动到所述目标挖掘点位，并根据所述姿 态变化轨迹改变所述挖掘机的姿态，对所述目标挖掘点位进行挖掘。 [0262] 本申请第五实施例提供了一种挖掘机远程控制装置，应用于挖掘机端。图13是本 实施例提供的挖掘机远程控制装置的结构示意图。 [0263] 如图13所示，本实施例提供的挖掘机远程控制装置，包括：点云数据获取单元 1301、点云数据发送单元1302、挖掘动作控制单元1303。 [0264] 所述点云数据获取单元1301，用于接收远程控制端发送的挖掘请求，根据所述挖 掘请求获取作业场景点云数据。 [0265] 可选的，所述挖掘请求包括目标视角选择信息；所述目标视角包括所述作业场景 的固定视角及所述作业场景的全方位视角；所述作业场景的固定视角包括以下视角中的至 少一个： [0266] 所述作业场景的正视视角、所述作业场景的俯视视角、所述作业场景的左侧视视 角、所述作业场景的右侧视视角。 [0267] 可选的，所述根据所述挖掘请求获取作业场景点云数据，包括：根据包括所述目标 视角选择信息的所述挖掘请求，获取所述目标视角下的所述作业场景点云数据。 [0268] 所述点云数据发送单元1302，用于向所述远程控制端发送所述作业场景点云数 据，以供所述远程控制端根据所述作业场景点云数据构建作业场景点云模型。 24 24 CN 116016613 A 说明书 20/24页 [0269] 可选的，所述向所述远程控制端发送所述作业场景点云数据，以供所述远程控制 端根据所述作业场景点云数据构建作业场景点云模型，包括： [0270] 向所述远程控制端发送所述目标视角下的所述作业场景点云数据，以供所述远程 控制端根据所述目标视角下的所述作业场景点云数据构建所述目标视角下的所述作业场 景点云模型。 [0271] 可选的，所述作业场景点云数据包括所述作业场景中各点位对应的像素坐标信息 及深度信息；所述远程控制端根据所述作业场景点云数据构建作业场景点云模。