2. 中国测绘科学研究院, 北京 100830
2. Chinese Academy of Surveying and Mapping, Beijing 100830, China
为加快建立自然资源统一调查、评价、监测制度，健全自然资源监管体制，切实履行自然资源统一调查监测职责，2020年初，国家发布了《自然资源调查监测体系构建总体方案》，明确了自然资源调查监测的总体目标、工作任务、业务体系建设内容，提出开展自然资源统一调查监测，查清我国土地、矿产、森林、草原、水、湿地、海域海岛等各类自然资源家底和变化情况，为科学编制国土空间规划，逐步实现山水林田湖草的整体保护、系统修复和综合治理，保障国家生态安全提供基础支撑，为实现国家治理体系和治理能力现代化提供服务保障。方案同时指出，要实现对自然资源全要素、全流程、全覆盖的现代化监管，必须充分利用现代测量、信息网络及空间探测等技术手段，构建“天-空-地-网”为一体的自然资源调查监测技术体系[1]。
基于遥感影像开展自然资源要素提取，是调查监测工作中最基础、应用最普遍、投入工作量最大、技术难度最高的工作。目前主要依赖人海战术、通过人机交互的目视解译与外业逐图斑核查的方法，劳动强度大、生产效率低、主观因素多，已不能适应新时代自然资源全要素、全流程、全覆盖一体化调查监测的新要求和自然资源自动化、智能化、精细化、实时化管理的需求[1]，迫切需要一种高效、智能、经济的工作方式。
因此，如何自动、高效地实现自然资源要素的提取已成为亟待解决的重大技术难题。近年来，随着人工智能技术的快速发展，采用机器学习方法实现高分辨率遥感影像自动、快速、精确的解译已经成为主流的研究方向，主要包括全监督学习、半监督学习、弱监督学习、无监督学习和深度学习[2]，这些方法各有优缺但距离实用尚有较大差距。例如，全监督学习方法(支持向量机、决策树、随机森林等)需要强监督信息，算法的性能多依赖于训练数据的标注质量，而高质量的强监督标注数据难以获取或代价高昂，且标注数据需求量大，很难应用于缺乏训练数据的任务；面向对象规则集方法要求多源数据的支撑，对专家知识要求高，针对不同地区不同时相的影像，规则集需要根据具体情况进行调整，难以工程化应用。深度学习方法缺乏严格的理论支撑，依赖大量高精度的样本数据，从算法实现到工程化应用还存在很大挑战[2]。
人机协同是人工智能新阶段的发展方向，人类和人工智能深度融合、协同共进，即将进入一个大集成、大变革的时代[3]。本文提出人机协同的自然资源要素智能提取方法，针对自然资源要素提取的复杂性，集成人类知识与机器智能，实现人类解译知识的实时利用与机器智能提升，从而提升要素提取的效率、精度与自动化程度。
1 智能提取研究进展从遥感影像信息提取的发展历程来看，经历了人工目视判读、半自动提取阶段，随着日新月异的遥感应用需求、高分辨率遥感卫星的发射、人工智能技术的发展，目前正在向自动化、智能化方向发展。以下从深度学习智能提取、人机协同智能两个方面分析智能提取研究进展。
1.1 深度学习智能提取近年来，深度学习以其海量数据的学习能力和高度的特征抽象能力，在遥感影像信息提取中表现出显著优势，网络模型朝着弱监督方向发展、要素提取软件朝着智能化方向发展。
1.1.1 网络模型朝着弱监督方向发展典型的深度学习网络模型包括堆栈自编码机、深度信念网络、卷积神经网络、循环神经网络和生成对抗网络，往往根据遥感影像解译应用特点进行改进，虽然取得了较好的效果，但依赖大量高质量的人工标注数据，网络模型复杂度高、可解释性不强，容易出现局部最优解或过拟合问题[3-5]。此外，遥感影像的多尺度、多波段、多时相等特征，限制了常规网络模型的应用。如何在少量有标注数据的条件下实现要素智能提取成为热点，很多学者针对数据依赖小的弱监督方法开展研究，出现了小样本学习、迁移学习、主动学习等方法。典型方法的特点见表 1。
| 方法 | 机制 | 模型/方法 | 优点 | 缺点 |
| 小样本学习[6-9] | 只给定少量训练数据的条件下，训练可以有效地识别目标 | GAN(generative adversa-rial network): 生成器试图在新类别上生成更多样本GNN(graph neural network): 通过边和节点迭代更新各样本及其之间关系 | 能够解决标注数据不足的问题，也可以对高分辨率遥感影像中的新类别进行挖掘与识别 | GAN：生成样本可信度不高、模型训练困难；GNN：计算量随样本数增加而增加 |
| 迁移学习[10-11] | 将源域学习的知识应用到新的目标域上 | 样本迁移、特征迁移、参数模型迁移、关系迁移 | 能够加快并优化模型的学习效率 | 当两个域间的任务、数据分布及规模差异很大时，容易出现负迁移情况 |
| 主动学习[12] | 通过主动选择要学习的样例从而有效地降低学习算法的样本复杂度 | 主动学习与卷积神经网络结合 | 减少标注数据的成本，用很少的数据来训练出高效的模型 | 需要将挑选出的高价值样例进行人工准确标注 |
1.1.2 要素提取软件朝着智能化方向发展
伴随着人工智能技术近年来的蓬勃发展和广泛应用，国内外涌现出一批新兴科技公司，相继出现了系列智能提取软件。这些软件呈现如下特征：①集成“样本采集、样本管理、模型训练、模型管理、交互精编”深度学习智能解译全流程，如吉威数源的SmartRS、中国测绘科学研究院的FeatureStation-AI。②提供基于深度学习的目标检测、要素提取、影像分类、变化检测等云服务，能够实现大批量遥感影像的快速解译，如阿里巴巴达摩院的AI Earth、商汤的SenseEarth。③提供多种深度学习模型及开源计算平台，如微软的AI for Earth、Google的GEE。软件特点见表 2。
| 软件特点 | 具体描述 | 典型软件 |
| 全流程 | 将多类深度学习框架与遥感技术深入融合，集成“样本采集、样本管理、模型训练、模型管理、交互精编”于一体化，提供基于深度学习的要素智能解译一体化、全流程解决方案 | 吉威数源的SmartRS、中国测绘科学研究院的FeatureStation-AI等 |
| 云服务 | 提供面向不同应用场景、基于深度学习的云端目标检测、要素提取、影像分类、变化检测等云服务，能够实现大批量遥感影像的快速解译 | 阿里巴巴达摩院的AI Earth、商汤的SenseEarth等 |
| 开源 | 提供FCN、SegNet、U-Net、LinkNet、PSPNet、RefineNet、DeepLab、FastFCN等多种深度学习模型, TensorFlow、Caffe、Keras、Theano、PyTorch、MXNet等多种深度学习框架，以及GEE等开源计算平台 | 微软的AI for Earth、Google的GEE |
1.1.3 存在问题
虽然深度学习技术的兴起与发展为自然资源要素智能提取技术进步创造了条件，但技术还不够成熟，与实际应用要求存在差距，不足以支撑在更大规模、更深层次应用的发展，存在如下问题：①网络模型复杂度高、可解释性不强、超参数选择多依赖于经验和技巧、训练耗时、计算量大、容易出现局部最优解或过拟合现象；②依赖大量样本，缺乏大规模标签数据、标签数据获取成本高、人类知识未有效利用；③由于遥感影像观测尺度大、场景复杂，现有网络模型无法深入挖掘遥感影像蕴含的辐射、光谱及地物理化参数等信息。
因此，亟须面向自然资源要素提取应用场景，在人工智能、大数据、云计算等新一代信息技术支撑下，研究新一代人工智能技术，提升自然资源要素提取自动化智能化水平与业务支撑能力。
1.2 人机协同智能提取人机协同智能是人工智能发展的新阶段，内涵是人与机器协同配合，通过自动化技术让大部分业务流程实现自动化，让人类从重复枯燥的工作流程中解放出来，通过智能化技术补充和增强人的能力边界，协助人类做出更精准、更清晰和更理性的判断，通过人类视觉感知及认知决策技术进行综合判断与验证，反馈给机器进行自主学习，提升机器智能水平，形成闭环[13-15]。文献[16]提出，计算机与人之间可以成为同事，人与机器做各自擅长的工作。文献[17]首次正式提出了“人机系统”概念，强调在系统中人和机器发挥各自优势，相互合作，标志着人机协同的正式提出。
人机协同已经成为发达国家战略计划，德国2013年提出了工业4.0战略，随后美国提出了工业互联网战略，强调“智能工厂”和“智能生产”，实质是利用人机协同技术实现信息化与自动化的高度集成[18]。2019年美国国家技术科学委员会发布的《国家人工智能研究和发展战略计划》中明确提出“开发有效的人工智能协作方法”的战略，人与人工智能合作将成为改变生产模式的新趋势[19]。国际计算社区联盟(Computing Community Consortium)呼吁全社会加强人工智能和人类合作研究[20]。我国开始关注人机协同，《中国制造2025》《国家信息化发展战略纲要》《新一代人工智能发展规划》等战略规划中，人工智能、智能机器人、5G通信、航空航天装备等重点攻关领域的关键技术创新和落地应用，均需要用到高效、自然、智能的人机协同技术[21]。
人机协同在遥感信息提取领域具有应用潜力，是要素提取智能化发展的主要驱动力。基本思路是通过人机协同技术把遥感数据处理与目视判读、机器学习与专家知识、人脑与电脑的优势结合起来，电脑负责自动化处理，将处理结果推送给解译人员，解译人员根据经验和自动处理结果进行综合判断与确认，再将综合决策结果反馈给电脑，使得系统被训练得更智能，解决问题的能力越来越强。
2 人机协同智能提取方法 2.1 自然资源要素特点自然资源要素指以物质形式存在、看得见、摸得着，可以实施调查、监测和控制的自然资源实体。涵盖陆地和海洋、地上和地下，包括土地、矿产、森林、草原、水、湿地、海域海岛等，具有自然、经济、社会、生态、空间立体等多重基本属性特征。
(1) 具有多类型立体分布特征。从空间分布上看，《自然资源调查监测体系构建总体方案》提出自然资源的4个空间层，分别为地表覆盖层、地表基质层、地下资源层、管理层，体现出自然资源是占据一定空间位置和范围，具有一定的外观和形状的复杂立方体；从要素类别看，自然资源要素包括湿地、耕地、林地、草地、工矿用地、住宅用地、交通运输用地、水域与水利设施用地等，是一个庞大且相互关联的生命共同体。针对自然资源调查监测的目标、对象、覆盖面和频率，需要集成人类知识与机器智能，按照分类分层提取思想，实现对自然资源要素的流水线精准化提取。
(2) 具有多时相多尺度时空结构特征。山水林田湖草自然资源具有典型的时相结构特征，不同季节不同时相，其特征变化比较大，需要根据多时相影像的特征进行要素的提取，从时间、空间、数量及质量方面分析自然资源动态变化特征和未来发展趋势[22]。同时，不同要素都有其特定的空间尺度，尺度选择的不同，会导致对地表要素空间格局和过程及其相互作用规律不同程度的把握，影响要素提取的科学性和实用性，这就要求选择合适的尺度来最优反映地物目标的空间分布结构特征[23]。
(3) 具有自然经济社会生态权属多重属性。自然资源之所以是资源，是因为其具有经济等多重属性和价值。自然资源具有有效(用)性、有限性、稀缺性和区域性，不同类型自然资源本质特点和相互之间的关联性决定其时空分布的不均匀性及其禀赋特征。同时人类在开发、使用自然资源过程中融入社会劳动，又会对自然资源的本底特征和自然属性施加影响，从而改变其时空结构和质量状态，是其社会属性的具体反映[24]。此外，权属清晰、权责明确是自然资源资产管理和生态环境监管的前提和基础，自然资源不受人为划定的行政界限或者权利界限影响，不会有明确的界限，从而在客观上造成同一单元上存在多种自然资源类型，如高大树木与高草重叠、高大树木与低草重叠、成簇灌木与草重叠等，无法通过自动化的遥感信息提取手段确定权属界限，需要结合勘测定界、高分辨率遥感影像等多源数据，利用人机协同方式确定权属边界。
2.2 人机协同智能提取技术框架自然资源具有多类型立体分布特征、多时相多尺度时空结构特征、自然经济社会生态权属多重属性，决定了单纯依靠自动化手段难以满足生产要求，需要顺应人工智能协作方法智能化发展新方向，从自然资源要素的特点出发，集成人类知识与机器智能，提升自然资源要素提取的效率与精度。
图 1为本文提出的“智能计算后台+智能引擎+人机交互前台”人机协同智能提取方法技术框架，后台运用深度学习等方法进行智能计算，将自动提取结果通过智能引擎推送到前台，前台利用半自动提取、人机交互采集编辑技术手段进行人机交互式综合判断与验证。这一方法通过人类与智能机器共同协作，利用自动化技术让大部分业务流程实现自动化，利用人类视觉感知及认知决策技术进行综合判断与验证，反馈给机器，提升机器智能水平，从而实现人的解译知识的实时利用与机器智能提升，提升自然资源要素提取的自动化与智能化水平。
|
| 图 1 人机协同智能提取技术 Fig. 1 Man-machine collaborative intelligent extraction technology |
智能计算后台负责要素提取网络模型训练与验证，以及要素自动提取，可得到较为精准的地物边界及类别信息。人机交互前台由解译人员根据经验及先验知识对自动提取结果进行综合判断与验证，判断自动提取的边界是否与实际地物边界精准吻合，自动提取的类别信息是否符合实际地物类别，如有不当之处，选择相应人机交互工具进行人机交互采集编辑，直到得到符合生产要求的解译结果。
2.2.1 智能计算后台针对自然资源要素提取、地表覆盖分类、变化检测等业务，研究需求驱动的具有“大规模样本量、多类型算法模型、自主学习”的迭代式智能计算后台，如图 2所示。以深度卷积语义分割网络(如FCN、SegNet、ResNet、DenseNet、VGGNet、UNet、DeepLab等)为基础，提出适用于遥感影像信息提取的“编码器-特征强化-解码器”网络模型，根据不同的应用场景反复训练得到适合该场景的预训练模型[25-26]。将样本数据划分为训练数据、测试数据和验证数据，采用“训练-验证-测试”方法，验证网络模型的可行性。样本与模型相互协同能够不断增强智能计算能力[27]，能够实现要素智能提取，得到自然资源要素的参考位置、边界、出现概率等信息。关键技术包括样本库构建、要素自动提取等。
|
| 图 2 迭代式智能计算后台 Fig. 2 Iterative intelligent computing background |
2.2.2 智能引擎
智能引擎类似大脑神经中枢，负责智能计算后台与人机交互前台的信息传递[28]。设计推送单元(如区域、格网、图斑)、推送规则(如图斑面积占比优先、准确率优先、概率优先)，根据要素边界的准确性、图斑面积占比大小、概率大小等推送规则将自动提取结果按照推送单元推送到前台。关键技术包括推送规则构建、单元自动推送等。
推送规则由多个指标的加权和来确定，计算公式如下
式中，ωA、ωP、ωC分别为面积占比、概率、准确率的权重，ωA+ωP+ωC=1；A、P、C分别表示面积占比、概率、准确率，取值区间为[0, 1]。
2.2.3 人机交互前台主动学习是通过启发式方法获得领域专家知识和提高学习算法信任度的关键方法[29-30]。研究主动学习式人机迭代交互模式，利用半自动提取、人机交互采集编辑等技术手段，对后台计算的结果进行综合判断与确认，将确认后的结果反馈给后台，更新后台的样本数据，促进后台计算算法的优化与改进。关键技术包括多维可视化交互提取、要素半自动提取、人机交互主动学习等，如图 3所示。
|
| 图 3 人机交互主动学习技术流程 Fig. 3 Man-machine interaction active learning technology process |
解译人员对智能计算后台自动推送的结果进行综合判断与确认，如有不当之处，选择采集工具进行人机交互采集编辑，完成所有解译任务。检查人员同时选择检查工具对解译结果进行检查，若审核通过，则标注为已审核；若没通过，则反馈给解译人员继续修改。经过验证确认后的结果通过智能引擎反馈到后台，更新后台的样本数据，促进后台计算算法的优化与改进。
2.3 关键技术及解决途径 2.3.1 基于规则的图斑自动推送定义推送单元及推送规则，引入规则引擎，用于接受数据输入、解释推送规则、并根据推送规则做出决策。该方法能够根据推送规则将后台自动提取的结果推送给前台解译员，并及时通知更新和更改内容，使解译员在交互时更加方便和快捷，满足人机交互的智能化需求。
图 4为基于规则的图斑自动推送技术。解决途径包括以下步骤：①定义区域、格网、图斑等推送单元，以及图斑面积优先、概率优先、邻近优先等规则，构建规则库；②根据要素提取任务，从规则库中获取与任务对应的规则，调用规则引擎做出决策，将满足规则的图斑自动推送给前台解译员；③解译员对自动推送的图斑进行综合判断和确认；④解译结果通过智能引擎反馈到后台，更新后台的数据。
|
| 图 4 基于规则的图斑自动推送技术 Fig. 4 Automatic patch push technology based on rules |
2.3.2 多维可视化交互场景
可视化分析综合了人脑感知、假设、推理的优势与计算机对海量数据高速、准确计算的能力，通过可视交互界面，将人的智慧，特别是“只可意会，不能言传”的人类知识和个性化经验可视地融入整个数据分析和推理决策过程中成为最有潜力的方向[31-32]。借鉴游戏引擎可视化技术，构建多维可视化交互环境，使自然资源信息更加形象、逼真地展示出来，有利于解译人员进行多视角解译与分析，能够清晰准确地提取自然资源实体的结构、几何等信息。
图 5为多维可视化交互场景。解决途径包括以下步骤：首先，采用金字塔模型制作瓦片数据，实时在线三维渲染展示，构建三维可视化环境；然后，利用裸眼三维采集、立面采集、地物轮廓自动提取等智能化要素采集技术，实现要素的精准采集与编辑；最后，形成二三维一体化解译成果。
|
| 图 5 多维可视化交互场景 Fig. 5 Multi-dimensional visual interaction scene |
2.3.3 样本库构建技术
根据已有的地理国情普查、第三次全国国土调查等历史解译数据，按照全面性、代表性、均衡性、正确性、负样本等原则，构建针对不同传感器、不同地区的自然资源要素样本数据集。
图 6为样本库构建技术，解决途径如下。
|
| 图 6 样本库构建技术 Fig. 6 Construction technology of sample database |
(1) 时空样本库设计：根据信息全、易读取、查询快、易扩展等原则，设计具有区域性、时序性、尺度性、多类型的样本库。
(2) 数据集格式规范制定：制定统一、规范格式的数据集，该数据集由同名的影像文件夹和标签影像文件夹组成。
(3) 增量样本库构建：充分利用公开数据集及已有的多源调查与监测成果，结合人工解译模式，采集要素标签样本以及对应的遥感影像，运用数据挖掘、深度学习技术验证样本标注的有效性，得到纯净有价值的样本，形成样本库本底；针对新的应用，采用人工或半自动方法采集一定数量的样本，作为本底库的增量。
(4) 样本扩充：利用旋转变换、仿射变换、色彩变换、尺度变换等方法进行样本扩充。
2.3.4 基于深度学习的自然资源要素自动提取深度学习以其特征自动提取与自学习能力在遥感影像智能解译中得到应用，针对遥感影像大规模、高分辨率、多尺度、多波段等特征，研究水体、道路、耕地等自然资源要素自动提取的深度学习网络模型，利用该模型实现要素的自动提取。技术路线如图 7所示。
|
| 图 7 要素智能提取技术 Fig. 7 Intelligent extraction technology of typical features |
(1) 多策略融合的要素提取网络模型构建：针对遥感影像的多尺度特征，对遥感影像进行多尺度变换；针对光谱、几何、时相等特征，对遥感影像进行多维特征提取；利用集成方法，将SegNet、U-Net、LinkNet、PSPNet、RefineNet、DeepLab、FastFCN等语义分割网络进行集成，依据结构可灵活表示、内部结构可配置、模块结构可组合原则，设计适用于要素提取的多策略融合的语义分割网络模型。
(2) 水体、道路等要素自动提取：针对不同的自然资源要素，调整多策略融合的语义分割网络模型，利用样本库进行训练，得到预训练模型，利用预训练模型实现水体、道路等要素的自动提取。
(3) 精度评价：利用像素精度(pixel accuracy, PA)、均像素精度(mean pixel accuracy, MPA)、平均交并比(mean intersection over union, MIoU)、频率加权交并比(frequency weighted intersection over union, FWIoU)对自动提取结果进行精度评价。
2.3.5 人机交互半自动解译结合人的认知能力和计算机的处理能力，利用点选、魔棒、边缘跟踪等交互式采集编辑工具，在矢量栅格一体化环境下，进行自然资源要素的半自动解译。
图 8为人机交互半自动解译技术。解决途径包括以下步骤：首先，目视确定要素对象的位置；然后，通过人机交互设备给出对象在影像中的位置、形状、范围等初始信息，计算机自动计算出该对象或者该类对象的精确位置和形状。人机交互设备包括鼠标、键盘、显示设备、触摸笔、触摸屏等。给出要素对象初始信息的类型包括种子点、种子线、矩形(或其他形状)所限定的在影像上的空间范围等。
|
| 图 8 人机交互半自动解译技术 Fig. 8 Man-machine interactive semi-automatic interpretation technology |
3 人机协同智能提取云平台总体架构
采用云原生架构，以分布式融合存储计算与智能化调度为基础，整合计算资源、数据资源、技术资源和应用资源，构建高可扩展、易管理的高性能人机协同智能提取云平台，提供“后台智能计算-智能引擎-人机交互”全流程业务引擎，基于统一平台提供包括统一账户权限、业务功能服务、数据资源服务等在内的应用支撑能力，满足自然资源要素提取的智能、协同、高效需要。云平台构建总体架构如图 9所示。
|
| 图 9 云平台构建总体架构 Fig. 9 Overall architecture of cloud platform construction |
3.1 超融合智能计算平台
通过超融合智能计算平台，实现云上多源异构遥感数据处理流程的灵活搭建、数据快速处理、数据自动流转，以及任务全程监控的云上业务调度与管理，满足多样化业务对于超大规模分布式融合计算与存储协同的需求。同时，面向场景应用需求，实现基于容器粒度的计算业务动态混合编排与分布式任务智能调度，向上提供微服务接口，为各类业务开展提供云原生支持。具体包括计算/存储集群管理、节点管理、镜像管理、流程编排、任务管理、资源监控等。
3.2 全流程业务引擎设计“后台智能计算-智能引擎-前台”全流程业务引擎，为上层场景提供业务支持。
后台智能计算主要包括数据管理、样本管理、模型管理、微服务管理、深度学习等功能。数据管理是针对存储服务器中的数据进行可视化管理和统计分析，包括数据组织管理、数据可视化、数据统计分析；样本管理主要负责为深度学习算法提供训练样本，包括样本采集、样本生成、样本筛选等；模型管理负责管理深度学习中的预训练模型，包括模型训练、模型微调、模型发布等；微服务管理主要实现对容器化服务程序的统一管理、生成、发布、监控与调度，包括微服务生成、微服务发布、微服务调度等；深度学习主要提供模型训练与模型预测，包括目标识别、要素提取、地表覆盖分类、变化检测等功能。
智能引擎主要包括定义推送单元、定义推送规则、单元自动推送、结果自动反馈等功能。推送单元可以是区域、格网、图斑等；推送规则包括图斑面积占比优先、准确率优先、概率优先等指标，可以由单个指标确定，也可以由多个指标的加权和确定；单元自动推送负责根据推送规则进行单元自动推送，并实时进行单元自动流转；结果自动反馈负责将前台确认后的图斑反馈到后台，丰富后台样本库。
前台主要包括多维可视化、图斑判别与确认、矢量智能采集编辑、要素半自动提取等功能。多维可视化主要实现多维、时序、叠加、分屏、卷帘、闪烁、特效等可视化效果；图斑判别与确认负责统筹兼顾全局和局部、大概率和小概率、大面积和小面积、未解译和已解译等次序，实现图斑的判别与确认；矢量智能采集编辑包括拓扑联动修测、智能面切割合并、采集新面等功能；要素半自动提取包括水域、建筑物、道路等半自动提取工具。
3.3 共享应用在线支撑平台共享应用在线支撑平台是对外业务承载窗口，包括开放接入平台与应用支撑平台。开放接入平台主体面向各类应用与用户提供基于调查监测数据业务引擎的各类标准化服务接口与配套的软件开发工具包，支持业务应用快速构建；同时，提供应用/算法快速集成接入能力，实现调查监测业务能力扩展共享。应用支撑平台支持以多租户形式提供多应用在线订阅、持续运维与运营能力，满足多样化业务需求与多样化用户应用需求。支持多应用在线托管运维与订阅开通、多租户管理及租户个性化授权与应用配置，以及多服务协议接入模式。
4 结论与展望本文分析了自然资源要素的特点，针对自然资源调查监测的需求，综合利用多时相遥感影像、人类先验知识、自动化智能化技术方法，集成人类知识与机器智能，提出了人机协同的自然资源要素智能提取方法，构建了“智能计算后台+智能引擎+人机交互前台”的人机协同解译技术框架，给出了关键技术及其解决途径，探讨了人机协同智能提取云平台构建思路，旨在为人机协同的自然资源要素智能提取技术研究及平台研制提供参考。
随着人工智能技术的实践应用，单独依赖机器难以满足生产要求，深层次的知识和经验具有重要作用[33-34]，人机协同能够融合专家能力和机器能力，将专家的知识模型化、自动化，自动判断分析绝大部分信息，专家仅需集中处理少数关键性问题，是实现人类与智能机器共同协作的新型工作方式，为自然资源要素智能提取研究提供了新的发展方向，有助于推动自然资源调查监测的质量变革、效率变革。
| [1] |
自然资源部. 自然资源调查监测体系构建总体方案[EB/OL]. (2020-01-17)[2020-01-20]. http://www.gov.cn:8080/zhengce/zhengceku/2020-01/18/content_5470398.htm. Ministry of Natural Resources of the People's Republic of China. Overall plan for the construction of the natural resources investigation and monitoring system[EB/OL]. (2020-01-17)[2020-01-20]. http://www.gov.cn:8080/zhengce/zhengceku/2020-01/18/content_5470398.htm. |
| [2] |
周培诚, 程塨, 姚西文, 等. 高分辨率遥感影像解译中的机器学习范式[J]. 遥感学报, 2021, 25(1): 182-197. ZHOU Peicheng, CHENG Gong, YAO Xiwen, et al. Machine learning paradigms in high-resolution remote sensing image interpretation[J]. Journal of Remote Sensing(Chinese), 2021, 25(1): 182-197. |
| [3] |
LI Jiayi, HUANG Xin, GONG Jianya. Deep neural network for remote-sensing image interpretation: status and perspectives[J]. National Science Review, 2019, 6(6): 1082-1086. DOI:10.1093/nsr/nwz058 |
| [4] |
龚健雅, 季顺平. 摄影测量与深度学习[J]. 测绘学报, 2018, 47(6): 693-704. GONG Jianya, JI Shunping. Photogrammetry and deep learning[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(6): 693-704. |
| [5] |
贺浩, 王仕成, 杨东方, 等. 基于Encoder-Decoder网络的遥感影像道路提取方法[J]. 测绘学报, 2019, 48(3): 330-338. HE Hao, WANG Shicheng, YANG Dongfang, et al. An road extraction method for remote sensing image based on Encoder-Decoder network[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(3): 330-338. |
| [6] |
ZHANG Wei, TANG Ping, CORPETTI T, et al. WTS: a weakly towards strongly supervised learning framework for remote sensing land cover classification using segmentation models[J]. Remote Sensing, 2021, 13(3): 394. DOI:10.3390/rs13030394 |
| [7] |
YAN Xiongfeng, AI Tinghua, YANG Min, et al. A graph convolutional neural network for classification of building patterns using spatial vector data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 150: 259-273. DOI:10.1016/j.isprsjprs.2019.02.010 |
| [8] |
MA D, TANG Ping, ZHAO Lijun. SiftingGAN: generating and sifting labeled samples to improve the remote sensing image scene classification baseline in vitro[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(7): 1046-1050. DOI:10.1109/LGRS.2018.2890413 |
| [9] |
OUYANG Song, LI Yansheng. Combining deep semantic segmentation network and graph convolutional neural network for semantic segmentation of remote sensing imagery[J]. Remote Sensing, 2020, 13(1): 119. DOI:10.3390/rs13010119 |
| [10] |
PIRES DE LIMA R, MARFURT K. Convolutional neural network for remote-sensing scene classification: transfer learning analysis[J]. Remote Sensing, 2019, 12(1): 86. DOI:10.3390/rs12010086 |
| [11] |
CUI Binge, CHEN Xin, LU Yan. Semantic segmentation of remote sensing images using transfer learning and deep convolutional neural network with dense connection[J]. IEEE Access, 2020, 8: 116744-116755. DOI:10.1109/ACCESS.2020.3003914 |
| [12] |
XU Guang, ZHU Xuan, TAPPER N. Using convolutional neural networks incorporating hierarchical active learning for target-searching in large-scale remote sensing images[J]. International Journal of Remote Sensing, 2020, 41(11): 4057-4079. DOI:10.1080/01431161.2020.1714774 |
| [13] |
范向民, 范俊君, 田丰, 等. 人机交互与人工智能: 从交替浮沉到协同共进[J]. 中国科学: 信息科学, 2019, 49(3): 361-368. FAN Xiangmin, FAN Junjun, TIAN Feng, et al. Human-computer interaction and artificial intelligence: from competition to integration[J]. Scientia Sinica (Informationis), 2019, 49(3): 361-368. |
| [14] |
周小程, 高冬明. 人机协同, "智"在必得[N]. 解放军报, 2019-12-06(11). ZHOU Xiaocheng, GAO Dongming. Human-machine collaboration, "wisdom" must be won[N]. People's Liberation Army Daily, 2019-12-06(11). |
| [15] |
邹德宝, 人机协同考验AI产业智慧[N]. 中国电子报, 2020-11-20(6). ZOU Debao, Human-machine collaboration tests the wisdom of the AI industry[N]. China Electronics News, 2020-11-20(6). |
| [16] |
LENAT D B, FEIGENBAUM E A. On the thresholds of knowledge[J]. Artificial Intelligence, 1991, 47(1): 185-230. |
| [17] |
路甬祥, 陈鹰. 人机一体化系统与技术立论[J]. 机械工程学报, 1994, 30(6): 1-9. LU Yongxiang, CHEN Ying. Foundation of the humachine system[J]. Chinese Journal of Mechanical Engineering, 1994, 30(6): 1-9. |
| [18] |
E-works. Explore industry 4.0[EB/OL]. [2019-02-20]. https://www.e-works.net.cn/report/industry/industry.html.
|
| [19] |
OSTP. The national artificial intelligence research and development strategic plan: 2019 Update[R]. [S. l. ]: Select Committee on Artificial Intelligence.
|
| [20] |
BERTINO E, FINALE D, GINI M, et al. Artificial Intelligence &Cooperation[EB/OL]. [2020-05-18]. https://cra.org/ccc/resources/ccc-led-whitepapers/#2020-quadren-nialpapers.
|
| [21] |
国务院. 《新一代人工智能发展规划》国发〔2017〕35号. [EB/OL]. [2017-07-20]. http://www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm. The State Council. New generation artificial intelligence development plan" Guofa (2017) No. 35. [EB/OL]. [2017-07-20]. http://www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm. |
| [22] |
陈玲, 贾佳, 王海庆. 高分遥感在自然资源调查中的应用综述[J]. 国土资源遥感, 2019, 31(1): 1-7. CHEN Ling, JIA Jia, WANG Haiqing. An overview of applying high-resolution remote sensing to natural resources survey[J]. Remote Sensing for Land & Resources, 2019, 31(1): 1-7. |
| [23] |
GU Haiyan, HAN Yanshun, YANG Yi, et al. An efficient parallel multi-scale segmentation method for remote sensing imagery[J]. Remote Sensing, 2018, 10(4): 590. DOI:10.3390/rs10040590 |
| [24] |
葛良胜, 夏锐. 自然资源综合调查业务体系框架[J]. 自然资源学报, 2020, 35(9): 2254-2269. GE Liangsheng, XIA Rui. Research on comprehensive investigation work system of natural resources[J]. Journal of Natural Resources, 2020, 35(9): 2254-2269. |
| [25] |
CHENG Gong, XIE Xingxing, HAN Junwei, et al. Remote sensing image scene classification meets deep learning: challenges, methods, benchmarks, and opportunities[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 3735-3756. DOI:10.1109/JSTARS.2020.3005403 |
| [26] |
WANG Junjue, ZHONG Yanfei, ZHENG Zhuo, et al. RSNet: the search for remote sensing deep neural networks in recognition tasks[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(3): 2520-2534. DOI:10.1109/TGRS.2020.3001401 |
| [27] |
LE H V, MAYER S, HENZE N. Deep learning for human-computer interaction[J]. Interactions, 2021, 28(1): 78-82. DOI:10.1145/3436958 |
| [28] |
汪敏, 刘轩山, 陈祎, 等. 一种基于规则引擎的智能推送方法及系统: CN109597931A[P]. 2019-04-09. WANG Min, LIU Xuanshan, CHEN Yi, et al. An intelligent pushing method and system based on a rule engine: CN109597931A[P]. 2019-04-09. |
| [29] |
田彦平, 陶超, 邹峥嵘, 等. 主动学习与图的半监督相结合的高光谱影像分类[J]. 测绘学报, 2015, 44(8): 919-926. TIAN Yanping, TAO Chao, ZOU Zhengrong, et al. Semi-supervised graph-based hyperspectral image classification with active learning[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(8): 919-926. |
| [30] |
孙熠, 李培军. 利用主动学习改进遥感图像单类分类: 以正类和未标记样本学习方法为例[J]. 北京大学学报(自然科学版), 2020, 56(1): 155-163. SUN Yi, LI Peijun. Improving one-class classification of remote sensing data by using active learning: a case study of positive and unlabeled learning[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2020, 56(1): 155-163. [知网] |
| [31] |
朱庆, 付萧. 多模态时空大数据可视分析方法综述[J]. 测绘学报, 2017, 46(10): 1672-1677. ZHU Qing, FU Xiao. The review of visual analysis methods of multi-modal spatio-temporal big data[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(10): 1672-1677. DOI:10.11947/j.AGCS.2017.20170286 |
| [32] |
王占宏, 白穆, 李宏建. 地理空间大数据服务自然资源调查监测的方向分析[J]. 地理信息世界, 2019, 26(1): 1-5. WANG Zhanhong, BAI Mu, LI Hongjian. Direction analysis on service for natural resource investigation and monitoring using geospatial big data[J]. Geomatics World, 2019, 26(1): 1-5. DOI:10.3969/j.issn.1672-1586.2019.01.001 |
| [33] |
SHI Jinshou, TANG Wenzhe, LI Ning, et al. User cognitive abilities-human computer interaction tasks model[M]//Advances in Intelligent Systems and Computing. Cham: Springer International Publishing, 2021: 194-199.
|
| [34] |
张继贤, 顾海燕, 鲁学军, 等. 地理国情大数据研究框架[J]. 遥感学报, 2016, 20(5): 1017-1026. ZHANG Jixian, GU Haiyan, LU Xuejun, et al. Research framework of geographical conditions and big data[J]. Journal of Remote Sensing, 2016, 20(5): 1017-1026. |