HASH GAME - Online Skill Game GET 300

　　针对智能遥感卫星系统星上处理与端到端测绘应用的轻量化全球控制信息需求，本文提出了一种星载轻量化影像控制点数据制作方法。首先，在稀少/无地面控制数据条件下，通过国产高分辨率立体测绘卫星影像的区域网平差处理，生成全球影像控制点；其次，通过将影像控制点的局部影像描述至特征向量，设计星载影像控制点的轻量化表示模式, 分析其存储性能和星上匹配应用策略；然后, 采用哈希映射学习得到的哈希函数，将影像控制点特征向量转换至哈希码, 实现星载影像控制点的深度轻量化处理；最后，采用多类型卫星影像数据，进行影像控制点提取、特征向量描述、深度轻量化处理以及匹配性能分析试验，验证了轻量化影像控制点星上匹配与应用可行性，得到了全球影像控制点轻量化处理能力分析结论。

　　星上智能实时处理算法是智能遥感卫星系统的重要组成部分，高精度在轨几何定位则是其中的一项关键技术，直接决定遥感卫星在轨测绘信息与产品的精度[2]。目前，国内外高分辨率遥感卫星通常采用几何检校技术，通过地面处理系统对卫星传感器参数进行周期性修正，提高卫星影像的对地定位精度[3-5]。如果直接采用现有地面处理系统的几何检校模式，智能遥感卫星系统需要增加地面处理环节，端到端测绘应用与服务的时效性则大幅降低。因此，将地面处理系统的几何处理模式和功能转移到星上，利用卫星星上处理器，在轨实现影像高精度在轨几何定位及其处理，是卫星遥感影像端到端测绘应用的重要途径。

　　在轨实现地面处理系统的几何定位及其处理功能有两种模式[6]：①星地联合模式，即利用地面处理系统，进行周期性几何检校，将几何检校参数通过星地传输链路发送至卫星，在轨实现卫星星上定位精度的提升和高精度几何产品的制作；②星上在轨模式，即在星上加载基础数据，直接在星上进行周期性几何检校，并利用基础数据辅助星上高精度几何处理，达到星上高精度定位和几何产品制作目的。由于卫星星上处理资源有限，卫星传感器几何检校模型复杂，且检校过程中需要大量的地面控制信息，因此，星上在轨高精度几何定位通常采用星地联合模式[7-8]。

　　在卫星星地联合模式中，地面控制信息通常包括控制测量获取的地面控制点、从地形图或正射影像等数据获取的图形图像控制点[9]，这些数据获取成本高且主要分布在我国境内，无法满足卫星影像全球应用与服务需求；利用全球范围内的高分辨率立体影像、公开坐标信息、地形图等数据，提取全球广义控制点、影像控制点和地标信息[10-11]，构建全球地面控制点数据库、数字定标场、三维地标数据库[12-15]，并在全球公开地形数据的辅助下[16]，将控制信息从境内扩展到境外，已逐渐成为卫星影像境外高精度定标定位与几何处理的重要手段。

　　随着星载处理器性能的不断发展，以及全路由、可重构、智能化的星上处理技术的突破，星上处理资源受限问题将逐步解决，复杂的遥感测绘处理流程也能够在星上快速完成，星上在轨处理已经成为重点发展技术[17-19]。此时，遥感影像几何检校、几何纠正等技术方法将从星地联合处理转向星上在轨处理，且几何处理过程中所需的地面控制信息也需要从地面处理系统转移至星上处理系统。然而，地面处理系统中的全球地面控制信息类型复杂、数据量大，且包含坐标、影像、属性、描述数据、元数据等信息，需要采用数据库进行管理、操作和应用[20]，直接加载至星上处理系统将造成星上控制数据冗余、检索匹配和几何处理效率低下。目前，国内外仅有少量卫星利用局部地区的星载控制信息，进行了星上几何定位与纠正处理试验[19-20]，全球范围内的星上处理应用缺少星载全球控制信息支持。

　　影像控制点是指从影像上提取的特征明显、位置精度高、稳定性好、易于匹配的特征点，主要包括点位空间坐标位置，以点位为中心的局部影像块等，是一种特定类型的地面控制点[21]。与传统意义上的地面控制点相比，影像控制点不需要通过实地量测获取，获取成本低、周期短，在一定程度上可以起到传统地面控制点的作用[9]。但是，影像控制点的坐标位置精度取决于原始影像的定位精度，即使在高分辨率航空航天立体影像上采集，其精度也低于量测获取的地面控制点位置精度。因此，在我国境内地区，影像控制点数据在卫星影像高精度定位中较少使用。

　　为了提升智能遥感卫星系统在境外地区的应用性能，需要在星上加载全球范围内的地面控制数据，实现星上遥感影像高精度定位与处理。由于全球公开的高精度控制点数据较少，境外大部分地区没有高精度控制点，且也无法通过实地量测获取，可用于智能遥感卫星的境外控制数据严重不足。此时，利用全球范围内的高分辨率立体遥感影像，从中自动提取具有较高精度的影像控制点，将提取处理后的影像控制点加载至卫星星上存储系统，是解决智能遥感卫星系统全球范围内的地面控制数据缺乏问题的重要方法。

　　(1) 对国外高几何定位精度立体卫星影像进行多类型特征匹配(如尺度不变特征匹配[22])，获取同名特征点，利用影像定位参数，计算特征点坐标，以此作为控制数据；或者采用全球公开DEM数据，如航天飞机雷达地形测绘任务(shuttle radar topography mission, SRTM)数据、ALOS卫星全球数字地表模型(ALOS world 3D-30 m, AW3D30)数据等[16]，根据目标区地形情况，采用文献[16]方法，选取适量地形点作为高程控制数据，提供高程控制约束。

　　在应用性能方面，受限于原始立体影像数据的定位精度，本文方法提取的影像控制点位置精度通常为米级，主要用于非立体成像的目标观测类遥感卫星(该类卫星影像主要用于目标成像、检测与识别，对影像定位精度要求较低)的星上几何检校；高分辨率立体测绘卫星(该类卫星影像主要用于立体测图，对影像定位精度要求较高)的星上几何检校需要厘米级精度控制点，通常不直接在星上进行几何检校处理，其星上定位精度则需要通过地面几何检校、检校参数星上上注方式来提升。另外，本文方法提取的影像控制点是高分辨率立体测绘卫星和目标观测类遥感卫星影像在轨几何纠正的重要控制资料，可用于卫星影像数据的星上几何纠正处理及其产品制作。

　　本文采用尺度不变特征变换(scale invariant feature transform, SIFT)方法，对影像控制点进行轻量化处理，主要优势在于：①SIFT特征对影像旋转变换、尺度缩放保持完全不变性，并且对仿射变换也保持一定的不变性[24]，能够较好地解决不同分辨率影像与影像控制点之间的在轨匹配要求；②SIFT特征描述符通常为归一化后的128维特征向量，能够将灰度影像数据表示的特征点表示成以特征向量描述的特征点，实现影像控制点的轻量化。

　　传统地面影像控制点存储模式为：像点坐标、以点位为中心的局部影像(通常为1000×1000像素大小左右)、描述信息；在SIFT特征向量的支持下，地面影像控制点的轻量化模式可以表示为：像点坐标、特征描述符、以点位为中心的局部影像(通常为50×50像素大小)、描述信息，见表 1。由表 1可知，影像控制点通过轻量化处理，在理想情况下，总空间大小由传统模式下的1 000 020 Byte变换为轻量化模式下的3032 Byte，存储空间压缩329.82倍。

　　由于分辨率差异和几何变形，影像控制点自动匹配至卫星影像的难度较大。因此，传统模式的影像控制点采用了1000×1000像素大小的局部影像，通过灰度匹配和密集特征匹配方法，实现影像控制点向卫星影像的准确匹配映射。在轻量化模式下，本文将影像控制点1000×1000像素大小的局部影像表示为单个特征点的128维SIFT特征向量和50×50像素的局部影像块，通过特征向量匹配与地理范围约束下的灰度匹配相结合的方法，实现轻量化影像控制点与卫星影像的高可靠自动匹配处理。

　　除了影像控制点之外，常用的控制数据还有量测获取的地面控制点(通常以点之记文件表示)、数字正射影像(digital orthophoto map, DOM)及对应区域DEM数据等。点之记文件记录了控制点量测过程、地理位置、坐标数据与精度等信息[10]，其地面控制点表示方式与本文的轻量化影像控制点表示方式差异较大，不适合直接进行数据量的比较；按照传统影像控制点的表示方式，将点之记文件录入控制点存储系统，其数据量与轻量化后影像控制点数据量相比较，结果与表 1一致。如果选用全球高精度DOM以及配套DEM作为控制数据(如30 m格网的全球SRTM及其DOM数据)，其数据量远远超出了星上存储能力，不适合比较该类型控制数据与轻量化影像控制点的存储性能。

　　在卫星沿轨大倾角成像、垂轨侧摆成像、传感器畸变成像等条件下，控制点影像与卫星影像之间具有较大的仿射变形，SIFT特征匹配容易失效。采用仿射SIFT算法(affine-SIFT, ASIFT)，能够提升仿射变形影像的匹配可靠性[28]。由于ASIFT特征提取算法需要完成多张模拟图像生成工作，计算复杂度是SIFT特征提取算法的180倍(在不采用优化的条件下，等于13.52倍)[29]；在星上计算资源受限条件下，本文主要采用SIFT特征对影像控制点进行轻量化描述，以解决一般性星载影像控制点匹配问题。

　　本文试验采用了4套试验数据：①Worldview卫星获取的美国华盛顿地区全色影像数据，获取时间为2013年1月10日，包含两张影像及其有理函数模型(RPC)定位参数，并构成立体(重叠度95%以上)，影像的地面分辨率为0.45 m，数据的平面、高程直接定位精度评估约为3.0 m(影像数据附带精度评估数值)；②资源三号卫星获取的美国华盛顿地区全色影像数据，获取时间为2012年5月2日，包含三线阵立体影像及其RPC定位参数，影像分辨率为2.1 m(下视)和3.5 m(前视和后视)，影像中含有30%左右的云层覆盖；③天绘一号卫星获取的美国华盛顿地区全色影像数据，获取时间为2013年12月29日，包含三线阵立体影像及其RPC定位参数，影像分辨率为5.0 m；④美国华盛顿地区Google正射卫星影像数据，影像下载时间为2020年5月，影像分辨率约为0.5 m。试验数据中，Worldview卫星影像与Google正射卫影像覆盖同一地面区域，且都对应于资源三号与天绘一号卫星影像的左下区域。

　　从Worldview和资源三号试验数据中选取24组同名像点(图 2)，将Worldview卫星影像上的点位交会坐标作为控制信息，对资源三号卫星影像的直接对地定位精度(该定位精度为资源三号卫星与Worldview卫星影像数据的相对定位精度，非资源三号卫星影像数据的绝对定位精度)进行评估；随后，将Worldview卫星影像作为基准，与资源三号卫星影像进行联合区域网平差(基于RPC像方平移模型)，实现资源三号卫星影像相对Worldview卫星影像的相对定位精度提升，结果见表 2。试验结果表明：通过联合区域网平差处理，高定位精度卫星影像的几何基准能够传递至低定位精度卫星影像，实现低定位精度影像的定位参数优化和定位能力提升，满足更高定位精度的影像控制点获取要求。

　　采用SIFT特征点匹配以及随机采样一致性(random sample consensus, RANSAC)误匹配剔除方法，分别对Worldview和资源三号卫星影像数据进行特征点提取与匹配，并将特征点匹配结果作为影像控制点，进行影像控制点地理坐标计算、局部窗口影像获取、特征向量存储等操作，实现影像控制点数据的获取，影像控制点数量和点位分布如图 3所示，其中资源三号卫星影像提取的影像控制点数量较少，主要原因在于影像成像质量不高，有较高的云层覆盖。

　　得到哈希映射投影矩阵P及阈值向量t之后，将Worldview和资源三号卫星影像控制点特征描述符进行深度轻量化处理。对于每一个影像控制点，其深度轻量化处理处理步骤为：将影像控制点128维浮点型特征向量表示为x，通过投影矩阵P及阈值向量t构成的哈希映射函数y=sign(Px+t)，将x映射为128位字符型数据y；在不考虑投影矩阵P及阈值向量t的存储空间时，每个影像控制点的存储空间由SIFT特征向量描述下的532 Byte(在表 1给出不含局部影像的524 Byte的基础上，增加用于表示像点坐标子像素精度偏移的8 Byte)降低为28 Byte(由于没有局部影像，同时不需要记录影像中心点的偏移坐标，只需要记录16 Byte的哈希映射向量和12 Byte的地理坐标，共28 Byte)，数据量压缩约19倍。

　　将Worldview影像上提取的控制点与同地区的Google正射卫星影像进行哈希映射向量匹配，并进行RANSAC误匹配剔除等操作，得到3458对匹配点(匹配点数较多，为了确保显示效果，本文只给出了部分匹配区域的匹配结果)，结果如图 6和图 7所示。由图 6可知，影像控制点匹配结果无误差，分布相对均匀，能够满足应用要求。图 7为SIFT匹配结果与哈希映射向量匹配结果的匹配距离色彩映射图，本文选取了前124对点进行了匹配距离绘制，结果表明SIFT特征向量匹配与哈希映射向量匹配的匹配距离最小值均发生在距离色彩映射图的对角线区域，且哈希距离值较低，轻量化控制点匹配效果较为理想。

　　为了进一步验证哈希映射向量的匹配性能，将利用资源三号卫星影像上提取的控制点与同地区的天绘一号卫星影像进行哈希映射向量匹配，并进行RANSAC误匹配剔除等操作，得到317对匹配点(本文同样只给出了部分匹配区域的匹配结果，以确保显示效果)，结果如图 8和图 9所示。由图 8和图 9可知，影像控制点匹配结果理想，SIFT特征向量匹配与哈希映射向量匹配的匹配距离最小值均发生在距离色彩映射图的对角线区域，且哈希距离值较低。试验结果表明，本文设计的影像控制点深度轻量化处理流程及其匹配性能可以实现智能遥感卫星在轨匹配应用。

　　智能遥感卫星系统可实现端到端的遥感卫星测绘应用，其数据接收对象可能不再是遥感数据接收中心或者遥感数据服务厂商，而大部分将是不熟悉卫星影像数据测绘处理的“非专业”用户，这些用户更希望直接从卫星上获取影像产品，或者通过客户端软件直接生成影像产品。带平面坐标的纠正影像产品可用于面积估算、水平距离量测、水平方位估计等遥感应用，由于纠正影像产品制作需要控制信息支持(控制信息一般不提供给用户)，相关处理工作无法在“非专业”用户客户端软件上完成，需要智能遥感卫星系统在星上直接处理实现。

　　选用Worldview影像和资源三号立体影像(前视和后视)，进行深度轻量化影像控制点立体匹配，结果如图 10所示。由图 10可知，图 10(a)与10(b)的匹配映射关系保持一致，图 10(c)与图 10(d)中的资源三号前视和后视影像匹配映射基本保持平行，映射角度(计算同名像点“纵坐标差值”与“影像宽度减去前视影像横坐标，再加上后视影像横坐标”的比值，并将比值转换为直线°范围之内，这表明轻量化影像控制点在立体影像中同样可以准确匹配，可用于立体测绘卫星的在轨匹配处理。

　　根据Worldview和资源三号立体前视影像匹配获取的影像控制点，对资源三号卫星前视影像进行基于多项式模型的几何纠正处理(Worldview影像数据带有地理坐标信息，为了便于几何纠正精度分析，本文试验以Worldview影像为基准进行纠正；在星上应用过程中，可以直接采用影像控制点进行纠正，或者相对于正射影像进行纠正处理)，结果如图 11所示。图 11给出了在相同的经纬度格网条件下，Worldview原始影像和资源三号纠正影像结果；试验共采用了842个影像控制点，其中742个点用作纠正处理，100个点用作精度检查，结果见表 6。

　　通过将传统影像控制点的局部影像数据进行特征向量描述符表示与哈希映射处理，影像控制点存储空间得到了极大地压缩，具体压缩情况见表 7。在理想条件下，采用哈希映射模式对影像控制点特征向量描述符进行映射，与传统模式下的影像控制点的储存空间相比，压缩倍率达到329.82；如果星上影像控制点不加载局部影像数据，每个星上影像控制点的存储空间仅为28 Byte，压缩倍率达到35 715.00。由于哈希映射后的二进制字符串满足特征向量匹配要求，且保持有SIFT特征向量同等匹配能力，轻量化处理后的影像控制点能够实现在智能遥感卫星在轨匹配应用。

　　本文对智能遥感卫星系统星上自主处理模式的控制信息应用需求进行了分析，开展了星载轻量化全球影像控制点数据制作方法研究，设计了一种高精度立体卫星影像与公开DEM数据辅助下的全球影像控制点获取方案，给出了该方案的技术流程，分析了该方案的应用性能；针对传统模式影像控制点在轨存储受限和星上匹配应用困难等问题，设计了一种适合于星上存储与匹配应用的影像控制点轻量化表达模式，通过控制点特征描述符提取、哈希映射学习与哈希向量表示，实现影像控制点的深度轻量化处理，在大幅压缩影像控制点的星上存储空间的同时，保持影像控制点的匹配性能。利用多套卫星影像数据进行了影像控制点提取、轻量化处理与匹配性能对比等试验，验证了轻量化影像控制点的匹配有效性，得到了全球影像控制点轻量化处理能力分析结论，可为智能遥感卫星全球控制信息在轨辅助单像高精度对地定位、在轨几何纠正处理等在轨应用提供支持。