本文是一篇博士論文，本文針對深度學習技術在融合任務中存在多源特征的干擾和丟失、單一特征流向、融合方式單一等問題，分別從分支特征保真方案，分支特征之間的交互方式以及分支合作機制三個角度開展工作，使多源信息的特征在融合過程中得到保護并產生交互與合作，改善方法的保真性能。

1   緒論

1.1  研究背景及意義

2024年7月，中國共產黨第二十屆三中全會勝利召開，會議審議通過《中共中央關于進一步全面深化改革，推進中國式現代化的決定》[1]。會議文件強調，政府和相關單位要優化土地管理，健全同宏觀政策和區域發展高效銜接的土地管理制度，優先保障主導產業、重大項目合理用地，使優勢地區有更大發展空間。決定文件的相關內容條款與國土資源管理方法息息相關，同時也對國土資源管理研判使用的數據和觀測技術提出更高的要求。遙感技術作為國土資源監測的重要手段和關鍵的數據來源之一，已經在國土資源管理的眾多政府部門和單位得到應用和推廣。早在2020年3月，中華人民共和國國土資源部協光明網發布《放權不放松! 自然資源部建立衛星遙感監測體系嚴控用地審批》[2]一文。根據文章顯示，自然資源部已經初步建立衛星遙感監測體系，通過數顆人造衛星遙感觀測土地的覆蓋和變化情況，用于監測和評估各省 (區、市) 開展的土地管理水平。2024年7月31日，國家林業和草原局發布《陸地生態系統碳監測衛星開啟林草遙感監測新篇章》[3]，文章反映使用的監測衛星配合遙感技術在生態環境、自然資源、氣象、農業農村、應急管理等5個主要用戶技術單位發揮了重要作用，為實現“碳達峰、碳中和”目標和應對全球氣候變化提供重要的數據支撐。通過上述文件可以看出，遙感技術作為重要的觀測手段，為國土資源管理等領域的實際應用在數據層面提供判別和分析依據，得到使用者充分的肯定和進一步發展的需求。

遙感 (Remote Sensing，RS) 指非接觸，遠距離的探測技術[4]。這項技術多應用在較觀測表面遠距離的探測器，如衛星、航拍氣球和無人機等。探測器通過傳感器對觀測物體發出特定波譜的輻射、反射特性進行探測。在傳感器中，多光譜 (Multispectral，MS) 傳感鏡頭由于覆蓋常見的可見光，且能分辨特定的光譜波段，拍攝內容直觀且易于理解，被廣泛應用于遙感觀測衛星[5]。然而，受到物理性能和目前科技條件的制約，MS傳感器的拍攝圖像在空間分辨率表現不佳。為彌補這一缺陷，衛星通常攜帶全色 (Panchromatic，PAN) 傳感器拍攝記錄具有更高空間分辨率的圖像[6]。由于PAN圖像的光譜信息單一，MS圖像的空間分辨率較差，使用者需要同時參照兩幅圖像才能在土地資源管理等實際應用環節做出精確的決策[7]。同時，由于PAN圖像和MS圖像在尺度和分辨率均不一致，同一目標的空間和光譜特征很難被人工對應，容易在視覺上發生錯位和偏移，造成使用者決策的誤判。此外，不同的傳感器圖像需要對應當時的時空位置進行分別存儲，造成數據的冗余堆積[8]，給管理帶來巨大不便。

1.2  國內外研究現狀

從上節內容可以得出，高空間和高光譜分辨率的遙感圖像在應用和數據分析研究都呈現出重要的作用。然而，由于物理性能的制約，HRMS圖像無法被直接獲取。因此，借助于不同傳感器拍攝的遙感圖像并融合得到HRMS圖像，在國內外成為一個熱門的研究話題。

目前關于多源遙感圖像的融合方法有多種分類方式[15]。如根據融合計算方法、數據樣本規模以及融合特征精度等方式進行分類。由于遙感圖像的融合方法類別較多，為更細致的闡述現有的融合方法，本文將多源遙感圖像的不同融合計算方法作為主要劃分依據，對國內外遙感圖像融合現狀和研究方法進行分類并綜述。

首先，本文將遙感圖像融合研究按大類分為基于符號計算的傳統遙感圖像融合方法和基于深度學習的遙感圖像融合方法[16]。其中，基于符號計算的遙感圖像融合方法主要通過歸納和分析等方法獲取遙感圖像融合的領域知識，并依照獲取的知識設置融合計算模型。而基于深度學習的遙感圖像融合方法一般依照遙感圖像融合領域知識建立端到端的融合模型，學習源圖像與期望圖像之間的非線性映射關系。在此小節，本文將綜述每類遙感圖像融合方法研究進展，總結它們的優勢與缺陷，在每個大類下對遙感圖像融合方法進行進一步的細分并詳細描述。

2   基礎知識

2.1  多源遙感圖像融合數據集

2.1.1  多源遙感數據來源

由于空間觀測的重要性和戰略地位，國內外對衛星技術和遙感監測技術高度重視，已有眾多衛星成功發射，并獲取大量豐富的遙感圖像數據。表 2.1 列出目前國際上主要的衛星數據集[93]，詳細展示國際主流衛星的名稱、傳感器參數及光譜波段等相關信息。

2.2  基礎技術

2.2.1  編碼器-解碼器結構

在圖像恢復、分割和重建等視覺領域中，基于深度學習的編解碼結構已成為一種廣泛應用的模型。此類結構通過對特征的編碼和解碼過程來完成特定任務。由于編解碼結構設計簡潔、易于實現，并且在眾多計算機視覺任務中表現出色，已成為常見的深度學習網絡架構。在此類結構中，基礎層作為編解碼的主要單元用于提取和傳遞特征并對這些特征進行后續的重建。在最初的編解碼類模型設計中，基礎層通常由具有不同參數的卷積核構成。然而，隨著深度學習的發展，早期方法暴露出諸如梯度爆炸和梯度消失等問題，影響模型的訓練效果[102]。為提升模型的擬合能力和泛化性能，越來越多新型結構卷積層的設計被引入，并逐漸替代傳統的結構方案。這些新設計通過改進模型的表征能力，使得深度學習模型在復雜的視覺任務中能夠表現得更加穩定和高效。

在該領域的研究中，U型網絡 (U-shaped Network, U-Net) 已成為廣泛使用的基準網絡[103]。它通過上下采樣的方式，將特征分解為高級語義特征和低級紋理特征，并在解碼階段通過跳躍連接對應尺度的特征進行有效補充。這種跳躍連接機制有效增強了特征信息的傳遞，顯著減少由于網絡深度增加而可能導致的信息損失問題。

在后續的研究中，U-Net 的基礎層設計也不斷得到改進。例如，研究人員引入殘差塊、多層 CNN 結構以及 Transformer 等新興架構來替代傳統的特征提取層[104]。這些改進不僅增強了模型的特征提取能力，還進一步提升網絡在復雜任務中的表現，使網絡在計算機視覺任務中取得更優異的結果。

在本文中，編解碼結構將作為網絡的基礎設計思路，用于實現對不同源特征的編碼和解碼。此外，本文通過分析多源特征之間的一致和差異關系，設計一種多分支的多端編解碼結構，以實現不同的分支任務共同合作恢復HRMS圖像，使多源信息在特征融合和恢復過程中能夠相互補充和合作，改善融合結果在空間和光譜信息的保真度。

3 基于掩碼保真策略的多分支遙感圖像融合模型 .......................... 29

3.1  引言 .............................................. 29

3.2  模型設計 ............................. 30

4 基于分支特征交互的遙感圖像融合模型 ......................... 52

4.1  引言 ............................ 52

4.2  模型設計 .......................... 53

5 基于分支引導與合作的遙感圖像擴散融合模型 ........................ 72

5.1  引言 .......................................... 72

5.2  模型設計 ................................... 73 

6   本文提出方法之間的對比

6.1  本文提出方法之間的關系

本研究面向遙感圖像融合任務，環繞如何利用多分支結構提升融合結果光譜和空間信息的高保真度這一研究內容進行展開。本文從分支特征保護方案，分支特征的交互設計以及分支間的合作策略三個角度，分別提出三個方法。本文提出的三個方法之間存在一定的互補性和遞進性。第一個工作，即基于掩碼保真策略的多分支遙感圖像融合模型提出分支特征保護策略和分支驗證方式，啟發后續工作的多分支結構設計思路。隨后，第二個工作改善了多級分支特征間的交互方式，為第三個工作在分支的合作融合保真方案提供理論支持。第三個工作將前兩個工作的核心思想進行改善并吸收到多分支網絡中，實現分支信息的合作與引導。三個工作的具體關系如圖6.1所示。

7  總結與展望

7.1  論文總結

MS遙感圖像憑借優秀的光譜分辨能力，被廣泛應用于土地分類、農田監測、道路分析等國土資源管理領域。多源遙感圖像融合使融合結果兼具高空間和光譜分辨率，具備較高的管理應用和經濟價值。本文針對深度學習技術在融合任務中存在多源特征的干擾和丟失、單一特征流向、融合方式單一等問題，分別從分支特征保真方案，分支特征之間的交互方式以及分支合作機制三個角度開展工作，使多源信息的特征在融合過程中得到保護并產生交互與合作，改善方法的保真性能。具體的，本文的主要貢獻如下：

(1) 多源信息掩碼保真策略和保真分支結構

盡管深層的深度學習網絡有助于提高模型的擬合性能，但在特征的提取過程中，不同源圖像的空間和光譜信息可能會在融合過程中被丟失或破壞。針對此類問題，第三章工作設計一個掩碼保真策略，用于保護多源特征在融合前后的過程中不被破壞。隨后，基于定義的掩碼保真策略該工作建立了多源信息保真分支，并利用權重共享的方式改善融合輸出結果的保真性能。在三個衛星數據集下的實驗證明多源信息掩碼保真策略和本章多分支融合模型的有效性。

(2) 多源信息的多級特征交互機制

為促進多源信息分解得到的多級特征之間的交互性，并實現分支特征之間在不同感知距離下的信息互補，第四章工作提出一個基于分支特征交互機制的遙感圖像融合模型。該模型利用Transformer作為編碼端提取源圖像的長距離空間和光譜特征，并設計CNN結構作為解碼端改善模型的特征提取細粒度。在網絡中，模型通過構建的多級特征交互機制，補充多源信息之間的特征，融合不同級別分支下特征的語義和邊緣信息。此外，通過分析不同模態圖像之間的轉換關系，該工作構建了通道損失函數實現輸出圖像的驗證。最后，在主觀和客觀實驗上驗證了分支特征交互機制和提出融合模型的有效性。

參考文獻（略）