摘 要

破壞性的自然災(zāi)害如地震、火災(zāi)事故時(shí)有發(fā)生，已經(jīng)成為我國乃至全世界對(duì)人類生命和財(cái)產(chǎn)安全的重要威脅之一。特別是在城市中，自然災(zāi)害導(dǎo)致的危樓中存在大量被困幸存者。應(yīng)用機(jī)器人技術(shù)對(duì)受傷幸存者開展快速且有效地救治、搬移、轉(zhuǎn)運(yùn)具有重要意義。然而已有的面向骨傷傷員搬移任務(wù)的機(jī)器人，更多關(guān)注的是搬移、轉(zhuǎn)運(yùn)的效率，并未著重考慮骨傷幸存者易受到搬移過程二次傷害的問題，無法滿足實(shí)際救援中對(duì)骨傷幸存者安全高效救援的需求。本文受骨傷幸存者人工搬移操作方法的啟發(fā)，提出了仿生輔助搬移機(jī)器人設(shè)計(jì)方法，用于高效再現(xiàn)人工搬運(yùn)對(duì)脊柱的保護(hù)機(jī)制。基于搬移過程中人體支撐機(jī)理分析進(jìn)行仿生研究，以滿足骨傷傷員搬移的任務(wù)作業(yè)能力，提升機(jī)器人感知決策能力，保證操作過程安全性為研究目標(biāo)，開展仿生輔助搬移機(jī)器人系統(tǒng)研究。主要研究工作和相關(guān)結(jié)論如下：1）仿生輔助搬移機(jī)器人設(shè)計(jì)與單元系統(tǒng)測(cè)試。開展基于人工搬運(yùn)原理的仿生輔助搬移機(jī)器人設(shè)計(jì)，基于工作空間分析和結(jié)構(gòu)輕量化設(shè)計(jì)實(shí)現(xiàn)負(fù)載 120kg 的大負(fù)載自重比機(jī)械臂設(shè)計(jì)。基于對(duì)人工搬運(yùn)中脊柱保護(hù)機(jī)制的解析，開發(fā)基于多段式固定的仿人搬移工具。研究不同接觸部位的差異化設(shè)計(jì)，柔性接觸結(jié)構(gòu)、地面自適應(yīng)機(jī)構(gòu)及拓?fù)鋬?yōu)化設(shè)計(jì)等關(guān)鍵技術(shù)。針對(duì)仿人搬移工具的工作空間及夾持力開展性能試驗(yàn)研究，驗(yàn)證了仿人搬移工具對(duì)不同傷員尺寸和姿態(tài)的適應(yīng)性和實(shí)用性。2）仿生輔助搬移機(jī)器人運(yùn)動(dòng)學(xué)及關(guān)鍵參數(shù)標(biāo)定。基于仿生輔助搬移機(jī)器人結(jié)構(gòu)特點(diǎn)的分析，構(gòu)建了機(jī)械臂和移動(dòng)平臺(tái)聯(lián)合的運(yùn)動(dòng)學(xué)模型，提出了逆運(yùn)動(dòng)學(xué)解析解求解方法，并通過仿真分析驗(yàn)證了正、逆運(yùn)動(dòng)學(xué)模型的準(zhǔn)確性。研究基于不同相機(jī)設(shè)置的關(guān)鍵參數(shù)標(biāo)定方法，獲取了機(jī)器人自動(dòng)引導(dǎo)控制中全局視角和局部視角的關(guān)鍵相機(jī)參數(shù)。針對(duì)肢體精準(zhǔn)定位的難題，建立了基于合作目標(biāo)的人體肢體定位成功率的評(píng)價(jià)方法。3）面向搬移操作的傷員體重估計(jì)及尺寸測(cè)量。為提升機(jī)器人進(jìn)行搬移操作的安全性，提出了一種基于單張圖像的人體體重估計(jì)方法。通過研究人體模型重建、人臉模型重建、圖像深度特征提取關(guān)鍵技術(shù)，提出了包括上軀干高度與腹部面積比、臉頰面積占比等的多種虛擬測(cè)量參數(shù)，并驗(yàn)證了測(cè)量參數(shù)的相關(guān)性。提出基于人臉測(cè)量特征、人體測(cè)量特征、深度特征融合回歸的三分支體重估計(jì)網(wǎng)絡(luò)框架，通過在不同數(shù)據(jù)集上進(jìn)行的算法對(duì)比性能試驗(yàn)，實(shí)現(xiàn)了最優(yōu)的預(yù)測(cè)效果。通過大量消融試驗(yàn)，驗(yàn)證算法各個(gè)模塊的有效性，通過數(shù)據(jù)集及實(shí)際試驗(yàn)證明，該算法有效降低了二維圖像到三維空間的模糊性。4）基于深度強(qiáng)化學(xué)習(xí)的機(jī)器人自動(dòng)引導(dǎo)控制研究。為提升傷員救援機(jī)器人操作效率，提出一種基于深度強(qiáng)化學(xué)習(xí)的機(jī)器人自動(dòng)引導(dǎo)控制方法。基于雙視角圖像及預(yù)訓(xùn)練的人體語義特征提取器，建立了面向肢體定位的機(jī)械臂自動(dòng)引導(dǎo)控制框架，通過交叉注意力機(jī)制實(shí)現(xiàn)了不同視角特征的相互推理。面向人體個(gè)性化姿態(tài)和穿著導(dǎo)致的虛實(shí)遷移難題，提出了基于人體模板固定語義的人體重建模型匹配全局圖像的方法，并在不同體重和姿態(tài)下進(jìn)行性能測(cè)試。仿真和實(shí)際環(huán)境的大量試驗(yàn)表明，所提出的方法在人體肢體自動(dòng)引導(dǎo)任務(wù)的成功率顯著高于基于日常物品操作預(yù)訓(xùn)練的現(xiàn)有方法，為提升機(jī)器人操作控制效率提供了新的參考。5）仿生輔助搬移機(jī)器人系統(tǒng)集成設(shè)計(jì)與性能試驗(yàn)。在機(jī)器人結(jié)構(gòu)優(yōu)化、算法開發(fā)的基礎(chǔ)上，集成開發(fā)了仿生輔助搬移機(jī)器人樣機(jī)系統(tǒng)，研究面向?qū)嶋H救援場(chǎng)景的機(jī)器人硬件、軟件設(shè)計(jì)關(guān)鍵技術(shù)。在集成后的樣機(jī)系統(tǒng)上進(jìn)行了最大負(fù)載能力、搬移過程人體安全性的試驗(yàn)測(cè)試。試驗(yàn)結(jié)果驗(yàn)證了機(jī)器人的關(guān)鍵性能指標(biāo)。通過搭建傷員救援任務(wù)模擬環(huán)境，驗(yàn)證了機(jī)器人危樓特殊地形通過性及傷員搬移、傷員轉(zhuǎn)運(yùn)作業(yè)的任務(wù)完成能力。

AbstractDestructive natural disasters such as earthquakes and fires occur frequently, posinga significant threat to human life and property safety in China and around the world.Particularly in urban areas, natural disasters can leave many survivors trapped indangerous buildings. The use of robotic technology for the rapid and effective rescue,transfer, and transportation of injured survivors is crucial. However, existing rescuerobots that focus on bone injury survivors mainly emphasize efficiency in transfer andtransportation without specifically addressing the risk of secondary injuries duringtransport; thus, these robots fail to meet real-world rescue needs for bone injurysurvivors.Inspired by manual handling methods used by rescue personnel for bone injurysurvivors, this paper proposes a bioinspired assistive transfer robot design method toefficiently replicate the spinal protection mechanism of human handling. This research,which is based on an analysis of human body support mechanisms during transfer, aimsto fulfill the operational capabilities for bone injury survivor transfer tasks, enhancerobot perception and decision-making abilities, and ensure safety during operation bydeveloping a bioinspired assistive transfer robot system. The main research work andrelated conclusions are as follows:1) Design and system testing of the bioinspired assistive transfer robot:Implementing a bioinspired assistive transfer robot design on the basis of manualhandling principles, with a focus on workspace analysis and structural lightweightdesign to achieve a high load?to?weight ratio arm capable of carrying up to 120 kg. Onthe basis of an analysis of the spinal protection mechanisms used in manual handling,a multi-segment fixed bioinspired transfer tool has been developed. Research includesdifferentiated designs for different contact parts, flexible contact structures, ground-adaptive mechanisms, and topology optimizations. Performance tests on the workspaceand clamping force of the bioinspired transfer tool have verified its adaptability andpracticality for different sizes and postures of casualties.

目錄

摘要

abstract

第1章 緒論

1.1 研究背景與意義

1.2 傷員救援機(jī)器人研究現(xiàn)狀

1.3 傷員身體三維模型重建的研究現(xiàn)狀

1.4 基于圖像的人體體重估計(jì)研究現(xiàn)狀

1.5 基于深度強(qiáng)化學(xué)習(xí)的機(jī)械臂引導(dǎo)控制研究現(xiàn)狀

1.6 本文研究內(nèi)容和技術(shù)路線

第2章 仿生輔助搬移機(jī)器人設(shè)計(jì)與分析

第3章 仿生輔助搬移機(jī)器人運(yùn)動(dòng)學(xué)建模與參數(shù)標(biāo)定

第4章 面向搬移操作的傷員體重指數(shù)估計(jì)

第5章 基于深度強(qiáng)化學(xué)習(xí)的機(jī)器人自動(dòng)引導(dǎo)控制研究

第6章 仿生輔助搬移機(jī)器人性能試驗(yàn)研究

第7章 總結(jié)與展望

參考文獻(xiàn)

第 1 章 緒論

1.1 研究背景與意義破壞性的自然災(zāi)害如地震、火災(zāi)事故時(shí)有發(fā)生，已經(jīng)成為我國乃至全世界對(duì)人類生命和財(cái)產(chǎn)安全的重要威脅之一。近年來，我國發(fā)生了天津?yàn)I海新區(qū)危險(xiǎn)化學(xué)品爆炸，汶川地震等一系列的國家重大公共安全事件。這對(duì)于應(yīng)急救援中裝備布置的快速性以及處理的高效性提出了迫切要求。在發(fā)生重大災(zāi)難時(shí)，消防和救援服務(wù)的首要任務(wù)是在事故現(xiàn)場(chǎng)尋找幸存者，并在黃金 48 小時(shí)之內(nèi)救治傷員。隨著我國城鎮(zhèn)化水平的提升，發(fā)生重大災(zāi)害（火災(zāi)、地震等）后，城市內(nèi)的災(zāi)害現(xiàn)場(chǎng)大部分是危險(xiǎn)建筑廢墟，狹窄樓內(nèi)通道等惡劣室內(nèi)環(huán)境。危樓廢墟環(huán)境中傷員的高效安全救援一直是救援難題。目前，危樓廢墟內(nèi)的傷員救援相比其他場(chǎng)景存在三個(gè)挑戰(zhàn)：樓內(nèi)空間小導(dǎo)致無法容納大量的救援隊(duì)員和設(shè)備；樓內(nèi)隨時(shí)有坍塌風(fēng)險(xiǎn)，嚴(yán)重威脅救援隊(duì)員安全；樓內(nèi)傷者人員密度大，無法在短時(shí)間內(nèi)完成所有傷員的救援。

危樓救援場(chǎng)景

目前，危樓內(nèi)部傷員救援的方式主要依賴人工和輔助裝備。為解決救援任務(wù)繁重和救援人員嚴(yán)重不足的矛盾問題，眾多研究機(jī)構(gòu)紛紛開展救援機(jī)器人的研究工作。通過救援機(jī)器人來協(xié)助或代替?zhèn)鹘y(tǒng)救援人員的工作，提升救援的效率和安全性。急救醫(yī)學(xué)研究證明，不同傷情的傷員必須采用不同的救援方式，來最大程度地避免人體受到二次傷害。在 2008 年我國汶川地震的傷員傷情分布情況研究中，Jin 等[1]通過統(tǒng)計(jì)學(xué)的方式研究了 1856 名傷員的受傷情況，其中四肢損傷和軀干損傷的傷員占比高達(dá) 85.5%，而軀干損傷中脊柱損傷的傷員占比達(dá)到了 41.2%。Ikuta, Eisuke 等[2]研究分析了 1995 年日本阪神地震震后的醫(yī)院外科救治記錄，結(jié)果顯示傷情中占比最高的前三位分別是創(chuàng)傷性窒息、脊髓損傷和復(fù)合擠壓傷。Min[3]統(tǒng)計(jì)了華西醫(yī)院在 2010 年我國玉樹地震后的接診傷員病例，其中脊柱損傷傷員數(shù)量僅次于上肢骨折和下肢骨折傷員數(shù)量，占比排在第三位。陳長坤等[4]統(tǒng)計(jì)了巴基斯坦、海地、尼泊爾等幾次重大地震后的致傷原因、受傷部位及受傷類型，統(tǒng)計(jì)結(jié)果顯示前三位的受傷類型為四肢骨折占比為 52.6%，全身軟組織損傷占比 21.5%，脊柱骨折占比 5.4%，可見上、下肢損傷和脊柱損傷是占比最高的三類傷情，對(duì)于無行動(dòng)能力傷員，需要救援人員對(duì)受傷部位處理、固定后再進(jìn)行搬移、轉(zhuǎn)運(yùn)，其中救援難度最大是脊柱損傷傷員。有統(tǒng)計(jì)顯示，約 20%的脊柱損傷傷員在入院前死亡，高達(dá) 25%的脊柱損傷在搬移和運(yùn)輸中由于操作不當(dāng)受到了二次傷害導(dǎo)致病情加重，其中多數(shù)幸存?zhèn)麊T往往需要接受多次甚至終身治療，對(duì)傷員的后續(xù)生活和社會(huì)都造成了巨大的負(fù)擔(dān)。

1.2 傷員救援機(jī)器人研究現(xiàn)狀國外早在上世紀(jì)就提出了救援機(jī)器人的概念，通過部署不同類型的移動(dòng)機(jī)器人可以幫助救援人員更快地定位傷員，已經(jīng)有很多救援機(jī)器人研究成果應(yīng)用到了真實(shí)救災(zāi)場(chǎng)景中。2001 年世界貿(mào)易中心襲擊后，移動(dòng)機(jī)器人 PackBot 參與了救援任務(wù)[5]。2004 年日本東京工業(yè)大學(xué)研制的 Souryu 機(jī)器人參與了日本新宿地震救援[6]。我國救援機(jī)器人研究起步較晚，中國科學(xué)院沈陽自動(dòng)化研究所研制的機(jī)器人 AMOEBA[7]在四川蘆山地震災(zāi)后救援中執(zhí)行了生命探測(cè)和搜救任務(wù)。目前已經(jīng)應(yīng)用的機(jī)器人，功能上更側(cè)重于生命探測(cè)或信息采集，無法完成傷員搬移、轉(zhuǎn)運(yùn)。從技術(shù)路線上劃分，已有研究中能夠完成傷員轉(zhuǎn)移和搬運(yùn)的機(jī)器人可以分為雙臂型救援機(jī)器人和復(fù)合型救援機(jī)器人兩類。

生命探測(cè)和搜救機(jī)器人

1.2.1 雙臂型救援機(jī)器人研究現(xiàn)狀雙臂型機(jī)器人的研究最早可追溯到 1959 年，美國 Sandia 實(shí)驗(yàn)室開發(fā)了雙臂型機(jī)器人用于操作深海中的放射性物質(zhì)[8]。在此之后越來越多的研究機(jī)構(gòu)和企業(yè)開始進(jìn)行雙臂型機(jī)器人的研究。在工業(yè)領(lǐng)域中雙臂型機(jī)器人得到了很多應(yīng)用，美國 Rethink Robotics 公司生產(chǎn)的 Baxter 機(jī)器人[9]可完成物品抓取、拆解包裝等操作。瑞士 ABB 公司研制的 Yumi 機(jī)器人能夠完成精密零件的裝配，并配有安全保護(hù)機(jī)制。德國航空航天中心（DLR）研制的 Rollin Justin 機(jī)器人[10]，可用于協(xié)助宇航員太空作業(yè)，能夠完成復(fù)雜的雙臂協(xié)作任務(wù)。我國新松公司研制的 Duco機(jī)器人，通過協(xié)作型雙臂能夠完成裝配和調(diào)酒等操作。工業(yè)領(lǐng)域應(yīng)用的雙臂機(jī)器人雖然能夠?qū)崿F(xiàn)高精度的雙臂操作，但因其負(fù)載能力和人機(jī)交互性的限制無法應(yīng)用于醫(yī)療看護(hù)、戰(zhàn)場(chǎng)救治等場(chǎng)景中。面向人機(jī)安全操作的雙臂型機(jī)器人可追溯到 2006 年日本仿生研究中心發(fā)布的 RI-MAN 機(jī)器人[11]，應(yīng)用了雙臂抱運(yùn)人體的概念，能夠執(zhí)行醫(yī)療護(hù)理工作，但其負(fù)載能力只有 18kg。日本早稻田大學(xué)在 2007 年研制的 TWENDY-ONE 機(jī)器人[12]可輔助人完成一些日常負(fù)重操作任務(wù)。美國軍方于 2008 年公布了一款 Bear（Battlefield Extraction-Assist Robot）戰(zhàn)場(chǎng)救援機(jī)器人[13]，該機(jī)器人采用仿人形上肢設(shè)計(jì)，雙臂為液壓伸縮驅(qū)動(dòng)，雙臂最大負(fù)載可以達(dá)到 240kg，在行走機(jī)構(gòu)上采用履-腿復(fù)合式設(shè)計(jì)，能夠適應(yīng)不同路況環(huán)境。日本理化研究所于 2015 年開發(fā)了一款 RoNA 機(jī)器人及相同原理的 RIBA 機(jī)器人[14]，該機(jī)器人與 Bear 機(jī)器人結(jié)構(gòu)形式類似，同樣采用仿人雙臂設(shè)計(jì)，能在醫(yī)院內(nèi)輔助護(hù)士完成病人移送操作，在行走機(jī)構(gòu)設(shè)計(jì)上采用麥克納姆輪的全向移動(dòng)方式，更適應(yīng)室內(nèi)環(huán)境應(yīng)用。相比 Bear 機(jī)器人，RoNA 機(jī)器人在與人接觸的部位增加了柔性材料，并通過增加力傳感器提升舒適性，負(fù)載能力為 63kg。韓國國立首爾大學(xué)于 2019 年開發(fā)了一款 HURCULES 機(jī)器人[15]，該機(jī)器人采用電機(jī)驅(qū)動(dòng)的多關(guān)節(jié)機(jī)械雙臂實(shí)現(xiàn)人體的抱運(yùn)操作，行走機(jī)構(gòu)的設(shè)計(jì)采用和 Bear 機(jī)器人相似的履-腿復(fù)合結(jié)構(gòu)。相比 RoNA 機(jī)器人和 Bear 機(jī)器人，該機(jī)器人設(shè)計(jì)了傷我國在仿人形雙臂機(jī)器人的研究多集中于精細(xì)操作型雙臂機(jī)器人，大負(fù)載的傷員搬移雙臂機(jī)器人研究較少，其中典型的研究包括香港中文大學(xué) 2017 年開發(fā)的 RescueRot 救援機(jī)器人[16]，雙臂各具備 4 個(gè)自由度，采用了最大負(fù)載 250kg 的履-腿復(fù)合式移動(dòng)平臺(tái)，操作人員可以通過穿戴設(shè)備進(jìn)行雙臂控制，最大負(fù)載設(shè)計(jì)為 85kg。中國科學(xué)院沈陽自動(dòng)化研究所于 2019 年開發(fā)的雙臂型救援機(jī)器人[17]在形式上與 RescueRot 類似，同樣采用了履-腿復(fù)合式移動(dòng)平臺(tái)設(shè)計(jì)，機(jī)器人雙臂各有 6 個(gè)自由度，在執(zhí)行救援任務(wù)的操作上相比 RescueRot 更加靈活，雙臂都采用多關(guān)節(jié)電機(jī)驅(qū)動(dòng)，雙臂最大負(fù)載可達(dá) 75kg，對(duì)于傷員搬移同樣采用了雙臂搬抱的方式，為了提升雙臂執(zhí)行傷員搬運(yùn)任務(wù)時(shí)傷員的舒適性和安全性，機(jī)械臂各個(gè)關(guān)節(jié)與人接觸的部分都采用了柔性材料。目前已有的仿人雙臂機(jī)器人已經(jīng)能夠完成人體的抱起、轉(zhuǎn)移等操作，其工作過程都是通過模仿人工抱運(yùn)的方式，首先將雙臂伸入傷員的背部和腿部下，之后通過調(diào)整機(jī)器人腰部關(guān)節(jié)的角度實(shí)現(xiàn)雙臂的同時(shí)抬起，最后調(diào)整雙臂關(guān)節(jié)位置完成傷員的抱起。對(duì)于有脊柱骨傷的傷員，雙臂型機(jī)器人從單側(cè)伸入人體下并抬起的搬移方式，勢(shì)必會(huì)導(dǎo)致搬移過程中人體脊柱角度的大幅度變化，同時(shí)缺乏對(duì)頸椎和肢體的固定，容易引發(fā)傷員的二次傷害，難以實(shí)際應(yīng)用到骨傷傷員的救援中。

協(xié)作型雙臂機(jī)器人

1.2.2 復(fù)合型救援機(jī)器人研究現(xiàn)狀復(fù)合型救援機(jī)器人與雙臂型機(jī)器人在搬移人體的技術(shù)實(shí)現(xiàn)路線上有本質(zhì)的不同，其主要區(qū)別在于復(fù)合型救援機(jī)器人通常不采用搬抱人體的方式，而是采用拖拽人體或整體夾持人體方式來實(shí)現(xiàn)人體位置的轉(zhuǎn)移。復(fù)合型救援機(jī)器人采用拖拽人體的方式可以降低機(jī)構(gòu)的負(fù)載設(shè)計(jì)要求，2007年美國陸軍研制的 REV 傷員后送機(jī)器人[18]可以將傷員進(jìn)行收納，快速轉(zhuǎn)移至安全區(qū)，但傷員從地面到升降擔(dān)架的搬移需人工或 REX 機(jī)器人拖拽完成。日本消防廳研制的 RoboCue 機(jī)器人[19]采用輸送帶和雙臂復(fù)合的方式來搬移人體，通過夾持傷員衣服將其平緩放置在自動(dòng)輸送帶上，后通過輸送帶回收完成傷員搬移操作。2018 年美國專利也公布了相似原理的 SAVER 機(jī)器人[20]方案，雙臂調(diào)整傷員姿態(tài)后，通過肩部固定裝置進(jìn)行傷員的拖拽。英國帝國理工大學(xué) 2021 年開始研發(fā) ResQbot 系列機(jī)器人[21]，該機(jī)器人的傷員轉(zhuǎn)移機(jī)構(gòu)設(shè)計(jì)在輪式移動(dòng)平臺(tái)上，主要用于室內(nèi)環(huán)境的救援任務(wù)，第二代新增設(shè)計(jì)了充氣型結(jié)構(gòu)來固定傷員頭頸部和肩部，之后結(jié)合傳送帶傾斜的方式將傷員搬移到機(jī)器人上，與 RoboCue 機(jī)器人相比，該機(jī)器人雖然結(jié)構(gòu)簡單，但對(duì)被操作傷員的初始姿勢(shì)有很嚴(yán)格的限制。具有類似原理的機(jī)器人還包括日本研制的 Stretcher 系統(tǒng)[22]，采用兩段傳送帶的方式將人體轉(zhuǎn)移到機(jī)器人上，操作過程需要人工輔助。2022 年奧地利研制的 RTE機(jī)器人[23]通過機(jī)械臂將繩索固定在人體上后，再通過拉動(dòng)繩索將人體拖拽到機(jī)器人上。拖拽人體方式雖然降低了機(jī)器人驅(qū)動(dòng)的復(fù)雜度，但拖拽過程無法保證人體脊柱保持中立位，并不適用于骨傷傷員的轉(zhuǎn)移。我國在復(fù)合型救援機(jī)器人的研究起步較晚，多是針對(duì)野外開闊場(chǎng)景的傷員救援，主要目標(biāo)是解決非骨傷傷員的拾取和轉(zhuǎn)運(yùn)問題。有代表性的研究成果有中國科學(xué)院沈陽自動(dòng)化研究所 2021 年研制的傷員拾取機(jī)器人，通過機(jī)械臂夾持傷員衣服的方式將傷員抬至擔(dān)架上，之后將擔(dān)架抬起回收至機(jī)器人艙內(nèi)，完成傷員的搬移和轉(zhuǎn)運(yùn)。同年燕山大學(xué)研制了一種多臂協(xié)作式救援機(jī)器人[24]，通過多臂環(huán)抱的方式支撐傷員身體并將人體抬起，多臂同時(shí)支撐的方式分擔(dān)了人體整體重量，緩解了人體局部部位的應(yīng)力集中，多臂系統(tǒng)采用了相同的模塊化設(shè)計(jì)，并沒有考慮人體各個(gè)部位尺寸的差別，無法進(jìn)行人體頭頸和肢體的固定，同時(shí)多臂系統(tǒng)安裝在機(jī)器人內(nèi)部，導(dǎo)致機(jī)器人的寬度很大，只能適用于野外開闊的場(chǎng)景中。綜上所述，已有機(jī)器人系統(tǒng)和結(jié)構(gòu)形式雖然都無法適應(yīng)危樓內(nèi)部骨傷傷員的救援要求，但為后續(xù)骨傷傷員救援機(jī)器人設(shè)計(jì)提供了新的思路。

1.3 傷員身體三維模型重建的研究現(xiàn)狀傷員救援機(jī)器人在進(jìn)行人體操作前需要以人體信息作為輸入條件，來保證傷員的安全，其中傷員身體的三維重建模型是最重要的數(shù)據(jù)之一。從視覺中重建人體模型一直是計(jì)算機(jī)視覺研究的熱點(diǎn)之一，在過去的二十年中，從 RGB 圖像中預(yù)測(cè)人體關(guān)鍵點(diǎn)、輪廓、語義分割信息已經(jīng)取得了很多優(yōu)秀的成果。但一方面現(xiàn)實(shí)環(huán)境中人體復(fù)雜的姿態(tài)很難用 2D 信息或稀疏 3D 關(guān)節(jié)表示清楚，需要更精細(xì)的描述；另一方面人體是通過皮膚而非關(guān)節(jié)與現(xiàn)實(shí)交互，因此對(duì)于人體肢體、姿勢(shì)的重建是非常重要的。

1.3.1 基于數(shù)據(jù)累計(jì)方法的研究現(xiàn)狀人體三維重建最直觀的方法是通過 3D 掃描設(shè)備對(duì)人體表面進(jìn)行掃描，微軟和谷歌都曾采用多視角的深度相機(jī)和紅外相機(jī)進(jìn)行高質(zhì)量的人體深度信息預(yù)測(cè)，通過空間點(diǎn)云的拼接進(jìn)行人體的幾何重建。雖然多視角相機(jī)重建方法得到了最高質(zhì)量的模型，但搭建成本高、重建耗時(shí)長、流程復(fù)雜，限制了其應(yīng)用的領(lǐng)域。隨著消費(fèi)級(jí)深度傳感器如 Kinect、ZED 相機(jī)的研發(fā)，越來越多的研究開始專注于通過深度相機(jī)來重建場(chǎng)景的三維幾何。DynamicFusion[25]是具有代表性的算法之一，其借鑒了 KinectFusion[26]中多個(gè)深度圖融合的方法，通過輸入單個(gè)深度相機(jī)的深度信息，結(jié)合非剛性變形表示來處理動(dòng)態(tài)物體重建的問題。為解決動(dòng)態(tài)人體模型非剛性配準(zhǔn)不確定性的問題，有研究開始在模型中增加人體先驗(yàn)信息來應(yīng)對(duì)復(fù)雜人體姿態(tài)，BodyFusion[27]算法使用了預(yù)先定義的人體模板作為初始模型，結(jié)合人體關(guān)節(jié)約束了網(wǎng)格非剛性變形。DoubleFusion[28]算法使用了雙層模型結(jié)構(gòu)來處理人體形狀和局部細(xì)節(jié)，結(jié)合基于體素和表面模型的非剛性配準(zhǔn)方法，提升了動(dòng)態(tài)人體的重建精度。Fusion4D[29]、UnstructuredFusion[30]則是通過使用多個(gè)消費(fèi)級(jí)深度相機(jī)掃描人體的方式來消除使用單臺(tái)設(shè)備時(shí)存在的盲區(qū)，并得到了高質(zhì)量的人體重建模型。目前基于數(shù)據(jù)累計(jì)的方法已經(jīng)能夠重建高質(zhì)量的人體模型，但也導(dǎo)致其模型頂點(diǎn)數(shù)目非常多，實(shí)時(shí)性差。使用人體模板來約束網(wǎng)格變形可以顯著提升計(jì)算速度，但由于自掃描約束的限制，重建質(zhì)量非常依賴一個(gè)準(zhǔn)確的初始模型。在危樓內(nèi)傷員救援場(chǎng)景中，機(jī)器人計(jì)算資源有限且無法提供傷員高質(zhì)量的初始模型，導(dǎo)致基于數(shù)據(jù)累計(jì)的方法很難到達(dá)預(yù)期的重建效果。

1.3.2 基于人體模板方法的研究現(xiàn)狀早期的人體模板采用的是基于幾何圖元拼接的方法，Marr 等[31]采用圓柱體拼接表示人體，Pentland 等[32]建立了物理約束模型來跟蹤人體跳躍動(dòng)作，此外還有采用橢球、變形球等方法來表示人體，但都不具備逼真的人體網(wǎng)格。隨著 3D掃描技術(shù)的發(fā)展，更多的研究開始關(guān)注人體統(tǒng)計(jì)模型的建立，將 3D 掃描得到的密集點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為可動(dòng)畫的 3D 人體網(wǎng)格，其中 SCAPE[33]和 SMPL(SkinnedMulti-Person Linear Model)[34]是兩個(gè)最具代表性的模型，SCAPE 和 SMPL 都是可變形的人體模型，都采用形狀參數(shù)和姿態(tài)參數(shù)，SCAPE 中的形狀參數(shù)表示了不同人體之間的身材差異，姿態(tài)參數(shù)表示同一個(gè)人體在不同姿態(tài)下的變化，通過稀疏控制點(diǎn)來表示人體的三維形狀。SMPL 是基于 SCAPE 的一種改進(jìn)模型，通過基于頂點(diǎn)的線性模型描述人體，模型中將人體形狀表示為 10 維的參數(shù)向量，將人體姿態(tài)表示為 72 維的關(guān)節(jié)向量，相對(duì) SCAPE 模型計(jì)算效率更高，更適合實(shí)時(shí)渲染和交互應(yīng)用。隨著對(duì)于 SMPL 模型研究的深入，Romero 等[35]建立了包含雙手的 SMPL-H 模型，Pavlakos 等[36]建立了包含 FLAME 頭部模型[37]和 MANO 手部模型[35]的 SMPL-X 整體模型。得益于 SMPL 開源社區(qū)的不斷發(fā)展，越來越多基于預(yù)定義人體模板的算法被提出并取得了很好的效果。本節(jié)總結(jié)的方法都是針對(duì)衣服下人體的形狀和姿勢(shì)估計(jì)，并不考慮衣服和頭發(fā)的重建。從方法上可以將這些研究分為兩類：基于優(yōu)化的方法和基于回歸的方法。基于優(yōu)化的方法將參數(shù)化的人體模型擬合到 2D 圖像上，基于回歸的方法是利用深度神經(jīng)網(wǎng)絡(luò)直接從 2D 圖像的像素中回歸得到模型參數(shù)。基于優(yōu)化的方法主要通過目標(biāo)函數(shù)來估計(jì)得到與 2D 圖像一致的模型，目標(biāo)函數(shù)通常包括數(shù)據(jù)項(xiàng)和正則化項(xiàng)，數(shù)據(jù)項(xiàng)用于約束 2D 圖像中人體與網(wǎng)格模型的重投影誤差，而引入正則化項(xiàng)是為了得到更合理化的人體關(guān)節(jié)角度。在早期的工作中，需要手動(dòng)提供關(guān)鍵點(diǎn)用于得到初始的 3D 關(guān)節(jié)人體姿勢(shì)和形狀[38]。隨著OpenPose[39]等 2D 關(guān)鍵點(diǎn)檢測(cè)算法的進(jìn)步，Bogo 等[40]提出了基于 SMPL 模板的SMPLify 方法，首次通過迭代將 SMPL 模型擬合到檢測(cè)到的 2D 關(guān)鍵點(diǎn)，應(yīng)用最小化能量函數(shù)的方法進(jìn)行優(yōu)化，包括數(shù)據(jù)項(xiàng)中懲罰 2D 關(guān)節(jié)關(guān)鍵點(diǎn)和 SMPL 關(guān)節(jié)之間的距離，通過姿勢(shì)先驗(yàn)來避免模型中不合理的關(guān)節(jié)角度，形狀先驗(yàn)來避免生成極端的人體體型，碰撞懲罰避免模型中肢體的穿插。不同于 SMPLify 只采用了 2D 關(guān)鍵點(diǎn)，Lassner 等[41]提出的方法結(jié)合了人體語義分割、關(guān)鍵點(diǎn)、輪廓進(jìn)行了多線索的分析，HoloPose[42]通過訓(xùn)練包括 2D、3D 關(guān)鍵點(diǎn)和 DensePose[43]估計(jì)的多任務(wù)網(wǎng)絡(luò)來促進(jìn)模型和圖像對(duì)齊。還有研究如 HybrIK[44]引入了人體關(guān)節(jié)運(yùn)動(dòng)的逆運(yùn)動(dòng)學(xué)，設(shè)計(jì)了自適應(yīng)逆運(yùn)動(dòng)學(xué)算法來估計(jì)更合理的關(guān)節(jié)角度。Li 等[45]提出將正逆運(yùn)動(dòng)學(xué)過程結(jié)合，通過可逆神經(jīng)網(wǎng)絡(luò)來顯式解耦有部分遮擋的人體姿態(tài)。基于回歸的方法使用深度學(xué)習(xí)來直接處理圖像像素，在網(wǎng)絡(luò)架構(gòu)上都包含了編碼器和解碼器。編碼器用于提取輸入圖像的特征，解碼器將圖像特征作為輸入并輸出回歸的結(jié)果，目前的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)上可分為三種框架，單一階段框架從RGB 圖像中直接預(yù)測(cè)人體姿態(tài)和形狀，不產(chǎn)生中間特征。多步階段框架將預(yù)測(cè)分為一系列子任務(wù)，通過中間特征來重建人體模型。多分支框架通常將人體的姿態(tài)和形狀放在不同的分支中進(jìn)行解算。單一階段框架中編碼器通常會(huì)采用成熟的ResNet[46]、HRNet[47]等作為特征提取的主干網(wǎng)絡(luò)，解碼器方面，HMR(Human MeshRecovery)[48]采用了迭代誤差反饋的方法，但重復(fù)使用全局特征，會(huì)導(dǎo)致重建模型的錯(cuò)位。PyMAF[49]在重建過程中通過將網(wǎng)格與空間特征對(duì)齊的方式來反饋調(diào)節(jié)每 個(gè) 循 環(huán) 中 的 模 型 參 數(shù) 。 HMR2.0[50] 使 用 了 ViT[51] 作 為 編 碼 器 和 標(biāo) 準(zhǔn) 的Transformer 解碼器，通過多頭注意力進(jìn)行預(yù)測(cè)，取得很好的效果。多步階段框架在回歸過程中引入了中間特征來指導(dǎo)后續(xù)重建過程，如 Pose2Mesh[52]通過 2D 關(guān)節(jié)估計(jì) 3D 關(guān)節(jié)，之后通過中間 3D 網(wǎng)格來估計(jì) 3D 網(wǎng)格的頂點(diǎn)，其他方法還引入了輪廓、人體語義分割、光流等。多分支框架中有代表性的工作有 Pavlakos 等[53]設(shè)計(jì)了一個(gè)雙分支的網(wǎng)絡(luò)結(jié)構(gòu)，一個(gè)分支以 2D 熱圖作為輸入得到姿態(tài)參數(shù)，一個(gè)分支以掩碼輪廓作為輸入得到形狀參數(shù)，并優(yōu)化網(wǎng)格投影和 2D 注釋的一致性。PARE[54]同樣采用了雙分支的架構(gòu)，其中 2D 部分分支用于估計(jì)注意力權(quán)重，3D 身體分支用于回歸模型參數(shù)，提升了有遮擋人體重建的魯棒性。目前基于回歸的方法更多地關(guān)注人體姿態(tài)的準(zhǔn)確性，而忽略了人體形狀的準(zhǔn)確性，重建的效果都接近平均尺寸模型。在傷員救援場(chǎng)景下的應(yīng)用更需要關(guān)注人體形狀，為機(jī)器人的操作提供依據(jù)。為了預(yù)測(cè)更準(zhǔn)確的人體體型，Sengupta 等[55]通過建立合成數(shù)據(jù)集，增加了很多運(yùn)動(dòng)員的極端體型。SHAPY[56]通過語言描述體型的特點(diǎn)和人體測(cè)量信息來改進(jìn)人體的體型估計(jì)結(jié)果。Ma 等[57]模仿物理標(biāo)記點(diǎn)的原理提出虛擬標(biāo)記點(diǎn)作為中間表示的方法，在公共數(shù)據(jù)集上表現(xiàn)出了更好的形狀預(yù)測(cè)效果。

國外仿人形雙臂機(jī)器人

1.4 基于圖像的人體體重估計(jì)研究現(xiàn)狀

1.4.1 基于人臉數(shù)據(jù)的體重預(yù)測(cè)方法Coetzee 等[58]收集了 84 張男性，女性的臉部照片，通過對(duì)面部圖像評(píng)分的方式發(fā)現(xiàn)臉部的肥胖率和 BMI（Body Mass Index）有關(guān)，之后通過比較三種面部測(cè)量特征，證明了三種特征與 BMI 的顯著相關(guān)性。Tinlin[59]的研究表明年輕女性的臉部尺寸比身體尺寸對(duì)肥胖的影響更大。Stephen[60]將幾何測(cè)量方法用于面部形狀測(cè)量，提出了預(yù)測(cè)體重指數(shù)，體脂百分比的模型。為了確定面部尺寸和內(nèi)臟肥胖之間的關(guān)系，Lee [61]通過對(duì) 15 個(gè)人臉特征的不同組合，評(píng)估了不同組合的預(yù)測(cè)能力。Wen 等[62]通過提取人臉中的關(guān)鍵點(diǎn)，提出了基于人臉七個(gè)特征值回歸預(yù)測(cè)的方法，在 Morph 2[63]數(shù)據(jù)集上利用支持向量回歸得到了優(yōu)秀的 BMI 預(yù)測(cè)結(jié)果。Kocabey[64]提出了 VGG-Face 特征，并結(jié)合支持向量回歸[65]的方法進(jìn)行了 BMI預(yù)測(cè)。Jiang 等[66]在 Morph 2 和 FIW-BMI 數(shù)據(jù)集上對(duì)比了人臉幾何特征和不同深度網(wǎng)絡(luò)對(duì)結(jié)果的影響，證實(shí)了深度學(xué)習(xí)模型對(duì)比幾何模型的優(yōu)勢(shì)。Siddiqui 等[67]分析了面部 BMI 預(yù)測(cè)方法在四個(gè)種族、性別中的偏差及不同預(yù)測(cè)網(wǎng)絡(luò)之間的差異。Pascali[68]通過深度掃描來重建 3D 人臉，并提出通過重建模型幾何特征來預(yù)測(cè)體重的框架，然而以上研究都是基于正面拍攝的人臉圖像實(shí)現(xiàn)的，而較大的頭部姿勢(shì)變化會(huì)降低以上方法對(duì) BMI 估計(jì)的性能。此外，面部特征只提供了臉部的信息，忽略了個(gè)性化的人體尺寸特征，這也導(dǎo)致了估計(jì)結(jié)果的不準(zhǔn)確。

1.4.2 基于人體數(shù)據(jù)的體重預(yù)測(cè)方法Asgwell[69]通過 CT 圖像評(píng)估了腰圍和大腿圍對(duì)女性肥胖的影響，分析了人體測(cè)量信息和腹內(nèi)脂肪的相關(guān)性。Muller[70]的研究發(fā)現(xiàn) 6 種人體測(cè)量特征與體重有關(guān)，特別是針對(duì)腹部肥胖的預(yù)測(cè)，但在研究中沒有考慮人群的差異性。考慮到人群中的差異性，Molarius[71]列出了不同于 Muller 的一些測(cè)量指標(biāo)包括腰腿比、腰臀比、腰身高比和腰圍等。進(jìn)一步，Velardo 等[72]開始建立人體測(cè)量值與人體體重的關(guān)系，并通過回歸模型在大數(shù)據(jù)集 NHANES[73]上基于人體測(cè)量數(shù)據(jù)來預(yù)測(cè)體重值。Nguyen[74]通過單張 RGB-D 圖像進(jìn)行了體重估計(jì)，并建立了 W8-400數(shù)據(jù)集。Nahavandi 等[75]提出一種基于 Kinnect 無骨骼模型的人體體重預(yù)測(cè)系統(tǒng)，利 用 體 表 的 面 積 來 進(jìn) 行 體 重 的 估 計(jì) 。 Pfitzner[76] 基 于 ANN(Artificial NeuralNetwork)網(wǎng)絡(luò)提出的體重估算方法，可以用來預(yù)測(cè)平躺，站立，行走三種姿態(tài)下的體重。Nastaran[77]通過基于模板的方法，利用深度神經(jīng)網(wǎng)絡(luò)模型提取局部特征，基于三維人體掃描結(jié)果自動(dòng)提取人體測(cè)量值。類似的，Liu 等[78]通過變化視角的點(diǎn)云數(shù)據(jù)融合，估計(jì)并重建了人體的三維模型。然而，深度圖像的方式受限于傳感器性能，在室外環(huán)境應(yīng)用效果不佳。相比于基于深度信息的方法，只基于 2D 圖像的方法缺乏尺度信息，但提供了更豐富的應(yīng)用場(chǎng)景。通過 2D 圖像來實(shí)現(xiàn)體重測(cè)量是更通用的方法，Jiang 等[79]首次提出了將圖像中人體輪廓的像素信息和關(guān)鍵點(diǎn)轉(zhuǎn)化為人體測(cè)量特征的方法，從而通過人體測(cè)量特征來估計(jì)人體體重的變化，并建立了數(shù)據(jù)集。受以往工作的啟發(fā)，Jin 等[80]優(yōu)化了 Jiang 的方法，通過在輪廓中去除人體手臂的方法來增強(qiáng)人體測(cè)量信息的準(zhǔn)確性，同時(shí)提出了兩個(gè)額外的人體測(cè)量特征。

1.5 基于深度強(qiáng)化學(xué)習(xí)的機(jī)械臂引導(dǎo)控制研究現(xiàn)狀傳統(tǒng)工業(yè)機(jī)器人的引導(dǎo)控制都是通過示教預(yù)先定義路徑點(diǎn)和運(yùn)動(dòng)指令來實(shí)現(xiàn)的，但在復(fù)雜的救援場(chǎng)景中引導(dǎo)機(jī)械臂定位人體肢體面臨著姿態(tài)、體型不確定等問題，很難通過任務(wù)的提前部署來定位。在這種非結(jié)構(gòu)化的場(chǎng)景中通過視覺引導(dǎo)機(jī)械臂作業(yè)是可行方法，機(jī)械臂的視覺引導(dǎo)從相機(jī)的安裝位置上可分為全局相機(jī)和手眼相機(jī)，全局相機(jī)安裝在工作臺(tái)上方，可以得到俯視整個(gè)工作臺(tái)的全局視角，通過相機(jī)的預(yù)先標(biāo)定來獲取目標(biāo)物的位置，但在操作過程中目標(biāo)物的位置可能被機(jī)械臂遮擋導(dǎo)致失敗，手眼相機(jī)安裝在機(jī)械臂末端，可得到目標(biāo)物的局部視角，但視角范圍受限于目標(biāo)物的尺寸。

第 7 章 總結(jié)與展望

7.1 主要工作與結(jié)論

本文針對(duì)骨傷傷員救援任務(wù)，開展傷員救援機(jī)器人關(guān)鍵技術(shù)研究，以人工救援中多人對(duì)傷員的安全搬移操作為仿生藍(lán)本，設(shè)計(jì)了一種仿生輔助搬移機(jī)器人系統(tǒng)，任務(wù)執(zhí)行能力方面，能夠?qū)崿F(xiàn)大負(fù)載傷員搬移并確保人體交互的安全性。為進(jìn)一步提升機(jī)器人的視覺感知與控制能力，在人體體重估計(jì)、尺寸測(cè)量、肢體自動(dòng)引導(dǎo)控制方面進(jìn)行重難點(diǎn)攻關(guān)。本文開展的研究工作總結(jié)如下：1）仿生輔助搬移機(jī)器人輕量化設(shè)計(jì)與單元系統(tǒng)測(cè)試研究本文針對(duì)骨傷傷員救援機(jī)器人安全搬運(yùn)傷員的需求，提出了模仿人工搬運(yùn)原理的仿生輔助搬移機(jī)器人設(shè)計(jì)方法，基于工作空間分析和結(jié)構(gòu)輕量化設(shè)計(jì)實(shí)現(xiàn)了負(fù)載 120kg 的大負(fù)載自重比機(jī)械臂設(shè)計(jì)，提升了機(jī)械臂的控制穩(wěn)定性。初步解析了人工搬運(yùn)中人體各個(gè)部位的受力機(jī)理，提出了基于多段式固定的仿人搬移工具設(shè)計(jì)方法，采用不同接觸部位的差異化設(shè)計(jì)和柔性人機(jī)接觸材料設(shè)計(jì)實(shí)現(xiàn)了搬移過程中的人機(jī)安全交互，仿人搬移工具的工作空間及夾持力的試驗(yàn)結(jié)果表明，所研制的仿人搬移工具不僅可以適應(yīng)不同人體尺寸，還能滿足普通傷員和攜帶半擔(dān)架傷員的夾持力需求。2）仿生輔助搬移機(jī)器人運(yùn)動(dòng)學(xué)及關(guān)鍵參數(shù)標(biāo)定方法研究本文分析了仿生輔助搬移機(jī)器人的結(jié)構(gòu)特點(diǎn)，建立機(jī)械臂和移動(dòng)平臺(tái)的聯(lián)合運(yùn)動(dòng)學(xué)模型，提出了逆運(yùn)動(dòng)學(xué)解析解求解方法，并通過仿真驗(yàn)證了正、逆運(yùn)動(dòng)學(xué)模型的準(zhǔn)確性。基于不同相機(jī)設(shè)置的關(guān)鍵參數(shù)標(biāo)定研究，建立了基于合作目標(biāo)的人體肢體定位成功率評(píng)價(jià)方法，為后續(xù)章節(jié)中肢體自動(dòng)引導(dǎo)控制性能評(píng)價(jià)提供了有效支撐。3）面向搬移操作的傷員體重估計(jì)及尺寸測(cè)量方法研究為提升機(jī)器人進(jìn)行人體操作時(shí)的安全性，預(yù)先輸入人體信息如體重、尺寸等個(gè)性化信息至關(guān)重要。為了快速得到相關(guān)信息，本文提出了一種基于單張圖像的人體體重估計(jì)方法，結(jié)合人體模型重建、人臉模型重建、圖像深度特征提取方法，提出了包括上軀干高度與腹部面積比、臉頰面積占比等虛擬測(cè)量參數(shù)，并驗(yàn)證了測(cè)量參數(shù)的相關(guān)性。建立了基于人臉測(cè)量特征、人體測(cè)量特征、深度特征融合并回歸的三分支體重估計(jì)網(wǎng)絡(luò)框架，并在新建立的包含圖像、三維重建模型的大規(guī)模數(shù)據(jù)集和公開數(shù)據(jù)集進(jìn)行了算法對(duì)比試驗(yàn)，驗(yàn)證了算法的優(yōu)越性。通過大量消融試驗(yàn)，分析并驗(yàn)證了算法各個(gè)模塊的有效性，試驗(yàn)結(jié)果表明，算法有效降低了二維圖像到三維空間的模糊性。4）基于深度強(qiáng)化學(xué)習(xí)的機(jī)器人自動(dòng)引導(dǎo)控制研究為提升傷員救援機(jī)器人感知決策能力和操作效率，本文提出了一種基于深度強(qiáng)化學(xué)習(xí)的機(jī)器人自動(dòng)引導(dǎo)控制方法，基于雙視角圖像及預(yù)訓(xùn)練的人體語義特征提取器，構(gòu)建了面向肢體定位的機(jī)械臂自動(dòng)引導(dǎo)控制框架，并引入交叉注意力機(jī)制實(shí)現(xiàn)了不同視角特征的相互推理。針對(duì)人體個(gè)性化姿態(tài)和穿著導(dǎo)致的仿真到實(shí)際遷移難題，提出了基于人體模板固定語義的人體重建模型匹配全局圖像的方法，結(jié)合消融試驗(yàn)，測(cè)試了方法在個(gè)性化體重和姿態(tài)的性能。仿真和實(shí)際環(huán)境驗(yàn)證試驗(yàn)表明，所提出的方法在人體肢體自動(dòng)引導(dǎo)任務(wù)中的成功率顯著高于基于日常物品操作預(yù)訓(xùn)練的方法，為進(jìn)一步提升機(jī)器人操作的智能控制能力提供了新的參考。5）仿生輔助搬移機(jī)器人系統(tǒng)集成設(shè)計(jì)與性能試驗(yàn)研究在前四章工作的基礎(chǔ)上開發(fā)了仿生輔助搬移機(jī)器人樣機(jī)系統(tǒng)，從硬件、軟件等方面詳細(xì)介紹了仿生輔助搬移機(jī)器人的設(shè)計(jì)方法和系統(tǒng)組成。在集成后的樣機(jī)系統(tǒng)上進(jìn)行了最大負(fù)載能力、搬移過程人體安全性的試驗(yàn)驗(yàn)證，試驗(yàn)結(jié)果驗(yàn)證了機(jī)器人的關(guān)鍵性能指標(biāo)。本文通過搭建傷員救援任務(wù)模擬環(huán)境，驗(yàn)證了機(jī)器人危樓狹窄空間通過性，以及完成傷員搬移和傷員轉(zhuǎn)運(yùn)作業(yè)任務(wù)的能力。

7.2 創(chuàng)新點(diǎn)

1）受針對(duì)骨傷傷員的人工搬運(yùn)方法啟發(fā)，提出了基于人體多段式安全固定的仿生輔助搬移機(jī)器人設(shè)計(jì)方法，突破了仿生輔助搬移機(jī)器人的集成制造及多維度評(píng)測(cè)技術(shù)，顯著提升了機(jī)器人化搬移傷員的安全性和可靠性。2）提出了基于單張二維圖像的人體體重估計(jì)方法，結(jié)合人體三維模型重建技術(shù)提出了多項(xiàng)人體虛擬測(cè)量參數(shù)，降低了二維圖像到三維空間出現(xiàn)的模糊性，開發(fā)了基于多維特征融合、回歸的體重估計(jì)網(wǎng)絡(luò)框架，顯著提升了通過圖像估計(jì)人體體重指數(shù)的精度。3）提出了基于深度強(qiáng)化學(xué)習(xí)的機(jī)器人自動(dòng)引導(dǎo)控制方法，構(gòu)建了基于人體語義特征提取及雙視角特征融合的網(wǎng)絡(luò)框架，實(shí)現(xiàn)了面向人體肢體定位的機(jī)器人自動(dòng)引導(dǎo)控制，結(jié)合人體模板的固定語義解析，克服了從仿真向?qū)嶋H遷移的局限性，為機(jī)器人對(duì)肢體的精細(xì)化操作提供了新的參考。

7.3 研究展望本研究

在骨傷傷員的機(jī)器人化自動(dòng)搬運(yùn)中的任務(wù)執(zhí)行能力和視覺感知控制關(guān)鍵技術(shù)上取得了一定進(jìn)展，但仍存在不足之處，未來工作可以在以下方面進(jìn)行更深入的研究和探索。1）本研究設(shè)計(jì)的仿生輔助搬運(yùn)機(jī)器人在和人體接觸的部分尚未集成力傳感器，缺少真實(shí)災(zāi)害救援任務(wù)的系統(tǒng)測(cè)試機(jī)會(huì)，無法完全保障機(jī)器人進(jìn)行人體搬運(yùn)過程中人機(jī)交互的舒適性。未來需進(jìn)一步開展人機(jī)接觸機(jī)構(gòu)的仿生設(shè)計(jì)研究，增加接觸力控制算法，提升人機(jī)接觸的舒適性，并在實(shí)際救援作業(yè)中收集更多數(shù)據(jù)，用于機(jī)器人系統(tǒng)方案的改進(jìn)優(yōu)化。2）本研究提出的基于單張圖像的人體體重估計(jì)方法，目前仍受限于數(shù)據(jù)集樣本的多樣性，易對(duì)極端體重的估計(jì)產(chǎn)生較大誤差，未來可以針對(duì)傷員救援場(chǎng)景，通過招募志愿者的方式拓展數(shù)據(jù)集樣本量，提升體重估計(jì)方法的適用范圍。3）本研究提出的基于深度強(qiáng)化學(xué)習(xí)的機(jī)器人自動(dòng)引導(dǎo)控制方法，目前還僅依靠圖像特征進(jìn)行機(jī)器人導(dǎo)航，尚無法完全應(yīng)對(duì)肢體遮擋、殘缺的極端情況。未來可增加如紅外相機(jī)、激光雷達(dá)等傳感器，利用多源傳感信息融合的自動(dòng)引導(dǎo)方法，增強(qiáng)算法在復(fù)雜傷員救援場(chǎng)景環(huán)境的魯棒性。

參考文獻(xiàn)
[1] Wen J, Yang C L, Shi Y K, et al. A retrospective study of geriatric trauma at alarge teaching hospital after the 2008 Wenchuan earthquake [J]. InternationalJournal of Gerontology, 2010, 4(3): 115-119.[2] Ikuta E, Miyano M, Nagashima F, et al. Measurement of the human body damagecaused by collapsed building[C]//Proceedings of the 13th World Conference onEarthquake Engineering. Vancouver, Canada: 13WCEE, 2004: Paper No.628.[3] Min L, Tu C Q, Liu L, et al. Management of limb fractures in a teaching hospital:comparison between Wenchuan and Yushu earthquakes [J]. Chinese Journal ofTraumatology, 2013, 16(01): 16-21.[4] 陳長坤, 王小勇, 雷鵬,等. 重大地震震后傷員傷情特點(diǎn)綜合分析 [J]. 華北地震科學(xué), 2019, 37(04): 18-22.[5] Blackburn M R, Everett H, Laird R T. After action report to the joint programoffice: Center for the robotic assisted search and rescue (crasar) related efforts atthe world trade center [J]. Technical document, 2002, 3141-3148.[6] Masayuki A, Takayama T, Hirose S. Development of" Souryu-III": connectedcrawler vehicle for inspection inside narrow and winding spaces[C]//2004IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS)(IEEE Cat. No. 04CH37566). IEEE, 2004, 1: 52-57.[7] Li B, Ma S, Liu J, et al. AMOEBA-I: a shape-shifting modular robot for urbansearch and rescue [J]. Advanced Robotics, 2009, 23(9): 1057-1083.[8] Beno J H. Mobot the Robot[R]. SAE Technical Paper, 1962.[9] Fitzgerald C. Developing baxter[C]//2013 IEEE conference on technologies forpractical robot applications (TePRA). IEEE, 2013: 1-6.[10] Ott C, Eiberger O, Friedl W, et al. A humanoid two-arm system for dexterousmanipulation[C]//Proceedings of the 6th IEEE-RAS International Conference onHumanoid Robots. Genoa, Italy: IEEE, 2006: 276-283.[11] Odashima T, Onishi M, Tahara K, et al. Development and evaluation of a human-interactive robot platform “RI-MAN” [J]. Journal of the Robotics Society ofJapan, 2007, 25(4): 554-565.[12] Iwata H, Sugano S. Design of human symbiotic robot TWENDY-ONE[C]//Proceedings of the 2009 IEEE International Conference on Roboticsand Automation. Kobe, Japan: IEEE, 2009: 580-586.[13] Levinger J, Hofmann A, Theobald D. Semiautonomous control of an emergencyresponse robot[C]//AUVSI Unmanned Systems North America Conference, SanDiego, CA. 2008: 914-927.[14] Ding J, Lim Y J, Solano M, et al. Giving patients a lift—the robotic nursingassistant (RoNA)[C]//Proceedings of the 2014 IEEE International Conference onTechnologies for Practical Robot Applications (TePRA). Woburn, MA, USA:IEEE, 2014: 1-6.[15] Choi B, Lee W, Park G, et al. Development and control of a military rescue robotfor casualty extraction task [J]. Journal of Field Robotics, 2019, 36(4): 656-676.[16] Chung W K, Yang Y, Cui N, et al. Design of a rescue robot with a wearable suitaugmenting high payloads rescue missions[C]//Proceedings of the 2017 2ndInternational Conference on Advanced Robotics and Mechatronics (ICARM).Hefei, China: IEEE, 2017: 182-187.[17] 郭繼錄. 雙臂救援機(jī)器人結(jié)構(gòu)設(shè)計(jì)與分析 [D].沈陽理工大學(xué),2021.[18] Beebe M M K, Ret C D R U. United States Department of Defense Research inRobotic Unmanned Systems for Combat Casualty Care[J]. 2010.[19] Ohno K, Morimura S, Tadokoro S, et al. Semi-autonomous control system ofrescue crawler robot having flippers for getting over unknown-steps[C]//Proceedings of the 2007 IEEE/RSJ International Conference onIntelligent Robots and Systems. San Diego, CA, USA: IEEE, 2007: 3012-3018.[20] Ben-Tzvi P, Williams A, Sebastian B, et al. Semi-autonomous victim extractionrobot (SAVER)[P]. US Provisional Patent Application 62/660,869, 2018[21] Saputra R P, Rakicevic N, Kuder I, et al. Resqbot 2.0: An improved design of amobile rescue robot with an inflatable neck securing device for safe casualtyextraction [J]. Applied Sciences, 2021, 11(12): 5414.[22] Iwano Y, Osuka K, Amano H. Development of stretcher component robots forrescue activity[C]//Proceedings of the 2004 IEEE Conference on Robotics,Automation and Mechatronics. Bangkok, Thailand: IEEE, 2004: 365-370.[23] Edlinger R, F?ls C, Nüchter A. An innovative pick-up and transport robot systemfor casualty evacuation[C]//2022 IEEE International Symposium on Safety,Security, and Rescue Robotics (SSRR). IEEE, 2022: 67-73.[24] 肖子軒. 剛?cè)狁詈隙啾蹍f(xié)作全地形行走救援機(jī)器人設(shè)計(jì)分析與實(shí)驗(yàn) [D],燕山大學(xué), 2021.[25] Newcombe R A, Fox D, Seitz S M. Dynamicfusion: Reconstruction and trackingof non-rigid scenes in real-time[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition. 2015: 343-352.[26] Newcombe R A, Izadi S, Hilliges O, et al. KinectFusion: Real-time dense surfacemapping and tracking[C]//Proceedings of the 2011 10th IEEE InternationalSymposium on Mixed and Augmented Reality. Basel, Switzerland: IEEE, 2011:127-136.[27] Yu T, Guo K, Xu F, et al. BodyFusion: Real-time capture of human motion andsurface geometry using a single depth camera[C]//Proceedings of the IEEEInternational Conference on Computer Vision. Venice, Italy: IEEE, 2017: 910-919.[28] Yu T, Zheng Z, Guo K, et al. DoubleFusion: Real-time capture of humanperformances with inner body shapes from a single depth sensor[C]//Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition. Salt LakeCity, UT, USA: IEEE, 2018: 7287-7296.[29] Dou M, Khamis S, Degtyarev Y, et al. Fusion4d: Real-time performance captureof challenging scenes [J]. ACM Transactions on Graphics (ToG), 2016, 35(4): 1-13.[30] Xu L, Su Z, Han L, et al. Unstructuredfusion: realtime 4d geometry and texturereconstruction using commercial rgbd cameras [J]. IEEE transactions on patternanalysis and machine intelligence, 2019, 42(10): 2508-2522.[31] Marr D, Nishihara H K. Representation and recognition of the spatialorganization of three-dimensional shapes [J]. Proceedings of the Royal Societyof London Series B Biological Sciences, 1978, 200(1140): 269-294.[32] Pentland A, Horowitz B. Recovery of nonrigid motion and structure [J]. IEEETransactions on Pattern Analysis & Machine Intelligence, 1991, 13(07): 730-742.[33] Anguelov D, Srinivasan P, Koller D, et al. Scape: shape completion andanimation of people[M]//ACM SIGGRAPH 2005 Papers. 2005: 408-416.[34] Loper M, Mahmood N, Romero J, et al. SMPL: A Skinned Multi-Person LinearModel[J]. ACM Transactions on Graphics, 2015, 34(6).[35] Romero J, Tzionas D, Black M J. Embodied hands: Modeling and capturin