97综合视频在线播放-97综合视频在线观看-97综合视频专区-97综合网综合在线-97综合影院-97综合在线-97综合在线观看-97综合在线观看视-97综合资源色色-97总站在线观看视频

        構(gòu)建通用且泛化的操作策略一直是機器人領(lǐng)域的核心目標。傳統(tǒng)的機器人學(xué)習(xí)方法通常針對特定機器人和任務(wù)來開發(fā)模仿學(xué)習(xí)算法，例如ACT和Diffusion Policy，這些方法在特定場景中表現(xiàn)出色，但在泛化能力上較為有限。隨著機器人在開放、多任務(wù)環(huán)境中的應(yīng)用增加，能夠適應(yīng)不同任務(wù)和機器人構(gòu)型的系統(tǒng)需求也在上升，這促使了通用模型的發(fā)展，如RT-2和OpenVLA等。這些模型通過大規(guī)模、異構(gòu)的數(shù)據(jù)集提升跨域泛化能力，旨在將普遍知識融入到機器人控制中。

        雖然基于 VLA 的通用策略在不同場景中表現(xiàn)出很強的泛化性，但其仍存在一些局限：

RoboDual整體框架結(jié)構(gòu)

        我們發(fā)現(xiàn)，在具身走向通用的路徑中，專用策略（Specialist Policy）低延遲、高精度、訓(xùn)練高效的特點剛好可以彌補當前通用模型（Generalist Policy）的劣勢，于是團隊提出了RoboDual工作，將Generalist的泛化能力和Specialist的精準高效結(jié)合到一個協(xié)同工作框架中，不僅在操作時的精度更高、延遲更低，還具備更強的場景、指令的泛化能力，同時對于單個任務(wù)或場景的微調(diào)更加高效。

RoboDual模型框架

        RoboDual中的Generalist部分參考基于Prismatic-7B VLM的OpenVLA架構(gòu)，以觀察的視頻幀與指令作為輸入，自回歸地生成action latents及相應(yīng)的離散動作輸出，并將其傳到下游Specialist模型作為condition；Specialist部分采用可擴展的Diffusion Transformer (DiT)架構(gòu)，接收多種傳感器（如RGB相機）輸入的同時，將Generalist的輸出作為參考，經(jīng)過去噪得到未來幾步的連續(xù)動作。

        同時，由于Generalist與Specialist的輸出頻率不同，為保證較低的控制延遲，Generalist與Specialist實行異步控制（即Generalist輸出一步時，Specialist輸出多步），在較慢，但更魯棒的Generalist輸出指引下，實現(xiàn)順滑且靈巧的動作控制。在真機實驗中，我們采用NVIDIA RTX 5000 Ada GPU進行推理，RoboDual可以實現(xiàn)15Hz的控制頻率。

        在大量仿真（CALVIN）及真機的實驗發(fā)現(xiàn)，RoboDual均領(lǐng)先現(xiàn)有的Generalist和Specialist模仿學(xué)習(xí)方法，可以利用僅5%的數(shù)據(jù)實現(xiàn)任務(wù)和場景的高效適配。此外我們在真機實驗中還設(shè)計了眾多泛化場景，RoboDual在不失推理效率的同時實現(xiàn)了更優(yōu)的泛化性能。

真機任務(wù)及泛化實驗

        通過將RoboDual與OpenVLA進行對比，可見RoboDual在同樣的泛化場景中保持了明顯更低的推理延遲。至此，RoboDual提供了一個讓通用操作大模型廣泛落地應(yīng)用的解決方案。

真機推理效率對比（與OpenVLA）

        okooo澳客機器人與上海人工智能實驗室共同研發(fā)的RoboDual系統(tǒng)，不僅提供了一個讓通用操作大模型廣泛落地應(yīng)用的解決方案，更為機器人技術(shù)的未來發(fā)展指明了方向。隨著RoboDual系統(tǒng)的不斷完善和應(yīng)用，我們希望它能為機器人操作領(lǐng)域帶來更高效、更精準、更智能的未來。