回到頂部
深色手繪工作台上的剖面房間模型,一側保留木塊骨架,另一側覆上灰綠家具細節,前方實體軌道上的小球象徵動作計算與畫面呈現的分工

Mundo 用照片建場景,讓模擬變成影片

Mundo 把房間照片轉成可編輯的模擬場景,能調整抽屜、碰撞與相機路徑,再生成影片。從官方展示看懂場景骨架與影片模型的分工,以及程式、權重的公開進度。

內容查核: 來源查核:

Mundo 把房間照片變成可修改的模擬場景,讓研究人員能先安排物件動作,再生成同一個房間裡的影片。研究團隊於 10 月 23 日公開展示這套方法:抽屜能拉開、物件能碰撞,鏡頭也能換位置。場景中的物件與動作都有程式可改,影片跟著模擬結果呈現。

對台灣做機器人模擬或空間視覺化的團隊,值得注意的是這種可修改性。同一個場景能保留物件關係,反覆比較動作和視角,較容易找出問題發生在哪裡。不過,程式與權重仍預定於 11 月底釋出,現在適合研究展示方法,還不能列入近期專案的可用工具。

抽屜與蘋果如何動起來

官方展示中的辦公室,先拉開抽屜,再讓蘋果移向螢幕、撞上物件;過程還能暫停時間,讓鏡頭繞著碰撞瞬間觀看。場景程式記錄物件的位置、尺寸、質量與摩擦,再安排施力與動作。

大多數動作交由 MuJoCo 物理引擎計算。這類引擎原本就處理關節、重力與接觸運動;有了場景描述與控制輸入,才能推算物件如何移動。Mundo 把照片重建的空間接到這個流程上,再將結果轉成可看的影片。抽屜開多遠、蘋果往哪裡飛,可以在場景層調整。

影片模型接到的是模擬產生的簡化畫面,以及原始照片和相機資訊。團隊以 MiniMax-H3 的參考輸入版本微調;原版模型可理解影像、影片等輸入,Mundo 再讓它跟隨代理場景的運動,補上紋理、光影與外觀。

控制動作與呈現外觀分開,修改才有明確的位置。 桌子擺錯要修場景,碰撞路徑要查模擬,材質走樣則回到影片生成。影片逼真,也不足以判定物理條件正確:質量與摩擦是代理程式推定的參數,並非照片直接量出的結果。

房間骨架如何重複使用

Mundo 先用方盒近似桌子、櫃子等物件,再比對照片修正位置和大小。這些方盒構成「代理場景」,供相機移動與物理運算共用。視覺語言代理程式負責找出漏掉的物件、錯誤邊界等問題,數值最佳化則協助對齊幾何。

用方盒有明確取捨:觀察房間配置時,不必先把每個家具都做成細緻模型;若要操作把手或碰觸小物件,就需要更完整的幾何。做單件資產可另看 AI 3D 製作流程,而模擬所需的接觸與材質資料,則接近 SimReady 資產的交付問題。

專案的旅館展示把這份場景表示用於導航:先記下物件、障礙物與可通行空間,再規劃從大廳到房間的路線。洗衣間展示則呈現重新建好的空間,以及洗衣機開門的動作。這些都是模擬與生成結果;它們的用途是讓團隊比較規劃與觀察畫面,尚不能代替實體機器人的任務測試。相關分工可對照 Physical AI 的模擬與控制。

我認為 Mundo 最有價值的方向,是讓照片提供的空間線索成為可反覆修改的工作材料。對場景製作團隊,能保留布局再換動作,比每次重新生成整段影片更值得追蹤;對需要精細接觸的機器人任務,目前則不建議依賴它的生成影像做驗收。

研究團隊已指出小物件可能漂浮、細部互動容易失真,長時間動態變化後也未必保有一致細節。重建與算圖同樣需要等待。展示頁適合拿來比較同一場景的輸入、代理表示與成片;若要用自己的空間驗證這套方法,仍要等程式與權重真正公開。

常見問題

Mundo 現在能下載嗎?

官方儲存庫目前只有專案介紹,程式與權重預定於 11 月底釋出。現階段可以看展示與技術說明,還不能下載完整系統執行。

能修改物件的哪些部分?

場景程式可調整位置、尺寸與物理參數,也能安排動作、施力及相機路徑。模擬結果再引導影片生成;細部外觀仍可能失真。

只用一張照片也可以嗎?

官方有單張影像生成新視角的展示。沒拍到的地方由模型推測,補充不同角度的照片能減少需要猜測的部分。

參考來源

№ · further reading

延伸閱讀