NEC與慶應義塾AI中心聯合研究成果,利用智慧型手機影片在短短1分鐘內自動刪除不必要的物件並創建高清3D模型

只需使用智慧型手機拍攝工人走動的工作現場的照片即可。只要這樣做,一個乾淨的3D模型就可以在短短1分鐘內創建出一個乾淨的3D模型,其中所有的人和不必要的物體都被自然去除。 NEC向我們展示的是一個光明的未來。一款手持設備在多大程度上可以取代長期以來需要專用設備的常識?我很興奮,想看看接下來會發生什麼事。


NEC 於 2026 年 7 月 14 日宣布,作為與慶應義塾 AI 中心聯合研究的結果,它已開發出一種技術,該技術使用專有 AI 自動刪除智能手機等通用相機拍攝的圖像中不必要的對象,並在短短一分鐘內生成高清 3D 模型(根據 NEC 研究,這是世界首創)。

透過將高斯潑濺與專有的 AI 結合,根據影像的複雜程度優化顆粒密度,與傳統的高斯潑濺相比,生成時間減少到十分之一(NEC 公佈的值)。在生成過程中,檢測並移除反射的工人和臨時物體,並從周圍影像中補充背景。產生的 3D 模型可以在電腦或平板電腦上查看。 NEC表示,將有助於推動基礎設施提供者和建築業引入數位孿生並解決人力資源短缺問題,並計劃在2027財年將其商業化。

從: NEC 開發了世界上第一項技術,該技術使用專有的 AI 自動刪除不必要的主體,並僅根據通用相機拍攝的影像快速生成高清 3D 模型。

【編輯部評論】

「您可以在短短一分鐘內根據智慧型手機拍攝的影片創建網站的 3D 模型。」這就是 NEC 宣布的技術可以用一個詞來概括的內容。然而,這項技術的真正吸引力不僅僅是它的速度。

您首先需要了解的是基礎。高斯潑濺這就是技術。

這是一種自 2023 年 8 月發表代表性論文以來已得到廣泛研究和商業實施的 3D 重建方法,它將空間表示為「具有廣闊範圍的無數粒子(高斯)」的集合。與使用多邊形(曲面)組裝的傳統3D模型不同,此模型的優點是它可以以高清晰度再現難以表達的事物,例如電纜、電線、反光金屬表面和小零件。

目前,將該技術應用於基礎設施檢查和數位孿生的運動正在穩步擴大。在海外,Bentley 軟體公司已將高斯潑濺技術整合到其現實捕捉產品 iTwin Capture 中。 Cesium也使其與自己的平台相容,並將通訊塔的維護以及電力設備和變電站的檢查列為潛在用途。換句話說,NEC的宣布並不是突變,而是突變。順應全球潮流讀作 是準確的。

然後,當您了解 NEC 的技術解決了哪些問題時,它的獨特性就變得清晰起來。

主要有兩點。一是《優化糧食投放》是。

你需要在這裡仔細觀察一下。事實上,根據情況調整顆粒密度的「自適應密度控制」在2023年原始論文發表時就已經被引入,並且是一個仍在積極研究的課題。 NEC的獨特技術並不在於它率先進行了密度控制,而是在於它率先進行了密度控制。透過使用我們專有的人工智慧分析影片的視覺複雜性,並透過密集放置複雜部分和稀疏化單調部分來優化佈局,我們將生成時間縮短至傳統比率的十分之一(NEC公佈的值),最短為1分鐘。這是一點。請注意,用於比較此降低率的實現、硬體和品質指標在已發表的資料中並未明確揭露。

另一件事是我最想提請注意的innovaTopia。“自動刪除不必要的物件”是。

如果你拍攝工地的照片,很自然地會看到工人在行走,並且可以看到臨時放置在那裡的工具和車輛。當這些不必要的物體被反射時,傳統3DGS的重建品質可能會惡化,自2024年左右以來,已經提出了幾項研究來自動排除人、車輛等。 NEC的技術的意義在於,它採用了人工智慧在生成過程中自動檢測和去除這些物體的機制,並補充了從周圍影片中刪除部分的背景,以期實際應用。

為什麼這有效?這開啟了「無需停止場景即可拍照」的可能性。

準備昂貴的專業攝影設備並不得不中斷工作拍照——這些準備工作和停機時間是實施數位孿生的障礙之一(儘管還有數據整合、持續更新、人力資源和標準化等其他障礙,因此拍照所涉及的工作並不是唯一的「最大障礙」)。如果你能得到一個模型,透過在運行時用智慧型手機拍照來自動刪除人和不必要的物體,那麼引入它的切入點肯定會下降。技術重點從“高清”轉向“現場可用性”——編輯部認為,這就是公告的實質內容。

然而,有一些事情應該保持冷靜。

雖然高斯潑濺在視覺再現方面很強,但研究指出,在需要精確尺寸和測量的應用中,幾何精度仍然是一個問題,並且正在進行研究透過整合雷射雷達資訊來補充精度。換句話說「看到和理解」和「測量和做出判斷」的用途尚未連結起來。NEC的技術能在多大程度上確保透過遠端檢查達到「判斷依據」的足夠準確性?演示材料並未顯示絕對的尺寸精度或誤差率,這可能是實際應用的亮點。

另外,「自動刪除不需要的物品」雖然很方便,將「擦除什麼」的決定權委託給人工智慧還有一件事。在檢查過程中,有時可能需要在可刪除的臨時物件和應記錄的異常物件之間劃清界限。從公開資料中尚不清楚移除確認功能和原始鏡頭保存等操作方面將如何設計。

換個角度來看,編輯部認為這項技術的未來應該會更加廣闊。

NEC目前的目標是電力基礎設施和建築工地,但只需拍照,空間就被數位化,不必要的東西消失了,並且可以在PC或平板電腦上打開。這種體驗在記錄災難現場、歸檔文化資產和考慮商店佈局等領域也有應用空間(這些都沒有公佈用途,只是未來的可能性)。

NEC的目標是在2027年底之前將其投入實際使用。其中包括與多年來一直研究視覺計算領域的齋藤秀夫(慶應義塾大學理工學院教授)的聯合研究。實現「複製貼上空間」時代這是一個值得關注的主題,看看它能走多遠。

[編者後記]

令人興奮的是,這項技術為能夠創建 3D 的人打開了大門。到目前為止,如果沒有昂貴的掃描器和專業知識就不可能實現的空間數位化,如果只需一部智慧型手機就能在不停止操作的情況下實現,那麼現場工作人員的負擔肯定會減輕。

更重要的是,人工智慧還可以有效地輕輕地刪除你想要刪除的人和物體。從電力、建築工地開始,這種體驗能達到多遠?我迫不及待地想看看這台機器接下來會改變什麼樣的工作場所,目標是在 2027 年實際使用。


【術語解釋】

數位孿生
用於在虛擬空間中再現真實設備和站點以進行監控、檢查和模擬的技術和概念。典型的定義不僅包括簡單的3D形狀,還包括與實體物件的資料連接以及持續的同步和更新。 NEC 的技術是輕鬆創建「作為建立數位孿生基礎的 3D 模型」的一種方法。

高斯潑濺(3D 高斯潑濺/3DGS)
一種將空間表示為無數高斯粒子集合的 3D 重建技術。與使用三角形網格的傳統方法不同,它可以以高清晰度表示難以再現的對象,例如電纜、反射表面和小零件。自 2023 年 8 月論文發表以來,研究和商業實施不斷擴大。

顆粒(高斯)
使用高斯分佈構成空間的元素。它們是包含位置、形狀(協方差)、顏色和不透明度等資訊的“模糊點”,大量收集起來形成三維物件。 NEC 的獨特技術根據影像的複雜性使這些顆粒變得更密或更薄,從而優化這些顆粒。

FM-基地
NEC Facilities在千葉縣我孫子市的NEC我孫子工廠開設了設施管理人員培訓和研發中心,並於2024年5月開始運作。該中心配備了半導體工廠使用的實際設備,負責傳授熟練工程師的專業知識並示範DX。在本新聞稿中,它將作為用於技術驗證的鏡頭拍攝的舞台出現。

[參考連結]

慶應義塾人工智慧中心(慶應義塾大學 KGRI)(外部)
由慶應義塾大學和九家研究成員公司與卡內基美隆大學合作建立的人工智慧研究中心。該技術的中心主任和共同研究員是Koaki Sugiura教授。

齊藤秀夫研究員資訊(慶應義塾大學)(外部)
慶應義塾大學理工學院教授齋藤秀夫 (Hideo Saito) 的成就頁面,他參與了這項技術的研究。從事3D模型修復等工作。

KAKEN 研究員資訊:Hideo Saito(國立情報學研究所)(外部)
可以確認齋藤秀夫的所屬單位、專業領域、研究主題的公共資料庫。他的身分被列為慶應義塾大學理工學院教授。

3D 高斯濺鍍官方專案 (Inria)(外部)
高斯潑濺的原始論文專案頁面,這是該技術的基礎。您可以確認方法的原理和自適應密度控制。

NEC設施有限公司(外部)
NEC 集團旗下的設施管理公司,負責營運 FM-Base。我們對全國範圍內的工廠和設施進行合約管理。

[參考文章]

數位孿生的高斯濺鍍現實捕獲(Bentley Systems)(外部)
Bentley 將高斯噴射整合到 iTwin Capture 中。顯示全球趨勢的範例。

使用 3D Tiles 引入具有層次細節的 3D 高斯圖(Cesium)(外部)
這篇文章提供了 3DGS 在通訊塔維護、變電站檢查等方面的使用以及用於增加容量的壓縮和 LOD 措施的技術說明。

LI-GS:利用 LiDAR Incorporated 進行高斯濺鍍(arXiv)(外部)
本研究提出了基於影像的 3DGS 的幾何精度問題以及使用 LiDAR 整合的改進方法。展示「看到」和「測量」之間的差異。

改進 3D 高斯分佈的自適應密度控制(arXiv)(外部)
自適應控制顆粒密度改進方法研究這表明自最初的論文以來,密度控制一直是一個持續的主題。

AI 橋樑測量與數位孿生(Bentley 軟體公司)(外部)
據 Bentley 稱,肯塔基州的一項需要評估 1,000 多座橋樑的項目將橋樑測量時間縮短了 90%。