蘋果牙齒視覺操作系統2通過蘋果視覺專業版擴展功能跟踪特定 3D 對象現在是可能的。新功能允許應用程序開發人員跟踪預先指定的 3D 對象，包括改進的手部跟踪和增強的場景理解。
這些改進是全球開發者大會24它沒有在主題演講中宣布，但蘋果工程師在網上發布的開發者會議上詳細介紹了這一點。
在編譯應用程序之前，開發人員必須將他們想要跟踪的 3D 對像作為 USDZ 3D 模型提供給 Mac 上的 Create ML 工具。 Create ML 在每個對像上訓練神經網絡，並將結果集成到應用程序中。
該系統不允許用戶提供任意 3D 對象，並且需要更新應用程序才能跟踪新對象。然而，對於商業和教育應用程序或跟踪 iPhone 等常見對象來說，這是一個非常有用的功能。
開發人員可以使用系統提供的邊界框比例和方向將虛擬對象放置為跟踪對象的錨點或使用 3D 效果對其進行增強。 VisionOS 2 的第一個測試版已經可供安裝，併計劃於今年秋季發布穩定版本。
[編者註]術語解釋
- 蘋果視覺專業版：
Apple Vision Pro 是 Apple 開發的創新空間計算設備。將數字內容疊加到現實世界中，並使用您的眼睛、雙手和聲音進行導航。它提供高度沉浸式的 VR/AR 體驗，可用於從工作到娛樂的多種用途。最新版本的visionOS 2增強了3D物體追踪能力，進一步將其與現實世界結合起來。 - USDZ 3D模型：
USDZ 是由 Apple 和 Pixar 聯合開發的 3D 文件格式。基於通用場景描述（USD）框架，您可以對3D對象、場景和動畫進行緊湊壓縮和封裝。它還支持 PBR 材質和紋理，讓您可以創建高質量的 3D 內容。它與Apple產品高度兼容，特點是能夠通過AR Quick Look等功能輕鬆共享3D體驗。 - 創建機器學習：
Create ML是Apple提供的機器學習模型訓練工具。它在 MacOS 上運行，允許您直觀地創建專門用於圖像識別、對象檢測和語音識別等各種任務的模型，而無需任何編程知識。您還可以使用最新的基於 Transformer 的文本嵌入。訓練後的模型以 Core ML 格式輸出，可以通過將其合併到 iOS 應用程序中來使用。可以說，它是一個有助於機器學習民主化的工具。
[參考鏈接]
VisionOS 2 預覽版 – 官方頁面（外部）
[相關文章]
【新聞評論】
通過 VisionOS 2，Apple 擴展了 Apple Vision Pro 的功能，以實現對特定 3D 對象的跟踪。這項新功能使應用程序開發人員能夠跟踪預先指定的 3D 對象，並包括改進的手部跟踪和增強的場景理解。這些改進並未在 WWDC24 主題演講期間宣布，但 Apple 工程師在在線發布的開發者會議上詳細介紹了這些改進。
在編譯應用程序之前，開發人員必須將他們想要跟踪的 3D 對像作為 USDZ 3D 模型提供給 Mac 上的 Create ML 工具。 Create ML 在每個對像上訓練神經網絡，並將結果合併到您的應用程序中。該系統不允許用戶提供任意 3D 對象，並且需要更新應用程序才能跟踪新對象。然而，對於商業和教育應用程序或跟踪 iPhone 等常見對象來說，這是一個非常有用的功能。
開發人員可以使用系統提供的邊界框比例和方向將虛擬對象放置為跟踪對象的錨點或使用 3D 效果對其進行增強。這項技術將進一步促進現實世界物體和數字內容的融合，例如在教育領域，可以將數字信息直接覆蓋到物理教材上，從而豐富學習體驗。在商業應用中，產品演示和培訓可以讓人們直觀地了解與真實產品相關的信息和操作。
然而，實施這項技術也帶來了潛在的隱私和安全風險。特別是，對現實世界物體的數字跟踪可能會收集對個人隱私敏感的信息。因此，有必要製定適當的法規和指南。
未來，這項技術的發展將使我們能夠實時跟踪更多的物體，甚至可能允許跟踪用戶提供的3D物體。預計這將進一步模糊現實世界和數字世界之間的界限，並創造新的用戶體驗。 VisionOS 2的推出是增強現實技術發展的重要一步，預計長期將在教育、商業、娛樂等廣泛領域得到應用。