不加裝任何設備。AI 從天花板監視器的畫面，算出每位顧客在店裡的 3D 位置、走過的路線、在哪裡停下來、頭朝向哪個貨架，最後累積成「貨架關注熱圖」與店家報告。這是國際上剛起步的零售 AI 前緣技術，本研究以商業應用研究為目的，歡迎業界與學界先進交流指教。
影片皆為研究實際輸出。標 ★ 的是建議附在贊助信裡的代表作。
INTERACTIVE 3D ▶ 互動 3D 檢視：自己旋轉、拉近、切換視角 原店完整 5 分鐘，3D 店面與 4 支原始監視器同步播放；可逐格、變速，或切到「原機位疊合」直接對照 3D 與實景。左邊是 4 支原始監視器，同一位顧客在每支鏡頭都標同一個編號；右邊是 3D 店內，每個人是 3D 骨架或人體，頭部射出細長的視線錐。顧客停在冷藏櫃前時，櫃面上會逐漸累積橙色熱點，畫面下方即時統計觀測秒數與候選關注秒數。完整 300 秒都保留，不是只剪精彩片段。
同一位顧客從原始畫面、到 3D 人與頭錐、到右側逐刻數字：畫面上有幾個人、幾個人的頭向可判斷、這一刻有多少貨架關注。最適合一眼看懂整條流程。
從監視器影像估出 18,439 個頂點的完整人體，放進 3D 店裡；視線錐從頭部射向冷藏櫃面，冷藏櫃表面直接貼上真實照片。
兩支監視器同時看到的顧客，在俯視圖上畫出移動軌跡；上方是 AI 的結果，下方是標準答案，每一刻的區域人數與「慢走／停留」人數都對得上。
舊版視線錐角度寬（20°）、只延伸 1.2 公尺；新版收窄到 8°，一路延伸到第一個碰到的表面，熱點更集中、更接近真正的視線方向。左為原始畫面，中為舊版，右為新版。
用 17,222 段真實商店影片訓練影片模型。影片並排兩個鏡頭的輸入畫面，對照標準答案與不同訓練版本的判斷，看得到模型在學會什麼、還差什麼。
左邊是沿走道走拍的第一人稱畫面，右邊是只用一般 RGB 影像還原出的 3D 店面外觀。店家不需要專業掃描設備，用手機就能建出數位孿生。
在 3D 店內環繞一圈：每支監視器的位置、顧客編號、貨架上累積的頭向關注範圍（橙色），一次看完。
左為一般沿走道直走的路線，右為規劃過、面向貨架的路線。同樣的拍攝張數，商品正面被拍到的比例從 8.8% 提升到 35.6%。
同一位顧客常同時被好幾支監視器拍到。把各鏡頭看到的鼻子、眼睛、耳朵合在一起，解出一個 3D 頭部方向，讓「看不清楚頭朝哪」的情況大幅減少、準度同時提升。
目標：同覆蓋率下誤差降低 10% 以上；可判斷頭向的時間比例提升 10 個百分點以上。
店裡本來就要跑的 3D 人體模型，直接提供頭部方向，不需要另外部署專門的頭向模型，降低導入成本。1,944 張真人照片中位誤差 7.0°，相機參數校正後再進一步提升。
下一步：與 4 個以上的專門頭向模型做同協定比較。
在全景畫面之外，加入手與貨架之間的局部放大畫面，讓模型能分辨「拿取」「放回」「碰觸」等細微動作。
下一步：完成局部畫面訓練，讓少數動作也能穩定辨識。
研究成果規劃投稿電腦視覺國際會議與期刊（例如 CVPR 2027 相關研討會、ICIP 2027）。有具體技術突破時，可與支持企業討論共同申請專利。
整合近兩年最新的開源視覺模型，並在每一段加上自己的接法與驗證。
| 環節 | 技術 | 做什麼 |
|---|---|---|
| 3D 店面 | 3D Gaussian Splatting、LingBot-Map、DA3 深度模型、NVIDIA Isaac Sim | 手機走拍或模擬建出整店 3D，並當成遮擋判斷用的表面 |
| 找人與追蹤 | Sparse4D 多鏡頭 3D 偵測追蹤、DINOv2 外觀特徵 | 多支監視器合併定位，跨鏡頭維持同一人編號 |
| 3D 人體與頭向 | Meta SAM 3D Body（CVPR 2026）、相機參數校正 | 從影像估出完整 3D 人體，直接取出頭部方向，不需額外訓練 |
| 貨架與商品 | Meta SAM 3（文字提示切割）、多鏡頭三角定位、照片貼面 | 找出貨架與商品區，建立可被視線錐碰到的貨架面 |
| 視線到貨架 | 8° 視線錐射線追蹤、第一表面命中、30 萬點橢球遮擋代理 | 從頭部射出視線錐，算出打到哪個貨架、被什麼擋住 |
| 動作辨識 | VideoMAE 影片模型全量微調、4B 決策型視覺模型 LoRA 微調 | 判斷拿取／放回／碰觸，雙鏡頭、多幀輸入 |
| 報告 | 區域人數、慢走／停留偵測、熱圖累積 | 輸出店家看得懂的分區人流、停留與關注報告 |
驗證資料：NVIDIA PhysicalAI-SmartSpaces 零售場景（15 支監視器、附標準答案）、RetailAction 真實商店動作資料集（17,222 段訓練影片）、BIWI 等公開頭部姿態資料。
運算：以租賃雲端 GPU 完成全部訓練與推論，研究運算費用目前由個人負擔。
整條流程已經從監視器畫面一路接到貨架熱圖與店家報告，每一段都用有標準答案的公開資料量過準度。
驗證範圍：以上在 NVIDIA 公開零售場景與公開真人資料集上驗證。「看了哪一件商品」與少數動作（放回、碰觸）是下一階段的研究重點。
這項研究到目前為止，經費與 GPU 算力都由個人負擔。希望找到認同「3D 空間理解」這個方向的企業，以研究贊助的方式支持它繼續發表、繼續前進。
支持形式：研究經費或 GPU 算力，金額彈性
支持形式：研究經費，內容依雙方協議
研究有成果時
合作定位：本研究以學術發表為主，贊助是支持研究本身；研究成果與技術交付給貴公司團隊自行運用，不含門市部署或客製開發服務。本研究聚焦於多鏡頭 3D 空間理解的前緣技術，歡迎貴公司的 AI 或資訊團隊直接與我們交流。