各領域發起破壞性創新的能源公司:特斯拉(Tesla)發展的分析系列文章 — 人工智慧篇

C.H. @Knack of Matters
230 min readMar 28, 2024

--

Last update: May 12024
Update 1: Mar. 30 2024: 新增篇章架構展開圖
Update 2: Apr. 11 2024: 新增FSD 邊緣案例(軟體演算法建構的解讀)
Update 3: Apr. 24 2024: 更新競爭對手比較(乘用車)、新增競爭對手比較(商用車)、新增2024Q1財報內容
Update 4: May 1 2024: 新增章節分類、新增Chapter 9-剖析重要事件影響、新增4/29訪華內容

先說結論

全自動駕駛是人類發展歷史中,最史詩級的創新技術,且這個「通用人工智慧應用」是Tesla最高含金量的價值所在,當Tesla將全自動駕駛應用在開放場景(一般市區道路)且能”幾乎”完全應對固定或突發狀況,安全到達目的地。後續完全可複製這套系統到無人駕駛計程車、無人駕駛貨卡物流、無人公共運輸車輛、工廠/家用/災難現場/不適合人類工作場合的功能型人型機器人、或自動駕駛系統授權給車廠使用等,不僅將這系統應用於不同的領域中,且這些非限定條件範圍的應用,對於Tesla的產品賦予非常高附加價值,不僅是公司成長的源源動能,也能是電動車品項到達產業天花板時,能分支轉換的第二生長曲線生長方向。不只Tesla本身業務項目,可能連周邊產業(如資料中心的存儲轉型、物聯網(IoT)、邊緣運算、影子模式學習等)都可能帶動快速裂變增長。

在車輛硬體的硬體運算電腦(HW)、車輛軟體的Tesla Vision、Full-Self Driving System(FSD)、基礎設施的資料中心、AI運算伺服器(Dojo Accelerator ExaPOD),每一段都是與對手拉開差距的技術護城河,且當Tesla車車輛的市占率越高及銷售越多,所蒐集的數量級的資料越是能快速訓練、修正與重新部屬,尤其在新市場的開發,運用當地駕駛數據加上AI編程,能迅速建立地圖資訊、號誌標示、適應當地駕駛文化民情的FSD,這樣指數級推進的速度會在AI運算伺服器、FSD v12形成大規模應用時突破閾值(Threshold),屆時將會把兢爭對手狠甩在後頭。

Tesla如同產業破壞者般的打破原有產業的平衡,讓競爭對手已經不是從原本賽道的追趕者急起直追,反而像是半路插隊進來的新進參賽者,就已經對於原賽道王者構成威脅。Tesla的發展在未來非常有可能取代蘋果成為新一代的龍頭企業,未來是否有這樣的一天,拭目以待。

為方便了解,將這篇章架構展開如圖,高解析完整圖請參照連結

Tesla人工智慧架構(Update:2024/3/30)
目錄
Chapter 0 — 引言
Chapter 1 — 硬體的更新迭代歷史
Chapter 1-1 - 以硬體感測器為例
Chapter 1–2 - 以硬體運算設備為例
Chapter 1–2-1 — HW1
Chapter 1–2-2 — HW2
Chapter 1–2-3 — HW3
Chapter 1–2-4 — HW4
Chapter 1–2-5 - HW5
Chapter 2 — 軟體演算法建構的解讀
Chapter 3 — 影子模式的駕駛學習
Chapter3–1 — Tesla Vision(HydraNet) by Andrej Karpathy
Chapter3–2 — Tesla Vision by Ashok Elluswamy
Chapter3–3 — Tesla FSD Test Video
Chapter 4 — 資料運算中心(數據引擎)的應用與模擬訓練
Chapter 4–1 — 物件標註(Labeling Objects)
Chapter 4–1–1– 2D Image Labeling by Manual
Chapter 4–1–2– 4D Space + Time Labeling by Manual
Chapter 4–1–3 — Auto 3D Labeling
Chapter 4–1–4 — Auto 3D Labeling + Video Module by Automatic
Chapter 4–2 — 虛擬場景建立(Creating a Visual Scene)
Chapter 4–3 — 模擬訓練(Training Simulation)
Chapter 4–3–1 — 創造情境訓練(Create Scenario for Training)
Chapter 4–3–2 — 現況除錯修正訓練(Bug Fixing Training)
Chapter 4–4 — 基礎設施(Data Center & AI Training Server, Dojo)
Chapter 4–4–1 — D1 Chip晶片
Chapter 4–4–2 — Training Tile
Chapter 4–4–3 — Dojo Cabinet/Dojo ExaPOD
Chapter 4–4–4 — Dojo Interface Processors (DIP)
Chapter 4–4–5 — 電壓調節模組(Voltage Regulator Module, VRM)
Chapter 4–4–6 — 冷卻系統(Cooling System)
Chapter 4–4–7 — Tesla Dojo Software Layer
Chapter 4–4–8 — Dojo System Network
Chapter 5 — 後續可延伸的發展方向
Chapter 6 — 競爭對手比較等面向(乘用車)
Chapter 6–1 — 競爭者比較分析
Chapter 6–2 — Rivian
Chapter 6–3 — Ford
Chapter 6–4 — GM
Chapter 6–5 — Mercedes–Benz
Chapter 6–6 — BMW
Chapter 6–7 — Volkswagen
Chapter 6–8 — NIO(蔚來)
Chapter 6–9 — XPeng Motors(小鵬汽車)
Chapter 6–10 –Li Auto(理想汽車)
Chapter 6–11 — BYD(比亞迪)
Chapter 6–12 — 上汽通用五菱汽車
Chapter 7 — 競爭對手比較等面向(商用車)
Chapter 7–1 — 競爭者比較分析
Chapter 7–2 — Waymo
Chapter 7–3 — Cruise
Chapter 7–4 — Zoox
Chapter 7–5 — Pony.ai(小馬智行)
Chapter 7–6 — Apollo(百度)
Chapter 7–7 — 美國加州車輛管理局(DMV)測試報告分析
Chapter 7–8 — 分析各類交通工具單位成本
Chapter 7–9 — 估算以Tesla作為計程車輛的收益分析
Chapter 7–10 — Tesla Robotaxi可能造成的影響
Chapter 8 — 結論
Chapter 9 — 剖析重要事件影響
2024/3/6 Tesla AI訓練已經不再受到算力限制,且開放全美國車主免費使用一個月FSD
2024/4/24 Tesla 2024Q1財報分析
2024/4/29 唯一外國車企公司獲批全自動駕駛許可
備註
參考文獻
免責聲明

Chapter 0 — 引言

回想一下,現在我們在駕駛車輛時,總會遇到下列這幾種駕駛情境
情境一、在壅塞的小巷弄道路進行車流避讓
情境二、尖峰時段的車流交匯行駛
情境三、高速巡航的車輛間距與車速判別
情境四、到達變換燈號的路口時,煞車踏板力道形成減速變化感受
情境五、在行駛過程遇到突發狀況的急停或閃躲的操控
情境六、封閉道路的車位找尋與停車
情境七、對於道路違規的人、車、動物的交互行為抉擇
情境八、在不同國家的號誌標示辨識與適應駕駛行為文化

這些狀況都是在行車過程中常會遇到突發狀況,人類駕駛在對於這類狀況的處理也有優劣,在乘客舒適度、安全性也都有差別。每個人在駕駛時,對速度感受度、車距遠近、突發狀況的反應、駕駛習慣都不一樣,且各國的號誌標示、交通規則、道路路貌、駕駛行為文化也都不徑相同。光是人類駕駛要適應道路上瞬息萬變的狀況,就已經有不同程度的應對水準,若到其他國家更是要適應與辨識原有認知外的駕駛情況。

因此,要將車輛實現全自動駕駛真的是件非常困難的事情,尤其是將優良的人類駕駛模式轉換成程式碼,讓機器擁有相近人類的識別燈號標示、駕駛行為、狀況判斷、應對處理等,不只在硬體層需要足夠的算力應對,還要在軟體層用程式碼”量化”人類的駕駛感覺行為。除此之外,還要將常見或特殊的突發狀況進行訓練學習後,更新部屬到每台車輛上,預防後續事件再發生或優化自動駕駛的操作。

本篇,我將以Tesla建構通用人工智慧的全自動駕駛應用的Data Engine架構圖為基礎,如圖1–1。由此介紹硬體的更新迭代歷史、軟體演算法建構的解讀、影子模式的駕駛學習、資料運算中心(數據引擎)的應用與模擬訓練、後續可延伸的發展方向、競爭對手比較等面向。以硬體、軟體、功能層面細部介紹,再將競爭對手目前車款進行分析。

圖1–1、全自動駕駛訓練架構圖

Chapter 1 –硬體的更新迭代歷史

在圖1的左上部分是每台車輛的硬體配備,猶如下圖2–1的Tesla車款所配備的感測器作為環境條件的輸入,再經由電子控制單元(Electronic Control Unit, ECU)[註1]運算轉成輔助駕駛控制、環景顯示、障礙物偵測等功能。而其中的ECU、鏡頭、毫米波雷達(mmWave Radar)、超聲波雷達(Ultrasonic Radar)為最主要的硬體設備。

動力機械(汽車、機車)中的ECU運算元件,而傳統車廠在設計車輛是以不同系統功能(安全、車載通訊、底盤控制、動力傳動、保全等)對應不同ECU控制(氣囊、導航、引擎、車窗、懸吊等)的方式進行規劃,這樣的設計只能發展極限到自動駕駛Lv2等級的車輛水準。Tesla有別於傳統車廠的將E/E架構[註2]進行變革,將功能導向的ECU轉為整合型的ECU,即是以中央計算模組(Central Computing Module, CCM)[註3]加上三個區網域控制站,將整合資訊提供給各功能模組進行協同運作與決策,這也是硬體運算電腦(Hardware, HW),如HW2、HW3、HW4、HW5。

許多媒體在2019年拆解Model 3、Model S、Model X時,發現Tesla已經將E/E架構整合為集中式E/E,並開始大量商業銷售。但在BOSCH報告中,原先估計集中式E/E架構的大規模商業化應用要到2025年後,由此瞭解Tesla在行業中的創新與領先,已經超前傳統主流車企約6年左右的時間。

圖2–1、車輛硬體配備

自動駕駛或輔助駕駛需要感測器輸入環境條件,再經HW運算處理後,輸出控制油門/煞車、方向機轉向、車身動態平衡、車輛行駛道路置中等,才構成基本的輔助駕駛功能。下圖2–2、2–3是歷年硬體配備的演進,針對軟體功能、硬體配備進行呈現。

圖2–2、歷代硬體配備與功能(Hardware)
圖2–3、歷代硬體配備與功能(MCU)

Tesla在資源不足狀況下,與廠商(Mobileye, Nvidia, Bosch, Continental, Infineon等等)合作的方式逐步建構輔助駕駛功能。並在資源一步步完善後,開始轉為自研發晶片、演算法、運算設備等。

Chapter 1–1 – 以硬體感測配件為例
初期Tesla的硬體配備與目前主流車廠的配備差異不大,主要是前方鏡頭、後方鏡頭、超聲波感測器、毫米雷達等內容。後續因為自研發晶片與純視覺方案(Tesla Vision),才將相關雷達感測器移除。

Chapter 1–2 – 以硬體運算設備為例
Chapter 1–2–1 – HW1
在2010~2016年代,Mobileye的輔助駕駛系統(ADAS)技術是較為成熟,且廣泛被Volvo、BMW、Audi等車廠所使用。因此Tesla採用Mobileye EyeQ3視覺辨識晶片與Nvidia Tegra 3 SoC晶片[註4],並自行設計研發硬體運算電腦(HW1)及軟體,來建構初代Autopilot。當時Autopilot v8.0以前版本還是以影像辨識為主,雷達建構環境數據為輔,而影像辨識系統是以Mobileye軟體與Tesla自研發軟體的結合,但在2016年5月時,發生Tesla Model S車主Joshua Brown在使用Autopilot v7.0輔助駕駛時,與左轉貨車相撞事故,圖2–4。車禍發生的說法是,當時正值下午時段,太陽光照射在Tesla Model S的前擋上,使得半掛卡車的貨櫃側牆(Sidewall),如圖2–5,呈現強烈的背光並形成暗色,這使得鏡頭的數據蒐集後識別錯誤,並將不完全的2D平面數據傳送至硬體運算電腦(HW1)以執行錯誤的場景運算,因此才使Autopilot沒有煞車的逕直的衝撞半掛卡車,導致憾事的發生。這個事故也使Autopilot v8.0推遲發布、Tesla終止與Mobileye的合作、轉向與Nvidia合作、Elon Musk轉向使用毫米波雷達等系列事件的推進。

圖2–4、當時車禍示意圖(Source: 參考文獻6)
圖2–5、Semi Truck名稱解說(Source: 參考文獻7)

Chapter 1–2–2 – HW2
終止與Mobileye合作後,在2016年10月開始採用Nvidia SoC晶片(Drive PX 2 for AutoCruise),其外掛在自研發硬體運算電腦(HW2)及自研發軟體,如圖2–6。SoC運算晶片採用的轉變後,可支援8個車輛鏡頭、毫米波雷達、超聲波雷達等感測器的數據輸入,使得車輛環境的感知能力提升6倍,且對障礙物辨識也有顯著的提升。硬體配備的效能提升也反映到軟體上。從Autopilot v8.0版本後的環境識別,改以雷達建構環境為主,視覺辨識為輔。

圖2–6、HW2.0 with Drive PX2

在2017年5月,硬體運算電腦(HW2.5)版本問世,採用近似客製Nvidia自動駕駛的硬體模組(Drive PX 2 for AutoChauffeur)的方案[註5],HW2.5版本搭載2顆Tegra Parker SoC運算晶片(TDP為10W)、1顆Pascal GPU、1顆Infineon TriCore CPU架構,如圖2–7。使用上,讓Tesla更能依照需求的蒐集感測器數據,並在PX2自動駕駛的自定義版本,彈性的編撰自研發的Tesla Vision系統、自動駕駛輔助系統(Autopilot, AP)。此外,兩顆SoC晶片也增強算力與安全冗餘,即便運算過程中突然Tegra Parker A出現故障,Tegra Parker B也能立即接手運行Autopilot。且車輛鏡頭也有些變化調整,將原先的RCCC濾鏡變更成RCCB濾鏡[註6],提高辨色能力,將擷取的影像用於機器分析。

HW2.5的搭配像是在原Nvidia架構上改裝,在整體性能沒完全符合預期,且關鍵技術綁在他人身上,但當時這方案是最符合Tesla的需求。基於Nvidia Drive PX2的硬體與DriveWorks開放式運算平台架構,整套方案可讓車載電腦進行小型模型的機器學習訓練,且包含人/車/物體檢測、高精度地圖(HD Map)生成、車輛定位(GPS)、導航路徑規劃等,並可將數據傳輸至雲端伺服器進行模型訓練,用以應對大量的機器學習訓練和應用場景演算法的使用,如圖2–8。

HW2.0跟HW2.5的兩階段主要採用協力廠的SoC運算晶片,無法完全軟硬體整合的自研發需求,且know-how零件/技術綁在他人身上,也無法讓利潤最大化。這樣情況下,長期發展以自研發關鍵零組件仍是最佳的策略,這也是Tesla在HW2.0階段開始投入資源發展自研發FSD晶片的緣由。Tesla在參考Nvidia DriveWorks平台建構Tesla Vision系統、自動駕駛輔助系統(Autopilot, AP與Full-Self Driving, FSD)、自動駕駛的硬體模組(FSD computer)等雛形,並直接挖角聘請AMD的晶片架構師Jim Killer來替FSD晶片做架構設計,自研發的硬體與軟體即不需要依賴任何平台,可由任何協力廠商的電腦驅動,達到最終的自研發硬體、晶片、軟體系統的自有核心技術。

圖2–7、HW2.5 with Drive PX2
圖2–8、Nvidia的端到端自動駕駛訓練平台

Chapter 1–2–3 - HW3
自研發的硬體運算電腦(HW3.0)版本,在2017年8月已經在開始流片(Tape Out),並在2018年12月裝載到車輛上進行檢測。此版本搭載2顆FSD SoC晶片、2顆GPU、2顆NPU(神經網路加速單元, Neural Network Accelerator, NNA)、1顆CPU、1顆影像處理器(Image Signal Processor, ISP)、1顆視訊處理IC等主架構,如圖2–9。完全客製化的晶片已能全面符合運算效能、軟硬體整合、成本、深度學習(Deep Learning)的神經網絡加速運算、關鍵技術掌握等需求,且這版本的效能也有顯著優化,成本減少32.1%(HW2.5 US$280→HW3.0 US$190)、特定NNA運算效能增加21倍(HW2.5 w/ Drive PX2(110 FPS)→HW3.0 w/ FSD SoC(2300 FPS)),運作功率增加25%(HW2.5 w/ Drive PX2(57W)→HW3.0 w/ FSD SoC(72W)),最終的HW3.0綜合性能表現是HW2.5的2.5倍。

圖2–9、HW3.0 with FSD SoC

HW3.0延續HW2.5的2顆SoC安全冗餘設計,整個工作流程如圖2–10。2顆FSD SoC皆獨立運作的進行,當感測器將蒐集的資訊會同步發給2顆FSD SoC進行同時處理、比較後並給出規劃方案,由Safety System的CPU進行評估與裁決,再將執行訊號發送至各個功能控制ECU,隨後2顆FSD SoC會繼續同步驗證規劃資訊是否一致。即便發生突發狀況,使單顆FSD SoC晶片故障,另顆FSD SoC也能立即接手處理,這也突顯出故障保護的安全性非常高。

圖2–10、HW3.0工作流程圖

發展HW3.0版本的時點,恰好是建構Tesla Vision、新世代半/全自動駕駛平台的時點。自動輔助駕駛系統利用機器學習的神經網路(Machine Learning Neural Network)進行鏡頭拍攝的圖像融合、路標辨識與標註、導航任務規劃與執行、任務執行的失誤點反饋等,如圖2–11。在2021年五月時,Tesla宣佈北美市場的Model 3/Y車系移除毫米波雷達,取消的主因是非常多的車輛會異常出現突然減速(phantom braking),使得Tesla重視這項行車安全的疑慮。當時全自動輔助駕駛系統Autopilot電腦視覺團隊領導Andrej Karpathy在CVPR分析毫米波雷達發生問題的情境,這邊整理分析內容與自身觀察到的狀況
1. 前車突降速度(突變速差)時,毫米波雷達無法很好呈現現況。當前車快速煞車時,數據呈現前車反覆的出現或消失,造成系統誤判而突煞車或突加速,如圖2–12。
2. 道路前方出現橋樑/隧道/路標架等,因為毫米波雷達沒有垂直方向的解析度,會認為前方有靜止物體而啟動煞車,如圖2–13(影片)。
3. 前方的物體靜止或與行駛車輛的速差過大到視為趨於靜止時,毫米波雷達無法確定前方物體是否靜止,因而無啟動煞車動作,如圖2–14(影片)、2–15 (影片)。
4. 行駛車輛行經橋梁/道路的伸縮縫前,毫米波雷達的訊號觸及到伸縮縫後反射,使得車輛接收到訊號後判斷出前方突然有物體出現而煞車,圖2–16(影片)

在取消毫米波雷達後,也正式導入Tesla Vision的純視覺方案,當時正採用BEV (Bird Eye View)的時間點;並在2022年時,更進一步取消超聲波感測器(Ultrasonic Sensor, USS),及推出Occupancy Network來預估環境物體的佔用空間比例與判定其運動狀態,用以完全取代雷達[註7]功能。

圖2–11、硬體FSD SoC晶片與軟體演算法的結合
圖2–12、使用毫米波雷達的自動輔助駕駛事故(突變速差)
圖2–13、使用毫米波雷達的自動輔助駕駛事故(經隧道)
圖2–14、使用毫米波雷達的自動輔助駕駛事故(撞靜止貨車)
圖2–15、使用毫米波雷達的自動輔助駕駛事故(撞低速行駛工程車)
圖2–16、使用毫米波雷達的自動輔助駕駛事故(行經伸縮縫)

Tesla取消雷達轉推行純視覺(Tesla Vision)方案,初期有許多網友It’s Only ElectricMunro Live針對前保險桿的盲區和成本優化進行分析。由圖2-17、2-18可得知純視覺方案在前車頭的盲區空間較大,也完全有會撞擊到物體的可能狀況,Sandy Munro測試的結果也表示車前方1m與高度30cm的空間是視覺盲區。但視覺盲區部分已藉由軟體演算法跟車前保險桿安裝鏡頭來進行改善。在成本節省上的估計,Sandy Munro評估省下超聲波感測器(US$8)、感測器支架的相關零件(US$1.8)、線材(US$2.2)、運算晶片(US$5),每輛車的12個感測器總共可省下約US$114的成本。

圖2–17、Tesla純視覺方案 VS 超聲波感測器
圖2–18、Tesla Vision盲區(Source: Munro Live)

2021年底,Elon Musk在Lex Frideman的採訪中談到,Tesla Vision的鏡頭拍攝的圖像不需要先進行各種濾波處理,圖像對機器而言只是RGB組合的訊號,呈現正確資訊數據與訊噪比,使機器判讀正確才是重要的。在HW3.0中的影像訊號處理器(Image Signal Processor, ISP)最主要針對濾鏡、去馬賽克、HDR、色彩處理、顏色增強等功能進行調整,類似ARM的ISP處理程式,如圖2–19所示。在車輛行駛的過程,8個鏡頭共用1個ISP的影像處理器,將每個鏡頭的圖像分為較小的tile(塊)且處理每個鏡頭的tile(塊)會有1.6ms延遲,當第8個鏡頭的tile(塊)已經延遲11ms才正要開始處理第一個影像,這會使控制訊號收斂速度變慢。若將當第一個鏡頭tile(塊)處理完成後,立即傳給NNA做偵測任務,就不用等最後一個圖像完成才開始後面的任務,就能省下13ms的延遲時間。

省下這些13ms的處理時間,雖跟人類大腦的20ms處理時間相近,但會發生問題的不是圖像處理時間,而是影像處理後的結果傳給執行器的”更新頻率”。若執行器的更新頻率為10Hz(100ms)才做出一次控制指令,執行器在100ms內已經接收7~8次(100ms/12.8ms)的ISP處理結果,並接受最後一次的結果後做出判斷,但若演算法錯過接收指令的時機,需要等到下個100ms才接收指令,在緊急狀況時,這200ms的延遲就會增加車禍發生風險。執行器的固定更新頻率條件下,某些非同步和不確定性的抖動(Jitter),是可預先計算某些非同步和不確定性延遲秒數,因此可控制動作前做出預測,以補償延遲的缺陷。

圖2–19、Mali-C71 ISP IP

Chapter 1–2–4 - HW4
根據X(Twitter)用戶Green(@greentheonly)拆解在Model X的HW 4.0硬體規格與其他蒐集到的資料顯示。硬體運算電腦(HW3.0)與車機娛樂系統設計為兩塊背靠背的主機板,但到HW4.0版本已經整合成一塊主機板。HW4.0版本升級變化非常大,不只是硬體模組(FSD computer)的CPU核心數增加、時脈數增加、介面調整等,也在鏡頭模組進行升級,如影像處理模組ISP(Onsemi AR0136AT→SONY IMX490)、鏡頭圖元(1.23MP→5.43MP/1.36MP)、鏡頭廣角(120°→175°/120°)、解析度(1280x960→2896x1876/1448x938)、濾鏡(RCCB→RGGB)等,並預留一個毫米波雷達+雷達加熱器的介面與安裝空間。這些硬體設備的升級,大幅提升軟體識別與運算的能力,使整體算力提升4倍,但部屬HW3.0版本的車輛無法升級HW4.0。在鏡頭總成組件的畫素、解析度、濾鏡都提升,蒐集到的畫質更為清晰,也助於Tesla Vision識別整個環境的過程,降低失誤率,如圖2–20。

LED頻閃效應因人眼的視覺暫留而無礙辨識,但對於幀速率不同的鏡頭,顯示內容就會看不到或只看到部分內容,當鏡頭影像感測器從Onsemi AR0136AT(HW3.0)變為SONY IMX490(HW4.0),最明顯的改善是針對LED顯示辨識,使LED數位顯示內容能完整呈現並辨識。如圖2–21。且濾鏡由無綠色濾鏡組合的RCCB,為了提升夜間亮度,在不犧牲亮度的前提改為RGGB。

HW4.0已經9個鏡頭介面增加12個,比HW3.0多出來的3個鏡頭,Green(@greentheonly)推論在未來版本可能安裝到前前葉子板、前保險桿周邊區域,以達到畫面零死角的目標。從Cybertruck的鏡頭配置,可看出有前保險桿的鏡頭,已能讓保險桿前方的視覺盲區得到改善,如圖2–22。

圖2–20、HW3.0與HW4.0鏡頭畫質差異
圖2–21、SONY IMX490效果(Source:https://www.willas-array.com/sony-imx490/)
圖2–22、Cybertruck 前保險桿下鏡頭

預留的毫米波雷達介面,HW4.0增加名為代號Phoenix的雷達介面與雷達加熱器,圖2–23,再加上有網友拍到Tesla安裝雷達進行測試的照片,如圖2–24,而這外型與Phoenix的名稱,恰好是Arbe Robotics的4D高清雷達Phoenix Imaging Radar非常相似,如圖2–25。這說明Tesla可能會在新車上重新裝回雷達,而雷達的功能應會是建立環境物體的距離、高度訊息,用以輔助Tesla Vision的虛擬空間完整性的建立。依照4D雷達的使用,評估推測是作為校正。HW4初使用時,在工程測試車輛都能看到有這雷達使用的狀態,利用視覺的NeRF重建3D場景,但整體的場景勢必跟實際狀況會有些落差,因此借用4D雷達去補上差異。來讓純視覺形成的空間,再補上校正係數,來完善整個空間距離。

圖2–23、Green拆解Model X的HW 4.0規格
圖2–24、疑似Tesla測試4D雷達
圖2–25、Arbe 4D雷達示範影片

Chapter 1–2–5 - HW5
硬體運算電腦(HW5.0)版本,目前僅有釋出後續也是由三星進行生產製造,詳細推出的時間點、規格也尚無明確資訊,這部份待釋出最新資訊後再進行更新。

Chapter 2 - 影子模式的駕駛學習

Tesla在2017年開始建構全新的自動駕駛平台,當時的全自動駕駛部門主管Andrej Karpathy申請一系列的專利在描述該系統的運作情況。SYSTEM AND METHOD FOR OBTAINING TRAINING DATA(EP3850549A1),如圖3–1、3–2,運用車輛鏡頭蒐集用戶行車片段視頻,用以建構機器學習(Machine Learning)識別車道線、街道標誌、號誌燈號、規劃路線、駕駛行為等。Tesla獲取車輛數據方式不同於其他自動駕駛賽道的競爭者(Google Waymo, GM CRUISE, aiMotive, Apollo autonomous drive US, Apple, Argo, Aurora Operations Autox Technologies, Didi Research America, Lyft, Intel, Mercedes-Benz Research & Development North America, Nvidia, Pony.AI, Qualcomm Technologies等)。競爭者(Google Waymo, GM CRUISE等)是以在美國特定市區投放車輛並營運無人計程車,讓這些特定車輛在市區中運行以獲取真實數據並於以修正,但明顯的缺點是數據量少、區域限制性,難有大規模普遍性;或其他自動駕駛公司向政府單位Department of Motor Vehicle(DMV)申請自動駕駛車輛道路測試許可,在特定區域進行測試且定期提交測試報告;Tesla則是讓用戶主導駕駛行為,系統在後台獲取大量行車數據,用以不斷的改進自動駕駛系統,讓整體運行更加平滑完善,但在政府單位Department of Motor Vehicle(DMV)的申告自動駕駛分級定義為Lv2且不按照要求定期繳交測試報告,這也使得大部分人認定Tesla僅有Lv2的水準。

圖3–1、專利示意圖
圖3–2、專利流程圖

全自動駕駛系統的演進過程相當引人注目,且蒐集數據做為後續改善的方向由為重要。Tesla從2017年5月初開始的行車環境數據蒐集,並在2019年4月推出的「影子模式(Shadow Mode)」功能,將Andrej的專利實現於運行全自動駕駛系統訓練,如圖3–3。

圖3–3、影子模式

全球Tesla車輛駕駛人仍主導車輛巡航控制,硬體運算電腦(HW)在後台持續提出巡航規劃,並透過影子模式對比駕駛人與HW差異(突然接管、行為差異、巡航路徑偏離、車速、方向機轉動角度、加速/煞車斜率、事故資料記錄器(Event Data Recorder, EDR)等)都會構成資料蒐集的觸發條件(Trigger),如圖3–4。若部分情境案例的執行效果不佳,系統將抽取該部分案例情境,同時通過影子模式收集更多類似的數據,定期回傳篩選過的重要資訊片段(Video Clip)與車輛數據,傳至雲端伺服器(Data Center)形成數據的搜尋引擎,透過工具對錯誤的演算法(神經網絡模型)決策進行“查漏補缺”,接著運用AI運算伺服器(Dojo Accelerator ExaPOD)提取資料集群訓練線上模型(車載端)和離線模型(伺服器端),並在訓練修正後更新資料集群,再重新部屬回車端的影子模式中測試不同版本成效,直到經過最終驗證後,最終將新版本部屬回車端HW演算法版本,如此才完成整個數據引擎(Data Engine)的閉環循環訓練,如圖1。

圖3–4、驅動影子模式的環境事件

數據引擎的目標是確保以最有效的方式收集數據,以覆蓋模型在真實無約束世界中可靠執行所需的極長尾部範例。資料引擎的核心步驟為:
1. 使用新物件類別標記初始資料集
2. 訓練模型來偵測新物體
3. 評估績效
4. 尋找運行性能低下的案例
5. 將它們添加到資料單元測試中
6. 觸發採集數據的方法(手動設定觸發、Autopilot介入、影子模式觸發)
7. 在影子模式下,將模型部署到車隊以獲取類似的邊緣情況
8. 從車隊檢索相關案例
9. 審查並標記收集的數據
10. 重新訓練模型
11. 重複步驟6~9,直至模型表現可接受

中國的一些車廠(理想、蔚來、比亞迪、小鵬等)也想仿照Tesla的影子模式功能,但因為硬體運算電腦(HW)、運算晶片、零配件、資料中心的運算伺服器等都不是自行研發,因此在互相相容與權限等級,就已經困難重重。再加上軟體演算法要全部相容的語法撰寫,使得做到軟硬體整合的技術更加難以完成。這也是現在僅Tesla有影子模式功能的訓練模式。在車輛市佔率上,因為車款單價、汽車公會的價格綁定下等,沒法有效拉高銷量,造成假設有影子模式下,訓練數據的體量沒法巨幅擴增。
第二因素,中國用戶對車輛的需求,大部分仍以低價為主要考量依據,這也使得車企配備額外的輔助駕駛功能,會使車價增幅過多,進而影響購買意願。
第三因素,中國車企的中國汽車公會組織有共同協議的訂價水準,用以維持利潤水準,若無法降低售價以衝刺車輛銷售數量,最終無法達到一個數量級,假使有影子模式作為輔助也無法呈現有效的數據壁壘。
第四因素,目前中國電動車產業,已在充電樁的基礎設備大量建置,構成車輛硬體成本外最大硬傷,要在從車輛售價進行調降也是非常困難。這也是Tesla在中國市場的市佔屹立不搖的原因。

2023年8月的訊息,根據X(Twitter)用戶Tesla China Analyst(@teslashanghai)發推文表示Tesla在中國的系統更新頁面中,數據分享頁面新增「允許Autopilot自動輔助駕駛分析和改進」,以徵得用戶授權來蒐集和分析Autopilot資料對其進行改進。自己自家的Tesla車款也在2024年1月也收到相同的徵求資料授權,如圖3–5~3–7。

這時間點不免讓人推論Tesla可能要用現有成熟的「影子模式」功能,對無法人工編碼的駕駛行為、應對不同地區的駕駛文化進行模仿學習,配合計算視覺與行為預測的深度學習及海量數據蒐集,將FSD V12版在後台進行比對訓練,利用觸發條件(Trigger)將差異狀況進行歸納蒐集後,讓AI觀看駕駛片段來學習如何駕駛,並全自動編撰程式碼與更新,更加適用當地的全自動駕駛運作。仔細注意近期新聞中可發現,現在已經不只中國有如此的蒐集分析權限徵求,有販售Tesla車輛的地區都已經開始陸續有這些權限徵求,這也意味著Tesla將會更快速的學習不同地區的駕駛文化、習慣等模式。

Tesla作法像是Deep Mind訓練AlphaGO,每天同時幾百萬台車輛用影子模式在公路上對比評估,且全球各地無止息的訓練反覆運算,因此當用戶數量越多的狀況下,在全球蒐集的數據呈現指數的巨量增長,形成Tesla最核心的競爭力和技術壁壘,使其他自動駕駛廠家、車企越來越難追趕並突破的數據護城河。

圖3–5、Tesla徵求資料授權-1
圖3–7、Tesla徵求資料授權-3

Chapter 3 - 軟體演算法建構的解讀

這篇章介紹Tesla的全自動駕駛演算法,軟體部分已成為Tesla最強大的技術壁壘之一。從2019年的Autonomy Day到近期的AI Day和Investor Day,Tesla在這些重要會議上持續分享有關自動駕駛系統的技術架構與發展成果。這種公開展示的做法不僅是展現公司技術實力的秀肌肉,同時也傳達隱藏涵義,如吸納全球優秀人才、向投資人展現Tesla的市場優勢,甚至向競爭對手展現公司技術護城河壁壘的深度與廣度。這種開放性的分享策略,可能導致競爭對手學習Tesla的技術或策略,Tesla對於開放合作和行業透明度的鮮明表態,此舉旨在加速推動自動駕駛技術的發展與普及,加速推進整個行業的進步,但也加速不願改變的舊產業淘汰。

Tesla直接以工程技術為主軸的分享全自動駕駛系統成果,這些分享也讓工程背景但非相關專業領域的我,學習的非常吃力,更別說非工程背景的人,可能從整個架構到每個細節理解起來就像天書一般。接著就我所理解的程度,來探索這些技術背後的細節,以更清晰的明白其演算法建構的關鍵要素與技術思維。

Chapter 3–1 - Tesla Vision(HydraNet) by Andrej Karpathy
Tesla在與Mobileye分道揚鑣並開始採用Nvidia的硬體運算電腦(HW2.0)時,當時Tesla宣告正開始建構全新系統與平台的自動駕駛系統。可由Elon Musk學習新知或分析問題的主軸”第一性原理(First Principle Thinking)”,來推想他如何一步步規劃全自動駕駛系統的目標。

“全世界的道路,都是為了人類駕駛而設計的”,因此當人類在駕駛車輛的過程,必須識別道路的涵義、燈號路標的指示、與其他行徑間車輛或行人的交互行為過程,這時人類駕駛從眼睛接收資訊後,在大腦識別與處理後做出相對應的決策行為並控制車輛行徑,由此循環往復;而自動駕駛系統也是相同的邏輯思維,先由鏡頭蒐集周遭環境狀況,由此構成可視化的虛擬空間(Tesla Vision),再讓車輛擁有自主思維(mind of car),並運用神經網絡規劃相對應的決策行為與控制車輛,如圖4–1。

圖4–1、人類與機器駕駛

由此Andrej Karpathy先建構如人眼般可視覺辨識空間環境,也就是Tesla Vision。初期提出Tesla Vision的架構HydraNet,如圖4–2左。將鏡頭蒐集到的影像,經過神經網絡處理後,呈現2D鳥瞰環境空間(Bird Eye View, BEV),再將BEV與環境數據輸入不同功能的端部,如同九頭蛇執行不同任務。下段將詳細介紹HydraNet各功能原理,Tesla Vision的版本演進如下圖。

圖4–2、Tesla Vision發展

如圖4–3,HydraNet的第一層將車輛各位置的鏡頭拍攝圖像進行預處理修正畫面(Rectify),因鏡頭本身差異、組裝差異、與不同焦距鏡頭的拍攝畫面會有畸變[註8]與色差,故進行參數修正來讓每個相機畫面品質呈現一致,接著進行圖片拼接(Image Stitching)[註9]。初始拼接後的環景照僅有2D圖像,實際的3D位置卻無法呈現。這邊以我自己BMW車輛的環景成像為例,可看到是以圓弧狀圖像呈現,這就是鏡頭拍攝後存有畸變的拼接結果,由此可知道跟左右車輛距離與地面狀況,但非3D實際位置,如圖4–4。

在鏡頭圖像拼接外,AI Day中也有介紹使用單鏡頭偵測與多鏡頭的偵測的差異程度,多鏡頭的實際物體位置穩定度非常高,隨後在動態的行駛間,以單幀圖像成像與影片成像比較,可發現整體的穩定度已經有95%以上的重疊,為了更加細緻的比較與實際物體的差異情況,故再以動態行徑間引入雷達偵測的方式,在這比較結果已經可清楚瞭解使用多鏡頭的視覺方案在動態行徑已經與雷達方案幾乎趨近的同水準,如圖4–5。

圖4–3、Image Featurizer of HydraNet-RAW & Rectify
圖4–4、鏡頭拼接後原畫面(BMW)
圖4–5、鏡頭數與雷達的動態差異比較

當鏡頭每幀圖像蒐集後,則開始執行RegNet[註10]與BiFPN[註11]的卷積神經網路(Convolutional Neural Networks, CNN) [註12],這兩個架構都是Facebook(Meta)最早提出,主要對於圖像特徵的提取處理。執行骨幹(Backbone)的RegNet對圖像的特徵做初步的CNN細節特徵提取,淺層的圖像解析度高;接著執行Neck(頸端)的BiFPN卷積到深層網絡,將圖像的圖元各值進行陣列的乘積累加運算,形成原始圖片圖元越來越小,語意特徵越來越明顯且解析度降至最低,每個語意對應一個通道數,針對圖像細節、語意訊息做深度提取,如圖4–6。

圖4–6、Image Featurizer of HydraNet-RegNet & BiFPN

有了圖像、道路上物件的語意特徵、深度資訊後,接著將各類資訊與2D圖像特徵投影到車輛系統的座標空間(Vector Space),並經由自然語言處理(Natural Language Processing, NLP) [註13]的Transformer模型[註14]再融合成3D畫面。在Transformer模組的重要參數為Query、Key、Value。這是將鏡頭拍攝到的圖像,向Query查詢所屬類別(如車輛、路標、號誌、行人、標線、障礙物等),並通過該類別比對Key的特徵值(如車體形狀、車輛體積、車牌、車燈、後視鏡、玻璃、車輪數量等),最終得到Value的結果(如,汽車、機車、客貨車等),如圖4–7左下所示。接著,神經網絡將Transformer找到的Value投射到3維的向量空間(Vector Space),並與原有的拼接圖像融合形成鳥瞰圖(Bird’s Eye View, BEV),如圖4–7左上所示。

圖4–7、Image Featurizer of HydraNet-MultiCam Fusion & BEV

當整個BEV的虛擬空間形成後,各個物體在這個向量空間(Vector Space)還缺少時間、其他物體的運動狀態,因此需要將每幀圖像轉換成帶有速度向量的結果,故加入特徵序列模組(Feature Queue)、視頻模組(Video Module),如圖4–8。

圖4–8、Image Featurizer of HydraNet-Feature Queue & Video Module

特徵序列模組(Feature Queue)會緩存短暫過往至今時間中,其環境周遭的空間特徵,並每隔27ms推送狀態至時間序列與每隔1m推送狀態至空間序列,以提供環境條件,且車輛自身狀態會將每時刻的姿態、角速度、加速度、車輛GPS位置等數據,由慣性測量單元(Inertial measurement unit, IMU)[註15]進行輔助紀錄與推送至模組。緩存的空間與時間特徵序列資訊,提交到視頻模組(Video Module)。此模組會使用帶有時間序列與短暫圖像記憶LSTM[註16]的RNN循環神經網絡[註17],對於周遭環境進行建模。

當實際環境條件轉為虛擬空間BEV後,接著Detection Head會啟動進行子任務的處理,如路緣線識別、指示牌識別、燈號識別、物體偵測、導航規劃、數據蒐集等,都在HydraNet頭部進行。蒐集後的數據再重新運行一次Tesla Vision(HydraNet),使虛擬空間的邊緣條件逐步趨於完整。

Chapter 3–2 - Tesla Vision by Ashok Elluswamy
隨著Andrej Karpathy的離開自動駕駛團隊且新一代HW4.0發佈。Tesla對硬體功能更新,也對鏡頭的規格更新,更清晰的高畫素與濾鏡調整,如圖4–9。Tesla Vision的RegNet與BiFPN的底層架構維持,如圖4–10。而有最大幅度變更的是Multi-Cam Fusion & Transformer模組,在2022年加入空間注意力模組(Spatial Attention) [註18],將2D BEV轉為3D Space,如圖4–11。將原先僅2D Query轉為3D Query,再引入時間對齊(Temporal Alignment) [註19]後進行反卷積計算,及引入Occupancy Feature的加權融合,輸出地平面語意與幾何特徵、周遭環境物體特徵(如體積、速度、狀態)都將轉換為Occupancy Network(物件的體素(Voxel)特徵)與Occupancy Flow(物件的速度、加速度)引入計算,最終經過多層感知器(Multi-Layer Perceptron, MLP) [註20]計算後,再引入Key、Value後進行Transformer取得虛擬3D空間。

圖4–9、Image Featurizer of Tesla Vision-RAW & Rectify
圖4–10、Image Featurizer of Tesla Vision-RegNet & BiFPN
圖4–11、Image Featurizer of Tesla Vision-Transformer

3D空間的Transformer,其中Occupancy Network的貢獻相當重大。Tesla Vision初期的Occupancy Tracker以2D平面方式顯示障礙物位置,如圖4–12。後續Occupancy Network建構3D空間,如圖4–13,以鏡頭拍攝圖像中的物體轉換成立方體素(Voxel),這方式顯示大幅縮減描述物體的細緻度所造成緩存空間的記憶體佔用與提高運算速度。利用Transformer的辨識Query類別後,也會將環境固定物體(膚色)、移動物體(藍色)、須注意障礙物(紅色)等,給予不同顏色作為辨識佔用空間的運動狀態,用以形容未見過形狀和場景的三維結構,如圖4–14。

圖4–12、Occupancy Tracker展示
圖4–13、Image Featurizer of Tesla Vision-Occupancy Network
圖4–14、Occupancy Network展示

利用Occupancy Network來判讀車輛與其他佔用物體的運動狀態,來規劃導航路徑與速度。此模組中引入鬼影問題(Ghosting),描述車輛在行駛時,總有物體動態會在視覺盲區中,一旦突然出現視野範圍內,突發緊急的操作勢必會增加車禍風險。故先將視覺盲區範圍內,視為有物體正朝向車輛位置進行運作,使車輛預先防衛駕駛,當視覺盲區消失後且確認無來往車輛,此時就會按照原規劃持續行駛,如圖4–15。

為了讓輸出的3D虛擬環境更加細膩真實,利用車隊的每次行駛過程,實時拍攝各種角度的一系列圖像數據後傳送回伺服器端,將圖像數據引入神經輻射場(Neural Radiance Field, NeRF)[註21]進行場景的神經網絡訓練。在訓練過程涉及真實圖像數據和神經網絡預測間的差異,此差異會以各種損失函數(Loss Function)[註22]呈現,如分類問題的二元交叉熵損失(Binary Cross-Entropy Loss)或渲染損失(Rendering Loss),藉由持續性的更新圖像數據與神經網絡訓練,以此最小化損失(提高真實性)。

運用NeRF進行場景訓練與渲染環境場景的任連續視角,再經由損失函數的最小化後,再結合Occupancy Network的環境周遭物體的佔用狀態,及Occupancy Flow的環境周遭物體的運動狀態,就能精準創建出超真實的3D模型與3D Reconstruction Volume,形成Tesla版本的高精度地圖。這樣做的目的為了提高自動駕駛汽車的高準確度決策,如圖4–16。

圖4–15、視覺盲區問題
圖4–16、Occupancy Network + NeRF

接續在Feature Queue跟Video Module中的規劃行駛路徑或在道路上與其他物體的交互作用,也有顯著的優化。如圖4–17所示,Spatial RNN運用所有Tesla車輛紀錄路貌的短期記憶神經網絡,當車輛經過道路的過程,將該道路的樣貌做拼湊(Multi-trip Reconstruction),並把道路上的路緣線、標示、號誌等,進行語意標註。
接著當自動駕駛車輛行駛到路口時,就需要以語言模型開發的Vector Lane模組進行規劃行駛路徑,如圖4–18,其內容分為車道變換(Lane Change)、路口車道選擇(Language of Lanes)、市區道路的避讓行駛(Jointly Problem)、停車位的尋找與停車(Parking Problem)。
● 路口車道的選擇引入Language of Lanes,這概念像似語言單字的挑選組合成單詞。其運作原理是先在一街區以大網格切分,再將車輛所屬的大網格座標進行切分為小網格,當車輛獲得確切座標後,當要直行/轉彎的決策時,運用Attention模組預測接下來的路口型態,並評估延續原車道或變換車道的實時的決策,如圖4–19。
● Planning a Lane change,規劃如何順暢且不影響其他車輛行徑的情況進行變換車道,且在變換車道的過程,控制車輛的加減速、轉彎離心力等,讓乘客感受到舒適,如圖4–20。
● Planning Jointly,互相避讓的問題在一般市區道路是時常可見,在狹窄道路上發現要避讓車輛時,執行蒙地卡羅搜尋樹(Monte Carlo Tree Search, MCTS)[註23],進行多種可行方案的評估,在實時根據對方車輛的動態,調整決策。在2022年更新優化的規劃中,對於更複雜的路口、車輛、行人等,可以更流暢的做出相對應的判斷,如圖4–21、4–22。
● Planning parking problem,利用演算法來規劃路徑與找尋停車位,最終以蒙地卡羅搜尋樹(MCTS)選為最佳的演算法方案,將40萬筆決策縮減為288筆,大幅的提高決策效率,如圖4–23。

將Tesla Vision各模組的功能疊加運用,使得端部的Detection Head對於實際路上搜集的資訊越來越豐富,如Future Trajectory、Lane prediction、Object Detection、Ego View、Traffic lights Detection、Stop Sign Detection、Occupancy Network、Vector Lane(v10.11)、Lane Edge、Map Guidance Module(v10.69)等,道路與其他物體的資訊蒐集後,再反覆運算回Tesla Vision規劃導航決策,這一整套模組整合後,就是我們正在使用的Autopilot/Enhance Autopilot(AP/EAP)、Full-Self Driving(FSD),如圖4–24。

圖4–17、Image Featurizer of HydraNet-Video Module -2
圖4–18、Feature Queue & Video Module of Tesla Vision for planning
圖4–19、Language of Lanes
圖4–20、Planning a Lane Change
圖4–21、Planning Jointly-1
圖4–22、Planning Jointly-2
圖4–23、Planning Parking
圖4–24、Image Featurizer of Tesla Vision-Detection Head

Chapter 3–3 - Tesla FSD Test Video
2023年8月時,Elon Musk已經宣佈Tesla FSD V12已經將所有模組轉為神經網絡(AI)編撰架構。2023年底開始,已向員工及非員工的小部分使用者推送FSD V12的測試使用,全新端到端全自動駕駛系統,從行駛數據中訓練學習。對於可能發生的潛在問題,進行神經網絡的提取特徵與大量類似案例訓練來解決問題,隨著算力的提升、行車數據的累積,FSD的能力將會持續優化模型的加速成長。

將感知模組、決策規劃、控制模組等內容,一步步以AI編撰取代人工編撰。讓電腦學習人類的駕駛行為,能夠對於未曾處理過的問題有更佳的通用處理能力,以面對各種新穎的狀況。這樣的系統在未來更能應對不同地區的風俗民情的駕駛習慣,像印度、越南、菲律賓等國家的大部分道路無紅綠燈、多車種爭道、多車種的交互行徑等,如何讓Tesla全自動駕駛可行駛無虞,就更需要大規模神經網絡學習當地駕駛行為。

目前已有許多Youtuber發布Tesla FSD V12的試駕視頻,如AI DRIVR )、Whole Mars Catalog等,幫Tesla測試FSD V12的表現外,另一方面也是幫Tesla多增加邊角案例(Corner case)的訓練;協力在YouTube上展示FSD的成效,相當是對Tesla免費打廣告曝光,增強網路效應。觀看這些測試影片後,有幾個心得想法。

1. V12版開始啟動時,已經可以和人類駕駛一般的迅速出發,而非像V11版的緩慢駛出。當V12版到達目的地時,會將車輛靠邊停妥在路旁,非像V11版的到達目的地就直接停在路中間。

2. 比較V11與V12版本最大差異是整體行駛的順暢度與舒適感提升。V11版本是30萬行人類編撰代碼所組成,當車輛遇到某種狀況時就會去查找相對應的處理方式,因此才顯得生硬機械化;V12版則是由人類駕駛的片段中學習如何駕駛與應對多樣狀況,整個成果呈現更像人類駕駛般的滑順,並在虛擬成像上,對周遭障礙物的顯示,也更加具象化,如圖4–25。

3. 在這視頻,FSD在處理維修路面的應對時,初期處理這類邊角案例(Corner case)事件還要中途介入操作,雖然以人類角度來說,不完美操作,但以自動駕駛來說已經非常值得嘉許的應對。

4. 在這視頻,FSD的操作非常令我驚訝。行駛到狹窄路況時,車輛會自動收折後視鏡。但整體操作就有些過於自信,最終需要人為干預處理。

5. 在這視頻,FSD的識別已經細膩到辨識到人類的手部動作與示意內容。初始車輛對於走出路口的人類進行停等,但識別到人類的揮手示意前行後,車輛也自動了解其含意並前行。這樣的識別讓我非常震驚,因為目前所及的其他對手,根本沒人可做到此地步。

6. 在這視頻,FSD對於處理雍塞路段的切換到交流道口的處理,整個水準已經同等人類駕駛水準。在切換車道前也會先注意到右邊車輛的動態是否也要一同切換到交流道的預備道,並能立即作出調整決策。

7. 在這視頻,FSD根據前車的動態與視覺辨識,完全辨識到前方遠處的臨停車輛,由此提前先做出車道切換,而且還比前車還早切換。我自己仔細看了好幾次視頻,以我自己的操作都還沒到做出變道的操作,視頻中的Tesla就已經切換完成了。

8. 在這視頻,在四線道以上的左轉且無專用左轉燈時,發生車禍的機率相當高,尤其在燈號在黃燈又將變紅燈時,發生車禍風險特別高,當下勢必有很多駕駛者會闖黃燈通過路口。Tesla在這路段中的處理非常細膩,即便是黃燈也先等待對向車輛通過,確保安全無虞後才快速通過。

9. 在這視頻,FSD展示在雍塞的六線道切換,從最內側切換到最外側,如此順暢的操作讓我非常的佩服。我自己試想一下在這狀況下變道,還是有些後方、側方的視線死角會讓我更堤防。

10. 在這視頻,展示FSD對道路上的自行車騎手應對,FSD自動駕駛狀況中,車輛不並會立即超車自行車,且判斷到左側車道有臨停車輛,FSD也會自動減速先讓自行車騎手先行通過,到路口前識別到自行車騎手作出轉彎的手勢,立即減速並停等自行車騎手通過,連最後落單的自行車騎手都能辨識等待其通過後,才進行轉彎。

11. 在這視頻,可以看到FSD在自動停車的處理上,已經不是簡單的倒車入庫跟路邊停車,而是可以根據現況的可行駛空間,進行最大限度的自動調整,而將車輛停止到最佳位置。如此的運行操作,正是車主用戶結束Robotaxi功能時,車輛要自行停回車格所需的功能。

從現況測試影片來看,FSD V12版將來在美國大量開放或其他國家開放,目前其他競爭者要跟Tesla在自動駕駛領域打成平手的機率就越加渺茫了。

圖4–25、FSD Beta V12(Source:http://youtu.be/0tVwKUoft_o)

Chapter 4 - 資料運算中心(數據引擎)的應用與模擬訓練

要使自動駕駛能成功的關鍵三要素,模型、算力、訓練數據。當車輛的自動駕駛硬體模組(FSD computer)執行由神經網絡與演算法形成的Tesla Vision與全自動駕駛系統(FSD)。在實際的駕駛環境中,遇到許多複雜狀況或自動駕駛的失誤,這些狀況都是優化整個系統最佳的養分,Tesla將車輛行駛中觸發影子模式(Shadow Mode)的影像片段(Video Clip)蒐集後,傳送回資料中心進行物件標註、創建閉迴圈虛擬空間、建立虛擬道路環境、建立環境地圖、自動駕駛模擬訓練、邊角案例(Corner case)擬訓練、模型訓練等的任務,訓練完成後再重新部屬回車載端。

以下介紹數據傳回資料中心,將數據進行篩選後的物件標註、建立訓練場景、相關基礎建設等內容。

Chapter 4–1 - 物件標註(Labeling Objects)
2D Image Labeling by Manual → 4D Space + Time Labeling by Manual → Auto 3D Labeling → Auto 3D Labeling + (Multi-trip Reconstruction)Video Module by Automatic

Chapter 4–1–1 - 2D Image Labeling by Manual
Tesla高階主管Andrej Karpathy在2021 CVPR分享全自動駕駛進度現況時,提及對於物件標註需要大量的影片片段數據,再經過Sanity Check過濾出乾淨的數據,且標註時需涵蓋物體類別、景深、速度、加速度等資訊,下一步才輔以大量邊角案例(Corner case)來訓練。

初期與協力廠商公司合作進行人工2D標註,但標註效率低外,產出結果難符合需求。因此才特地聘請1000人的標註團隊進行物件標註、建立語意、分類等工作。為了讓AI更好的學習這些標註的語意,必須對物件的輪廓細緻的圈選,還需針對各種形式分類如圖5–1,但最麻煩的物件莫過於被異物(如樹枝)遮擋、各國路標不同或異常障礙物等情況,如圖5–2~圖5–4。當初期的物件標示建立後,先是在伺服器中進行辨識的演算法訓練模型,完成後就部署至每台Tesla中,利用影子模式進行持續訓練,及遇到的特殊狀況的標誌會送至伺服器進行人工調整。

圖5–1、2D Labeling
圖5–2、各式STOP路標
圖5–3、各國路標的式樣
圖5–4、路上障礙物

Chapter 4–1–2 - 4D Space + Time Labeling by Manual
在2D BEV空間建立後,利用虛擬空間(Vector Space)在每一時刻(時間序列)進行手動標註物件、建立特徵語意,使其標註帶有時間戳的訊息,形成4D語意,如圖5–5。因此,標註1張3D圖像,就可直接對應到8個鏡頭中的特定物件,縮減1/8倍的每個鏡頭標註的時間消耗。但針對於真實環境,初期在美國境內就有超過60億個標註物件和1.5PB的數據,若單用人力去執行是相當無效率的方式,且錯誤率也沒法有效縮減到低數量級。要解決如此龐大的數據量的標註,最快速有效的方式就是電腦視覺辨識與自動標註,這也是延伸出後續的Auto 3D Labeling。

圖5–5、4D Space + Time Labeling

Chapter 4–1–3 - Auto 3D Labeling
隨著Tesla Vision逐步完善,已能用Detection Head進行路緣的辨識,再藉著Feature Queue、Video Module並在虛擬空間創建道路地圖後,利用影子模式(Shadow mode)蒐集10~60秒的行車視頻片段(Video Clip),且這些片段還會包含速度、加速度、GPS、IMU、里程計(Odometry)等數據,將數據傳送至伺服器後,會在離線狀態進行模型的神經網絡運算,並輸出影像的預處理結果。道路、靜態/動態物件、建築物等各物件,進行辨識與自動標註,接著進行NeRF、SLAM等演算法,將3D場景重構後,將如圖5–6。

圖5–6、Auto Labeling-1

Chapter 4–1–4 - Auto 3D Labeling + (Multi-trip Reconstruction) Video Module by Automatic
隨著運用Spatial RNN 的Video Module,讓車輛紀錄地貌用以建立3D地圖資訊(Multi-trip Reconstruction),並把視覺辨識演算法模型針對道路上的路緣線、標示、號誌、障礙物等,進行抓取並自動語意標註,如圖5–7,再將已被標註物件引入神經輻射場(Neural Radiance Field, NeRF),再進行後續其他應用,如圖5–8。

在Tesla AI Day 2022展示比較表,從初始2D Labeling的533小時縮減到Auto 3D Labeling + Multi-trip Reconstruction的小於0.1小時,完全是5000+倍的效率提升,且轉為自動標註後,完全可應用在車載端、伺服器端。轉為自動化的有效數據,對於其他競爭車廠也要進入自動駕駛領域,又是一個巨大的護城河壁壘,如圖5–9。

圖5–7、3D Labeling + Multi-trip Reconstruction
圖5–8、Auto Labeling-2
圖5–9、Labeling Performance Comparison

Chapter 4–2 - 虛擬場景建立(Creating a Visual Scene)
當車輛看到的物件都能標註後,再來就是重要的場景環境創建,才能進行大量模擬訓練。

首先,Tesla利用Simulation World Creator的軟體,將道路元素輸入後,就能大量創造路面、路緣、周遭環境,接著在路口節點創造號誌燈與行駛方向箭頭,最後在建構行駛路線,如圖5–10、圖5–11。
第二步,將車輛行駛過的區域,映射到地圖區域(150*150m)中,如圖5–12。
第三步,進行幾何環境的建構,使虛擬空間與現實環境的建物、燈號都是相匹配的,如圖5–13。
第四步,使路上行駛的Tesla車輛紀錄道路數據,幫助Tesla在伺服器端建立地圖資料,當Tesla車輛越多就能越快速且完善建構地圖資料,如圖5–14。
最後,運用Unreal Engine生成虛擬場景。環境場景生成後,可根據不同的訓練需求,變更氣候環境(晴天、雨天、濃霧等),並可調整行駛方向箭頭,以增加訊練的多樣性,如圖5–15。

Tesla利用這套軟體快速抽換素材,就能迅速生成無窮盡的道路環境,也不需要人工的緩慢的建構虛擬環境,讓Tesla想要生成特殊的訓練環境完全是輕而易舉,且不用擔心地圖素材數據缺乏,只要在該國有販售Tesla車輛,就能運用Shadow Mode持續蒐集數據,建構新環境的地圖資料。舉例來說,Tesla後續只要在印度、南美等新據點開始販售Tesla車輛,提供該區域的用戶行駛服務外,車輛還可蒐集路標燈號、該區域駕駛習慣文化、道路環境素材等,不久就能生成虛擬場景供離線模型訓練用,此外還可將視訊片段供給FSD V12版本進行訓練,讓其熟悉該地環境,適應當地駕駛文化來執行自動駕駛,如圖5–16。

圖5–10、Construct Simulation Environment-1
圖5–11、Simulation world creator-2
圖5–12、Simulation world creator-3
圖5–13、Simulation world creator-4
圖5–14、Simulation world creator-5
圖5–15、Simulation world creator-6
圖5–16、Traffic in India

Chapter 4–3 - 模擬訓練(Training Simulation)
觀察Tesla的會議演說後,自己歸納其模擬訓練可分為兩種: 創造情境訓練、現況除錯修正訓練。以下介紹這兩種模擬訓練。

Chapter 4–3–1 - 創造情境訓練(Create Scenario for Training)
建構完成虛擬場景後,還需要對場景進行逼真度的渲染、調整視頻噪度、創造大量情境、依照視訊片段(Video Clip)重構行駛情境等,如圖5–17,以便對模擬過程提高精準度及廣泛涵蓋不同場景狀況。進行模擬訓練時,創造邊角案例(Corner case),如人或動物出現在國道、人潮擠在道路上、路上障礙物、封閉場域的停車指令等,如圖5–18,形成的虛擬場景進行新模型的訓練或優化原模型演算法,用以獲得與真實環境相似的自動駕駛資料,如圖5–19。當模型訓練完成後,以OTA部屬回每台Tesla車輛中。

圖5–17、Create Scene for simulation
圖5–18、Simulation Helps When Data
圖5–19、Simulation with Autopilot

Chapter 4–3–2 - 現況除錯修正訓練(Bug Fixing Training)
另種訓練場景是實際狀況發生失誤的案例,如停路口的車輛(Parked vehicles at turns)、大型車輛(Buses and large trucks)、山路行駛(Vehicles on curvy roads)、停車場(Vehicles in parking lots)等等,將失誤進行手動修正後,再引入大量數據進行訓練,以此將自動駕駛判斷準確率提升近100%,如圖5–20。當訓練後模型趨於準確穩定後,在以OTA部屬回每台Tesla中。

圖5–20、Challenge Cases

Chapter 4–4 - 基礎設施(Data Center & AI Training Server, Dojo)
在過往10年的資訊時代,Google、Apple、Meta等公司為我們展示,擁有越多用戶數據(如,身份、喜好、行為等)後,形成的數據體量疊加後的價值效應就會越大,對用戶的訊息、喜好進行分析後,精準的投放需求廣告,就能創造更大的收益效應。目前Tesla複製相近的模式,運用銷售的車輛越多,用戶行駛車輛時間越多,也是將數據體量疊加,替Tesla提供源源不絕的數據資料,Tesla再運用AI演算法來優化服務內容後再以OTA重新部屬回用戶車輛,讓用戶每次都感受到如新車般的體驗,如此的循環疊加方式能讓服務的附加價值持續疊加。

然而,Tesla要運用優勢的AI演算法來優化產品服務,也要有強大的基礎設施做後盾,用以蒐集用戶數據、以數據訓練模型演算法、虛擬場景的創建等,當基礎設施的儲存空間越大、算力越強,所提供的訓練速度將越快,與競爭對手的拉開距離的速度也會加快。

2021年6月,Tesla向Nvidia購買A100 Tensor核心GPU共5,760個來組建AI運算中心,並宣告將開始自研運算超級電腦(Dojo);2023年8月時,再斥資3億美元購買H100 Tensor核心GPU共10,000個來擴張AI運算伺服器,且當年也在加州San Jose完成第一台Dojo運算超級電腦;2024年1月宣佈將在紐約州建立第二座運算超級電腦(Dojo)。根據Tesla的算力規模預估圖,如圖6–1,從2023Q2的5.5Exa-Flop到2024Q3的100Exa-Flop,相當是30萬個Nvidia A100 GPU的算力總和,將增加近18+倍。

在2024Q1財報中闡述,Tesla持續擴大超級電腦算力,截至2024Q1已經安裝35,000塊Nvidia H100晶片,算力環比增長130%,神經網絡訓練已經不會受到算力限制。但預計今年年底仍會將Nvidia H100訓練晶片數增加到85,000塊。

圖6–1、Tesla算力規模增長

Tesla的自研AI晶片是專門應付複雜AI運算而出現,目前主流的CPU、GPU處理器並非專門為處理深度學習訓練而設計的,僅是GPU再針對圖形處理時所需的張量(Tensor)、矩陣運算,這與神經網絡的卷積運算(Convolution)、矩陣運算的相近,且GPU運算晶片已經大程度上演化成神經網絡運算晶片使用;相對上,Tesla則是直接針對神經網絡運算需求,而設計專用運算晶片與超級電腦,將運算效能發揮到極致。

建立一台超級電腦的重要關鍵點是擴展算力的同時,還要保持高頻寬、低延遲。Tesla的方案是自研發算力晶片D1 Chip和平行運算的網格架構的電腦平台Dojo。

Dojo的計算集群僅0.3%的閒置,其中84%都是高優先級的工作,用以處理巨量的視頻數據,進行訓練自動駕駛系統的反覆運算,且算力資源也能運用到人形機械人(Optimus)。其技術規格到底是多硬派,才能提供這麼強勁的算力,以下將自己理解的公開資料進行解析。而Dojo的軟硬體架構,如圖6–2、6–3。

圖6–2、Dojo軟硬體架構
圖6–3、Dojo硬體架構

Chapter 4–4–1 - D1 Chip晶片
運算超級電腦(Dojo)的核心晶片D1是由特斯拉自主設計,以18 x 20的排列組成354個Training Node(D1 Core),運作基頻為2GHz,該晶片面積為645mm²且內含500億個電晶體,採用RISC-V和自定義指令,具有GPU的運算能力及CPU的彈性,且每個D1晶片的Thermal Design Power(TDP)能耗為400W,如圖6–4。
D1 Core的Training Node包含4路8x8的矩陣計算單元(Matrix Multiplication Units)和1.25MB SRAM的儲存空間。每個運算單元都有儲存空間,這方式是為了讓大量的資料在Training Node就有資料和權重輸入陣列的儲存,用以減少向快取記憶體(DRAM)索取資料的頻率與時間延遲,形成資料流儲存運算一體的架構。
在設計D1 Chip時,也提供不同浮點數格式。若以BF16、CFP8格式的理論最大計算能力是362 Tera-Flop;以FP32格式的理論最大計算能力是22.6 Tera-Flop。展示Dojo在不同浮點數格式的效能及不同精度的表現。BF16/CFP8格式提供高的計算效率,但低的精度,在圖形處理和部分機器學習演算法卻是相當適用;FP32格式提供高的精度,但較低的計算效率,通常用於許多科學計算、工程應用和機器學習等領域。Dojo Training Node在浮點數格式的支援和設計的特殊優化,使Dojo能在機器學習和深度學習等領域中發揮更好的算力性能和資源效率,如圖6–5。

圖6–4、D1 Chip
圖6–5、Dojo浮點數格式

Chapter 4–4–2 - Training Tile
集成25個D1晶片為1組Training Tile晶片模組(MCM),其TDP能耗為15kW,為維持運作效率而採用液體冷卻方式。且1組Training Tile就可達到6組GPU伺服器效能,而成本卻比單組GPU伺服器少。另外Tesla並將整個硬體模組化,每組Training Tile四邊都客製化連接各4TBps的外頻寬(off-chip bandwidth),每邊共10組總合為9TB/s的連接器(900GB/s-組)。允許在不犧牲速度的情況連接到每個D1晶片及與其相連的D1晶片。組成的Training Tile以FP32格式的理論最大計算能力是565 Tera-Flop;以BF16/CFP8格式的理論最大計算能力是108,600 Tera-Flop(108.6 Peta-Flop) ,如圖6–6。

Tesla的Training Tile製程是委託TSMC採用Integrated Fan-Out System on Wafer(InFO_SoW)[註24]的先進封裝技術進行生產,及申請專利的封裝機構(Mechanical architecture for multi-chip modules, CN113056963B)進行整合。可看到圖6–4的25個D1 Chip、40個I/O Ring形成Chiplet[註25]直接整合到晶圓上,因此可看到Training Tile呈現導圓角的方形片。如此的設計可將訊號經由接腳傳輸到主機板上,所有的串接都是經由串列埠的方式,與暫存數據的Remote Memory Pool做交互,數據可達到大輸送量傳輸和功耗降低優勢,如圖6–7。

圖6–6、Training Tile
圖6–7、Training Tile的InFO_SOW製程與機械結構專利

Chapter 4–4–3 - Dojo Cabinet/Dojo ExaPOD
集成6個Training Tile為1組運算集群Computer Cluster(System Tray),當車輛將蒐集的影像數據傳送到Training Tile時,每組運算集群Computer Cluster(System Tray)互聯和記憶體存取的對稱分散式架構I/O,將所有記憶體快取統一配置到一塊Memory Pool上,接著自研發的Dojo Interface Processor以640GB/s的快取記憶體(DRAM)、乙太網路(Ethernet) 傳輸頻寬,透過Time-Triggered Protocol Over Ethernet(TTPOE)即時通信協議傳輸資料。接著5個Dojo Interface Processor為1組,配置4組(20個)到每個運算集群Computer Cluster(System Tray)中。
最終,集成2個運算集群Computer Cluster(System Tray)為1組機櫃(Computer Cabinet),其規格使用三相480VAC變壓為52VDC供電子元件使用,且電流2kA的功耗下,需要特殊客製化的電源供電與冷卻。因採用”資料流儲存運算一體架構”的方式能提供6.78 PFLOPs算力,只要1個機櫃就能匹敵由1,000顆GPU組成的18組GPU伺服器,Dojo的強勁算力,將需要幾個月的AI計算時間,縮減到1週就能達成。
若再疊加10個機櫃(Computer Cabinet)就能組成1組ExaPOD,就是俗稱Dojo超級電腦,其主要串連所有Training Node,如圖6–8,能集成67.8 FP32 PFLOPs的最大理論性能,若以BF16/CFP8的格式,算力達1.1 EFLOPs及1.3TB High-Speed SRAM、13TB High-Bandwidth,如此強悍算力的Dojo Accelerator ExaPOD專門用於機器學習(ML)訓練,如圖6–9。

圖6–8、串連Training Node組成ExaPOD
圖6–9、Dojo ExaPOD

Chapter 4–4–4 - Dojo Interface Processors (DIP)
自研發設計的Dojo Interface Processors (DIP)含有有2個I/O、2個32GB HBM記憶體組,專門設計負責DIP板間互聯和高速資料傳輸。DIP板間互聯或車輛控制元件間的通訊傳輸協定是Tesla Transport Protocol,其頻寬有900GB/s;若是以乙太網(Ethernet)進行連接各種控制元件,則是以Tesla Transport Protocol over Etthernet (TTPoE) 的通訊傳輸協定,其頻寬有50GB/s,且使用TTPoE的優點在於垂直方向(Z Plane)的快速傳輸。比較好理解的映像法是,TTP是從A點到B點的路徑走平面道路,需要停等一堆紅綠燈跟塞車,需要30停等點(Hops),但若TTPoE則是直接在A點就上國道快速通行後下交流道就到B點的快速便捷,只需4個停等點(Hops)。
每組PCIe Host會安裝5組的DIP,總共會有160GB DRAM及4.5TB/s的頻寬。在整個運算集群Computer Cluster(System Tray)會集成4組PCIe Host,整個Dojo Accelerator ExaPOD會有8組PCIe Host(40個DIP) ,如圖6–10。

圖6–10、DIP & Protocol(TTP&TTPoE)

每組機櫃(Computer Cabinet)在運作時的TDP至少會有180kW的高能耗,現今主流方式氣冷已經無法有效達到散熱需求。從Tesla的專利文件High power voltage regulator module(US20200266705A1)、Mechanical architecture for multi-chip modules(CN113056963B)、Voltage regulator module with cooling structure(US20190297723A1, US11570889B2)瞭解到針對高功率的傳輸與散熱的部分,自研發電壓調節模組Voltage Regulator Module(VRM)與Cooling System。以下介紹此兩種功能部件。

Chapter 4–4–5 - 電壓調節模組(Voltage Regulator Module, VRM)
VRM的尺寸大小約為1 cent的面積大小,其具有12的獨立供電相位進行52VDC及1kA的功率傳輸,電流傳輸密度為0.86A/mm²。如此小面積的電源調節模組以Multi-tiered Vertical Power Solution方式,運用多層堆疊的方式將DC-DC轉換器(DC-DC Convertor)、穩壓器(Voltage Regulator)、濾波器(Filter)等功能元件整合在每層中,能更有效的集成不同電壓水準,提高系統電源效率、高功率密度。相對地,如此小的電源調節組承載高功率、電流的使用,也意味著其運作時產生的熱積存會非常高。

這些熱積存除了會讓元件過載燒壞外,還存在材料的熱膨脹的狀況。當高功率的運作下,伴隨著高溫、高熱很容易讓材料的熱膨脹率(Coefficient of Thermal Expansion, CTE)在微結構下更加放大其影響,且VRM如此微小結構又是多層堆疊結構,意味著每一單位元體積的密度代表傳輸能量的效率。當熱膨脹變化越大也壓縮每單位體積,進而減低效率。

在Dojo開發過程發生Training Tile的間歇性供電失效,導致D1 Chip運作效能突降。經過問題剖析後,發現VRM因熱膨脹問題導致振盪器的時脈輸出失效(No clock output from oscillator),其主因為微機電振盪器(MEMS Oscillator)的切換頻率(Switching Freq.)影響到相鄰的電容器形成壓電效應(Piezoelectric Effect),其壓電效應的振動頻率與微機電振盪器的切換頻率相近,進而形成共振(Vibration Resonance),再影響回微機電振盪器,造成微機電振盪片斷裂。

微機電振盪器的振盪片斷裂的最佳解法是
● 採用軟端子電容(Soft Terminal Capacitor)來降低振動。
● 將微機電振盪器(MEMS Oscillator)的垂直方向(Out of plane)的品質因數(Q Factor)降低。
● 將微機電振盪器(MEMS Oscillator)的切換頻率與共振頻率錯開。

將問題根因解決後,這2年內,VRM已有14版的修正更新,已經能達到熱膨脹率降低54%,及提升2.9倍效能,如圖6–11。如何將VRM鎖附於Training Tile與Host Interface中,也有相關的專利技術的設計,如圖6–12。

圖6–11、VRM運作時問題狀況與解決方案
圖6–12、Dojo Cabinet的VRM與機械結構專利

Chapter 4–4–6 - 冷卻系統Cooling System
在專利文件High power voltage regulator module(US20200266705A1)與Voltage regulator module with cooling structure(US20190297723A1, US11570889B2)中介紹,Dojo採用液態氣體(Liquid Gas)的方式進行降溫,文件中並無明確說明這是哪種物質,但從AI Day與專利內容推估可能是液態氮(Liquid Nitrogen)。因其特性為可液體、氣體、不導電等特性。從目前所蒐集的資料中推估,整個冷卻系統會是在圖6–13中的紅框處,可能經由冷卻管路輸送到銅板內,針對電壓調節模組(VRM)與D1晶片進行散熱。此部分等待更多資訊後,再進行更新。

圖6–13、Dojo Cabinet的冷卻系統專利

Chapter 4–4–7 Tesla Dojo Software Layer
Tesla Dojo軟體層是用於訓練人工智慧模型的計算平台,其涵蓋Neural Network Model層、PyTorch Extension層、Dojo Compiler Engine層、Dojo Drivers層、Multi-Host & Multi Partition Management層、Dojo Interface Processors層、ExaPOD等架構,如圖6–14。以下介紹每層內容

● 神經網絡模型(Neural Network Model):神經網絡模型是人工智慧演算法的基礎,由神經元、層和連接組成,用於模擬和解決各種複雜問題。在Dojo的神經網絡模型是用於訓練和優化模型,並通過大規模的資料集進行訓練,提高模型的準確性。

● PyTorch Extension:PyTorch是個深度學習(Deep Learning)的編撰語言框架,提供豐富的工具庫,用於構建、訓練和部署神經網路模型。Dojo通過靈活性和強大功能PyTorch的開發和訓練模型,以此擴展平台功能。

● Dojo Compiler Engine層:這層主要包含JIT NN編譯器(Just-In-Time Neural Network Model)、LLVM(Low Level Virtual Machine)、Dojo Processing Unit(DPU)。JIT NN編譯器(Just-In-Time Neural Network Model)用於將神經網路模型轉換為底層硬體的代碼,這使模型在硬體的執行更加高效和快速,提高訓練和推理的性能;Low Level Virtual Machine(LLVM)編譯器是個彈性靈活、模組化的開發框架,使用者可根據需求組合各種模組,搭建定制化的編譯器工具;D1晶片的分散式處理器DPU(Dojo Processing Unit),專門用於加速神經網路模型訓練和推理的定制處理器,用於執行神經網路模型的計算任務。運用可視覺化的資源調配軟體,實時根據現況需求調整。以高效並行的方式進行建模、運算、存儲調配、優化資源利用等任務。其通常與Dojo軟體層的其他元件配合使用,如PyTorch、JIT NN、LLVM編譯器等,以實現更高效的模型訓練和推理。

● Dojo Drivers層:用於控制和管理Dojo硬體設備的軟體元件。它們負責與硬體交互,包括資料傳輸、設備配置和狀態監控等功能,使得開發者能方便使用和管理硬體設備。

● Multi-Host & Multi Partition Management層:Dojo軟體層支援多主機和多分區管理,能同時使用多台電腦來加速模型訓練和優化,與不同節點上運行不同的任務和分區。這靈活性和擴展性,使用戶根據需求動態地分配和管理計算資源,實現更高效和快速的模型訓練和推理。

● Dojo Interface Processor層(DIP):連接Dojo軟體層和硬體設備間的橋樑,負責高頻寬與低延遲的資料傳輸和通信。

● ExaPOD層:部署和管理Dojo集群的工具,多個ExaPOD整合管理集群、資源配置、任務調度等功能,使用戶方便使用與擴建Dojo平台。

圖6–14、軟體層架構

Chapter 4–4–8 - Dojo System Network
在運算過程中,總會有少數的Training Node出現失效或無效點,Dojo能通過繞過失效點的方式,讓運算持續進行,但計算中不會針對每個端點的流量數計算,僅會在目的節點對資料包進行計數。編譯器會定義節點樹(Barrier Domain)展開由此方便計算每個節點的可能性,以便迅速找到可行方案,如圖6–15。

圖6–15、Dojo System Network

傳統的超級電腦,以NVIDIA的GPU與Intel/AMD的CPU建構起整個運算中心,著重於科學研究、環境氣象模擬、特殊需求模擬、大數據分析等為各種任務而設計的系統。然而,Tesla Dojo的誕生,及使用PyTorch語言並引入新的浮點數格式(CFloat8、CFloat16),使Tesla針對在實際商業應用上的專用機器學習(ML)訓練需求,如大量處理車載端數據、同時處理多個訓練任務、影像處理的演算法、訓練自動駕駛系統的神經網絡、自動駕駛AI演算法的建構等,能更加有有效率地進行。這些特點讓Dojo成為全球最強大的超級電腦之一。在同功耗水準下,Dojo算力是現有電腦性能的4倍提升、效能1.3倍提升、碳產生僅原來的20%。Tesla計畫將下一代Dojo性能再提升10倍。這台功能強悍的超級運算電腦Dojo Accelerator ExaPOD,在Elon Musk宣佈將向其他汽車製造商和科技公司開放,成為一項新事業。這意味著,Tesla正在向多領域擴展外,也向其中的晶片運算龍頭公司,如Intel、AMD、Nvidia等公司發起挑戰,將可能引發邊緣運算結合AI運算伺服器的新領域趨勢。

Chapter 5 - 後續可延伸的發展方向

回顧本篇文章介紹Tesla人工智慧的內容,從車載端硬體的更新迭代、軟體演算法的開發建構、基礎設施的建立。比較Tesla的技術發展與過往的10年的龍頭 — 蘋果公司,整個技術難度、發展廣度完全不在同一層次上。且Tesla實現目標的技術採用,以減法思維,搭配第一性原理為基底來建構非連續性的破壞式創新的方式,而非在成熟技術的連續性創新的方式。如此的技術推進將會產生多層次的新產業裂變,初期先以Tesla的產品業務發展的裂變,後續當Tesla的技術形成領頭羊趨勢時,會帶起的相關產業領域的裂變發展。

不管是Tesla本身產品業務的裂變也好,或影響到周遭產業加速更迭循環也好。這些邊變化不僅能讓我們能享受到更加便捷的新科技外,也會萌生出許多有潛力的公司可供資本投入、新技術鑽研、新商業模式的開展。而壞處也相對非常明顯,往後科技進展有AI助力的加速發展,進步的速度將可能是2010年的智慧裝置年代的10~100倍的加速進程,若自己沒有快速學習、應對的能力,將會快速的被邊緣化或淘汰。

Tesla本身產品業務將會引起多領域面向的變革,以下針對可能裂變的領域進行解說:

● 加速車企開發Lv4等級以上的全自動駕駛系統:當Tesla發展的FSD已經到V12版本,轉以AI方式更快速的編撰代碼,且人類駕駛已經不用時刻掌控,在緊急狀況接管的次數也越來越少,已能達到Lv4的水準。若屆時開放大量用戶使用測試,自動駕駛將會更快的貼近人類駕駛習慣。這個競爭壁壘的加速上升,會讓其他車廠更警覺與加速開發腳步,維持競爭力及品牌忠誠度。(在2024/3/27已宣布開放美國大量測試。)

● 加速發展邊緣運算(Edge Computing)產業:終端設備(車輛)的運作過程蒐集數據資料,再傳送回雲端(伺服器)進行訓練優化後,再重新佈署回終端設備(車輛)。Tesla訓練全自動駕駛模式,已經可歸類為物聯網的(IoT)一種應用,這類邊緣運算的運用將可能在更多IoT裝置發生。

● 加速通用人工智慧(Artificial General Intelligence, AGI)運用至多領域中:Tesla開啟AI編撰演算法建立的模型來運行裝置(車輛),裝置運行過程在蒐集各種數據資料,並將資料傳輸回伺服器端進行模型訓練的優化,雖有再重新部署回裝置中,不斷的循環迭代優化,讓該裝置的人工智慧越加聰明,並可適應真實生活環境。這類的模式運用在車輛只是個開端,後續應用在機器人、監視器、無人機、餐飲、教育、工廠生產線等,都是可運用此優化效率的領域。

● 加速影子模式(Shadow Mode)運用至多領域中:影子模式的運用會鑲嵌在通用人工智慧的使用中。運用影子模式,對比使用者的使用模式、習慣等,來學習使用者的模式,以此來優化程式碼來貼近真實環境的使用方式。

● 全自動駕駛系統拓展至其他車種或其他領域(機器人、出租車、物流運輸、公共運輸):Tesla的全自動駕駛目前準備開始大規模運用到乘用車上,後續可發展的方向是無人出租車、Semi貨車、公共運輸車輛上,都是更適合使用全自動駕駛的領域。且Tesla機器人(Optimus)也是運用同一套Tesla Vision來進行影像辨識與規劃動作。

● 全自動駕駛系統授權給其他企業:有些車企因為自身的研發資源不足或想減少開支的保有競爭力而採用最先進的系統,因而向Tesla尋求授權,這樣既能保有原先競爭力,也能有機會擴大原先規模,但缺點是關鍵技術就掌握在他人手裡。Elon Musk在2023年7月時表示FSD技術將開放授權且正在跟OEM廠談授權中。根據蒐集資訊加上自己的猜測,Tesla可能對BOSCH這類的Tire1廠商授權,讓其供應商提供符合Tesla的鏡頭和雷達等,Tesla再將硬體運算電腦(HW)與FSD軟體安裝在其中,形成OEM廠商提供離線版的FSD裝置。(2024Q1財報提及已經正在跟大型汽車製造商洽談FSD授權事宜,而且不只1家!若今年簽訂的話,後續該車企新車發表可能都要3年後才能看到)

● 加速高效能運算(High Performance Computing, HPC)開發AI運算為主的伺服器:Dojo Accelerator ExaPOD開啟專用機器學習(ML)訓練的運算設備,對比於GPU為主的運算設備,即便總算力效能接近,但AI專用運算伺服器仍然會高效許多。這也很有可能讓Nvidia推出對於AI專用的運算軟體、硬體。(2024/3/18的Nvidia GTC大會上推出GB200就是一個案例)

● 出售AI運算伺服器產品或租賃AI算力服務:當Dojo Accelerator ExaPOD已經處於可商業應用時,Tesla可出售Dojo產品給客戶進行AI運算應用,或自行掌握運算設備,僅租賃算力資源給需求客戶,像是Amazon Website Service(AWS)模式一樣,這對Tesla而言都是源源不絕的收入來源。(在2024Q1財報中提及未來將引入Amazon AWS模式,讓2025年底開始配備HW5的車輛在閒置時,可使用車輛的算力資源進行分布式推理。這樣的發展不但把車輛轉為第二個資產管道,也是如區塊鏈般將運算資源去中心化,並使得每輛車都一個邊緣運算裝置,形成需求者、資源提供者一同共榮共生的發展。)

● 加速資料中心的存儲轉型:Tesla為了日益擴大的用戶群體與用戶地區與即將到來5G/6G時代,儲存空間會隨著用戶體量、蒐集數據呈現指數化的暴增。暴增的數據量加上資料中心儲存過多未整理的原始數據(Raw data),對於公司來說是種隱形的內耗。這時最好的方式先運用邊緣運算進行多層資料過濾、篩選後,將有意義的數據回傳資料中心。再針對中心化資料中心轉為分散式存儲的資料中心,就能大幅的降低成本(5x~10x)、且能確保公司儲存的資料都是具有隱匿性的安全確保。以區塊鏈為主軸的分佈式存儲(如,InterPlanetary File System, IPFS)將會形成與傳統資料中心競爭比較的對象。

● 虛擬場景的多元化發展:Tesla利用Simulation World Creator的軟體快速建構虛擬街景與環境,將會影響後續遊戲產業的場景生成或元宇宙的虛擬環境的建構,利用NeRF的3D場景重構,將使進入虛擬世界的用戶更加身歷其境。這類虛擬場景不只可以建構讓機器訓練的場景,也能讓用戶進入元宇宙體驗虛擬環境,如室內裝潢、元宇宙、虛擬實境遊戲、工廠產線規劃、參與式電影等,縮減建構場景時間。

● 推動以區塊鏈為底層系統的支付方式:Elon Musk是個很喜歡把旗下公司的資源拿來互相應用的一位CEO。在無人駕駛計程車上路後勢必要有相對應的支付方式,以Elon的做事風格有很大的機率會自建支付系統。以過往狀況來看,Tesla曾經宣告讓用戶以比特幣(Bitcoin)支付來購買車輛,而近幾年推特(X, Twitter)持續推出支援比特幣(Bitcoin)支付的贊助功能,且已向全美國州政府申請「支付業者」的加密貨幣監管許可牌照。推估屆時的推特支付系統(X Pay)將可能以此作為支付渠道,後續推廣到全球也能無礙支付,這將推動Tesla、Bitcoin的雙贏增長。

Chapter 6 - 競爭對手比較等面向(乘用車)

比較Tesla與其他競爭對手的自動駕駛系統的商業應用程度前,必須先瞭解SAE對於自動駕駛的等級定義,如圖7–1。簡單用條列說明。
● Lv0:無自動化,完全由駕駛人操控
● Lv1:駕駛輔助,大部分狀況由駕駛人操控
● Lv2:部分自動,車輛提供駕駛輔助,主要仍有駕駛人注意路況與操控
● Lv3:條件自動,在部分特定情境,車輛具辨識環境的能力並進行車輛操控,駕駛人須注意路況,在必要時介入。
● Lv4:高度自動,在大部分情境,車輛具辨識環境的能力並進行車輛操控,駕駛人不一定要介入。
● Lv5:完全自動,在任何情境,車輛具辨識環境的能力並進行車輛操控,駕駛人不用介入。

圖7–1、SAE對於自動駕駛的等級定義

Chapter 6–1 - 競爭者比較分析
Tesla的FSD是否能讓其他競爭對手效仿、複製或超越。這些競爭者的困難點在於,要先開發出硬體運算電腦或聯合他廠商開發,下一步是建構自動駕駛的演算法、建立組裝工廠,最終還要透過大量銷售車輛與蒐集行車數據,並建立數據資料中心並有效的訓練行車數據,以完善整個自動駕駛軟體系統,這才有機會趨近Tesla的全自動駕駛。下述整理相關的競爭者進行比較分析,如圖7–2。

圖7–2、相關的競爭者比較分析

Chapter 6–2 - Rivian
Rivian委由HL Klemove開發自動駕駛系統Drive+,與Nvidia, Intel, Qualcomm, TI等合作開發SoC晶片,功能落在Lv2的水準,如高速輔助(Highway Assist)、車道維持(Lane Keep Assist, Lane Centering Control(LCC))、主動式車距調節巡航系統(Adaptive Cruise Control, ACC)、車道偏離警示(Lane Departure Warning, LDW)、車道變更輔助系統(Lane Change Assist, LCA)。

Chapter 6–3 - Ford
歷史時空背景是Argo AI從Ford內部事業體分拆後獨立運營,並專門研究開發Lv4與Lv5的自動駕駛系統,並在2019年獲得Volkswagen的26億美元投資。經過多年的研究後,因為研發技術非常難應用於一般市售車款與財報要認列虧損,故2022年決定把重心放在Lv2+等級,這才出現Ford CFO談及公司要將研發重點放在ADAS時的表示:「實現大規模營利的全自動駕駛,還有很長一段路要走。」及Volkswagen CEO表示:「特別是在未來技術的開發中,專注和速度很重要,使開發具成本效益。」

但Ford與Mobileye持續合作開發BlueCruise,在管理階層決定放棄Argo AI後,就專注將這平台系統壯大。但Mobileye本身提供的服務為「晶片+演算法」軟硬體整合的ADAS自動輔助駕駛方案,封閉的軟體架構,也使車廠無法運行自行編撰的軟體。這樣的硬傷讓Qualcomm有可切入的管道,再加上2021年收購Zenuity後更加壯大自動駕駛策略軟體Arriver Software。衍生出Ford與Qualcomm合作使用Snapdragon Ride SoC系列晶片+自行編撰代碼或採購SoC系列晶片+Arriver軟體等2大服務。後續Ford若善用Argo AI的軟體資源,採與Qualcomm合作使用SoC晶片+自行編譯代碼的自研發軟體,將會有更多發展空間;但若管理層仍是注重財報營收與直接採用Mobileye的軟硬體解決方案,能可知曉Ford在未來的競爭力發展將會舉步維艱。

Chapter 6–4 - GM
通用汽車GM是所有車企中第一個從Mobileye轉向與Qualcomm合作,並採用可自行編譯代碼的開放式架構。以高通提供專門應用於自動駕駛的Snapdragon Ride Flex SoC晶片建構自動輔助駕駛平台Super Cruise,針對L2環境進行輔助駕駛,不過Super Cruise還要搭配高清地圖(HD Map),且在美國支援的高速公路地圖才可執行Lv2的輔助駕駛。且選配Super Cruise需額外支付US$2,500 ~ US$8,800的費用,及每月US$25的Onstar訂閱服務費,如圖7–3。

初期版本的Super Cruise不支援自動切換車道,但在2021年新增4個車後毫米波雷達後,已可支援自動切換車道,並更名為Enhanced Super Cruise。2022年8月時,Lv2輔助駕駛的巡航地圖已經擴展到北美主要幹道網絡,總約40萬英里;2024年2月時已經擴展到75萬英里。

其下自動駕駛部門Cruise開發自駕車應用晶片,在2023年推出新版的自動輔助駕駛平台Ultra Cruise,以多重感測器(遠距攝影機、近距離攝影機、測距雷達及最貴的光達(LiDar)共20顆感測器並用為主軸方案,SoC晶片仍是以高通提供為主,目前針對Lv2環境進行輔助駕駛,未來可透過OTA進行軟體更新。採用Ultra Cruise平台的軟硬體成本較高,因此目前僅配備售價近30萬美元的GMC Cadillac Celestiq的車款使用。

不只高階車種運用自動輔助系統,Cruise到2023年時已經開發4款運用晶片,如中央處理器的Horta、處理感測器數據的Dune、雷達用途的晶片及未公佈晶片。這些晶片的自主開發有助於 Origin 無人駕駛載具的成本下降,屆時將可大規模生產該車型。

圖7–3、GM Super Cruise方案

Chapter 6–5 - Mercedes-Benz
為因應電動車時代的到來,Mercedes BenzMercedes Benz在2021年發表其簡單版的Lv3輔助駕駛功能,因為此版本必須在限制的使用場景中,以速度低於60km/hr且預先核准的四線道以上的”塞車中”高速公路,且必須確保駕駛仍有清晰意識的掌控狀態,才可使用。

Mercedes Drive Pilot開啟的所需條件如下
● In heavy to moderate traffic (壅塞交通狀況)
● In a pre-defined geo-fenced area (有HD Map定義的區域中)
● On a pre-approved road based on navigation data (在基於導航資料的預先批准道路上)
● On a physically divided highway (限制區域的高速公路內)
● On a highway with machine-detectable lane markings (在感測器可遮側車道標示的高速公路上)
● Drive Pilot的工作速度最高可達37 mi/hr (60 km/hr)
● 不能使用 Drive Pilot 在城鎮中行駛
● 在大多數惡劣的天氣條件下都無法運作

在2023年2月公佈將打造自有車用作業系統MB.OS,如圖7–4,用以加快開發速度,並可將資訊娛樂、車載系統、電源管理系統、自動駕駛系統整合至其中,並應用在電動車模組平台(Mercedes-Benz Modular Architecture, MMA)。MB.OS系統將打造專屬晶片,用以將資料傳送至雲端,處理自動駕駛與感測器數據的晶片是採用NVIDIA DRIVE Orin SoC晶片,硬體光達廠商Luminar提供光學雷達感測器(LiDAR),如圖7–5。整體配置為1個LiDAR、5個雷達(長距雷達、多模段雷達)、12個超聲波雷達、8個鏡頭等。即便是這些的配備的加持下,自動輔助駕駛還是只能維持在一個限制環境與速度下執行。
Nvidia與Mercedes Benz聯合開發自動駕駛系統時,與Mercedes Benz簽訂一份「限制性契約(Knebelvertrag)」,規定自2024年起,當Mercedes Benz銷售車輛配有聯合開發的自動駕駛系統,Nvidia將收取營收40%以上的費用。這限制性合約對於Nvidia這公司在自動駕駛領域是壟斷性的技術壁壘,若屆時不止向Mercedes Benz一家收取的話,這對於Nvidia將是源源不絕的額外收入來源,再者就是與Nvidia公司合作越久,整體技術黏性越高,越難中途換家,只能與另家廠商合作或自研發的方式自行構建系統。但對於Mercedes Benz而言是雙面刃,一方面可擔保自動駕駛技術的保持,但額外支付費用會影響財報營收。
Mercedes Benz展示的Lv3自動輔助駕駛的影片中,可看到整體操作環境在封閉場域中展示,或開放場域的雍塞路段展示。在開放場域的展示跟使用Lv2的輔助駕駛功能幾乎相同。Mercedes Benz在無專業人員在旁監督且僅有一般民眾拍攝上傳影片前,功能展示的影片我都將先行存疑其功能實力。

圖7–4、Mercedes BenZ MB.OS
圖7–5、Mercedes-Benz drive pilot

Chapter 6–6 - BMW
2010年代的自動駕駛輔助時期,傳統車廠都未有編譯自動駕駛演算法的能力,當時最佳的主流方案是Mobileye的晶片+演算法的軟硬整合方案,深受特斯拉(Tesla)、福斯(Volkswagen)、寶馬(BMW)、通用(General Motors)、日產(Nissan)等主流車廠採用其ADAS方案。隨著Tesla轉向自研發晶片、開發自動駕駛系統、開放研究專利、Tesla車輛拆解的資料流通後。剛好Qualcomm在相近時間點發表Snapdragon Ride Flex SoC的自動駕駛晶片與可編譯代碼的開放式架構後,使得BMW轉向與Qualcomm合作採用SoC系列晶片+套裝Arriver軟體,開發Lv3的Personal Pilot的自動駕駛系統,並與亞馬遜Amazon Web Services(AWS)合作,作為提供自動駕駛平台的雲端服務供應商。硬體配件上與加拿大零配件商Magna、以色列Innoviz公司合作,為BMW提供固態光達系統InnovizOne。
但目前主流還是使用Lv2的服務,而Lv3的服務僅提供德國地區,且還需訂閱搭配BMW互聯駕駛服務使用,此服務有效期為2年。

Chapter 6–7 - Volkswagen
在蒐集資料後的判斷,覺得Volkswagen是比較複雜的一家車企。像是先前已經花費一段時間做自動駕駛開發後跌跤(Argo AI),後續想要避免選錯合作廠商,因此跟Qualcomm與Mobileye都合作。與Mobileye合作開發的自動駕駛系統針對較平價車款;與Qualcomm、BOSCH合作開發的自動駕駛系統針對各系列的主流車款。
早期Volkswagen就已經與Mobileye進行合作,兩家廠商合作時間較長久。近期(2023/7)在美國德州Austin展開自動駕駛車的測試,部屬10台ID. Buzz做為測試車輛。ID. Buzz是Volkswagen設計開發的車輛,並搭載與Mobileye開發的自動駕駛系統,其硬體配備為鏡頭、雷達與光達等。
在Qualcomm發表Snapdragon Ride Flex SoC的自動駕駛晶片與可編譯代碼的開放式架構後。Volkswagen也跟著GM轉向與Qualcomm合作。向Qualcomm採購SoC晶片,向博世(BOSCH)合作開發軟體系統,Volkswagen在串接三方共同商討採用晶片的規格功能等,以聯合開發提高各廠家軟硬體的相容性。預計將在2026年起搭配新的車載系統VW.OS。

Chapter 6–8 - NIO(蔚來)
NIO的自動駕駛系統NIO Pilot,其自動駕駛平台為NT1.0在2017年12月發表,當時的ADAS系統是採用Mobileye Q4晶片,及搭配3個前鏡頭、4個環景鏡頭、5個毫米波雷達、12個超聲波雷達。輔助駕駛系統支援主動式車距調節巡航系統(Adaptive Cruise Control, ACC)、車道變更輔助系統(Lane Change Assist, LCA)、高速輔助(Highway Assist)、車道維持(Lane Keep Assist, Lane Centering Control(LCC))等Lv1, Lv2的功能。經過多年的改版反覆運算,已將高精度地圖(HD Map)導入其中後,已能運行Navigate on Pilot(NOP)功能,即在高速公路、快速公路等有高精度地圖支援的路徑上,實現上下閘道、變換車道、巡航等特定場景導航。
在2021年1月發表全新的自動駕駛系統NIO Autonomous Driving(NAD),其自動駕駛平台為NT2.0,其平台包含蔚來超感系統(NIO Aquila)、蔚來超算平台(NIO Adam)。在硬體感測器/控制器配置、軟體等都有大幅提升,且服務功能採用訂閱式模式,付費開啟相對應的服務,即ADaaS (Autonomous Driving as a Service)。從官網找到蔚來超感系統(NIO Aquila)內部硬體配備內容,簡化其華麗絢爛難理解的名詞,硬體配備為超遠距高精度鐳射雷達(鐳射雷達)1個、800萬畫素高清鏡頭(8MP鏡頭)7顆、300萬畫素高感光環視專用鏡頭(3MP鏡頭)4顆、增強主駕感知(駕駛行為偵測系統DMS)1個、毫米波雷達(mmWave Radar)5個、超聲波感測器(超聲波雷達(USS))12個、V2X車路協同感知高精度定位單元(高精度GPS)2個、C-V2X感知模組(車載網路)。
蔚來超算平台(NIO Adam)則是由Nvidia Jetson主板與Nvidia Drive Orin晶片4顆組成計算平台的子系統,子系統搭建的主機板是由Infineon Dual Core 32bit CPU*1、NAND 128GB、GPS晶片、ST的6軸MEMS加速度計和陀螺儀、Nexperia雙逆變器、NXP Semiconductors的GPS LNA等組成。比較快速理解的方式為Tesla HW2版本中,Tesla採用自研發的HW2主機板,在外掛Nvidia Drive PX 2
的子系統,NIO Adam也是相同的意思,以自研發的主機板外掛Nvidia Jetson主板與Nvidia Orin SoC晶片。到了2023年底發表神璣 NX9031的SoC晶片,用以取代Nvidia Drive Orin晶片,但還找不到相關細節資訊。
從NIO的發展軌跡來觀察,如圖7–6,NIO不同於Tesla的「減法思維」,反倒是一直把硬體配備往上加,讓硬體層面就打造無死角,但如此的方式也會持續往上疊加成本,光是NIO Adam硬體就要US$4,600的花費,現況發展比較像是Tesla的HW2、HW3階段。軟體的自動輔助駕駛評斷起來,仍是趨向主流高階車款會有提供的功能配備。至於實際上路運行狀態,這邊只能先打個大問號,從測試自動輔助駕駛的影片,總給我一種有官方指導台詞的介紹跟測試,無法從中全盤瞭解實際狀況。

圖7–6、NIO車輛硬體配備

Chapter 6–9 - XPeng Motors(小鵬汽車)
XPENG的自動駕駛系統XPilot,在2018年首版發行。2019年推送XPilot 2.0版已支援Lv2輔助系統,其ADAS系統採用Mobileye Q4晶片,及搭配前鏡頭1個、環景鏡頭4個、毫米波雷達3個、超音波雷達12個。但由於Mobileye系統綁定晶片及演算法,使得車企要基於目前功能往上開發的自由度相當低,期間用戶產生的資料也無法蒐集與反饋,使得小鵬轉向與Nvidia合作。當時2020年Nvidia的量產自動駕駛晶片Xavier初問世,算力為30TOPs(Mobileye Q4 25TOPs),且Nvidia晶片是開放式架構,提供的高彈性的開發環境及蒐集感測器數據,中國車企逐步形成實現部分自主研發,並在2021年推出的P7車款搭載Xavier晶片。
在2021年的車款也開始搭載自動駕駛輔助系統XPilot3.0,其功能包含主動式車距調節巡航系統(Adaptive Cruise Control, ACC)、車道維持(Lane Keep Assist, Lane Centering Control(LCC))、車道變更輔助系統(Lane Change Assist(LCA), Assisted Lane Change(ALC))、自動停車輔助系統(Auto Parking Assist, APA)、記憶泊車輔助系統(Valet Parking Assist, VPA)、(高速)導航輔助駕駛((Highway) Navigation Guided Pilot, NGP)等功能,大部分都是主流Lv2的自動輔助駕駛功能,而記憶泊車輔助系統(Valet Parking Assist, VPA)則屬於封閉特定場域的自動輔助駕駛功能,屬於Lv3的功能。
另外,導航輔助駕駛(Navigation Guided Pilot, NGP)又分為高速導航輔助駕駛(Highway NGP, HNGP)、城市導航輔助駕駛(City NGP, CNGP)、XNGP

在蒐集資料時發現小鵬汽車對於自動輔助駕駛的功能名稱與系統配備繁瑣多樣,以下簡介其內容以便明確瞭解,並參照圖7–7。
● Adaptive Cruise Control, ACC:車輛能幫助駕駛人自動控制車速,並保持跟車距離
● Lane Keep Assist, Lane Centering Control, LCC:車輛能幫助駕駛人將車輛居中在兩車道線中
● Assisted Lane Chang, ALC:在周邊環境允許的情況下,駕駛人打方向燈後,車輛將進行自動變換車道。
● Auto Parking Assist, APA:車輛能幫助駕駛人辨識車位後,並自動操控車輛停在預想車位上。
● Valet Parking Assist, VPA:車輛透過學習駕駛人在固定停車場的行車路線,下次行駛到同一停車場時,即能按照先前的記憶路線自動停車,即便目標車位被佔用,也可以停到附近的可用車位。
● Navigation Guided Pilot, NGP: 在開啟導航功能後,在適用道路環境下,車輛將依照導航路徑自動行駛到目標位置。其中包含變換車道、選擇最優車道、限速調節、進出匝道、切換高速公路、緊急避讓、交通錐辨識與避讓、大貨車規避、夜間超車提醒、避讓故障車輛等功能。但目前仍需要依靠高級駕駛輔助地圖(高精度地圖, HD Map)才能開啟功能,若行駛在無該地圖的導航路徑時,車輛會自動退出NGP轉為輔助駕駛,僅車道維持和自動巡航的功能。
● Highway Navigation Guided Pilot, HNGP:NGP應用於封閉環境的高速路段的功能。高速路段包括高速公路,城市外環路,城市快速路。
● City Navigation Guided Pilot, CNGP:NGP應用於高級駕駛輔助地圖(高精度地圖, HD Map)所涵蓋的城市部分路面可運行的功能。城市內的複雜路況,如隨時可能出現的匯流車輛、行人穿越、機車等干擾行車的要素,且要應對場景多樣化,如紅綠燈辨識、通過隧道、行駛橋梁、行駛施工區、路口轉彎、快慢車道切換、路口匯流、路口迴轉等。
● Xpeng Navigation Guided Pilot, XNGP:具備XPilot功能外,另增加City NGP(CNGP)、增強版ACC-L/LCC-L、增強版Highway NGP(HNGP)、增強版VPA。只要設定目的地,就能從出發地進行全場景的零接管的自動導航到目的地。實現端至端的全自動智慧巡航輔助的全場景自動駕駛。

圖7–7、XNGP與XPilot差異比較

小鵬汽車與Nvidia合作,在電動車上的設計佈局呈現多種規劃,附上歷年規格配備參考如圖7–8。
● 搭配Nvidia Drive AGX Xavier晶片的XPilot輔助駕駛功能,與8MP以下鏡頭、毫米波雷達、超聲波雷達的硬體配備。
● 搭配單顆Nvidia Drive Orin晶片的XPilot+NGP輔助駕駛功能,與8MP以下鏡頭、毫米波雷達、超聲波雷達的硬體配備,其車型為Pro版。
● 搭配2顆Nvidia Drive Orin晶片的XNGP輔助駕駛功能,與2組鐳射雷達、8MP鏡頭、毫米波雷達、超聲波雷達的硬體配備,其車型為Max版。

圖7–8、Xpeng車輛硬體配備

XNGP是小鵬汽車(Xpeng)新世代自動輔助駕駛系統,承自XPilot4.0系統進行發展,目標朝向不過度依賴高精度地圖(HD Map)的架構,僅運用運算晶片、鐳射雷達、毫米波雷達、多視角鏡頭等硬體配備下,實現全中國範圍的全場景(高速公路、快速道路、城市區內、停車場等)智慧輔助駕駛的能力。但目前的XNGP功能尚未實現,需要通過後續持續OTA更新來達成,車輛交付時不具備完整功能。

XNGP自動輔助駕駛系統的架構(XBrain)是由XNet 2.0(感知)、XPlanner(規劃)、其他底層系統。以下簡單介紹,並可參照圖7–9、7–10。
● XNet2.0深度視覺神經網絡:XNet神經網絡最主要功能與Tesla Vision相似,利用感測設備(鏡頭、毫米波雷達、鐳射雷達、超聲波雷達等)將環境資訊接收後,進行神經網絡運算後建構成可視化的2D 或3D BEV,再將這些數據運用在辨識、規劃等用途。XNet1.0版本透多個鏡頭蒐集單幀圖像後,進行運算融合成360度的環景顯示,就如同圖4–4。到了目前的XNet2.0版本,則是利用多鏡頭輸入多幀圖像(視訊串流)後,進行神經網絡的運算拼接後,形成4D BEV(3D物體+速度特徵),再加上佔用網絡(Occupancy Networks)的導入,使得空間感知度提升2倍。XNet2.0的輸出結果跟Tesla Vision貼近,但差異點是小鵬汽車沒有像Tesla強悍的演算法架構、廣泛的用戶體量、影子模式等,因此還需要鐳射雷達進行實際路況的場景蒐集,這才能用於重建3D場景,這也是逐步降低高精地圖(HD Map)依賴的原因。在重建3D環境後,如何辨識每個物件也是相當重要,因此小鵬汽車打造自動標註系統,大幅縮短標註時間。
● XPlanner:基於神經網路的規劃與控制:XPlanner功能與Tesla的Planning相同。讓神經網絡的演算法認識真實的世界狀況後,對這個世界環境狀態進行評估規劃後,並進行相對應的操作。世界運作組成是以人類為主軸,在建構人工智慧時,希望能像人類一樣的思考、學習、行為。小鵬汽車的XPlanner有三個主軸:長時序規劃、多對象決策、強推理。長時序規劃是根據連續性的動作進行分析,達到預判你的預判;多對象決策是蒐集周邊環境訊息條件後,綜合性的做出決策;強推理是建構調整性思維,在資訊在每一步的蒐集過程,做出決策的調整。
● 其他底層系統:像是利用生成式AI創建無止盡的道路環境,進行模擬訓練。為了應對指數增量的數據與運用車輛數據進行訓練,小鵬汽車在在烏蘭察佈打造以阿裡雲計算平台為基礎的自動駕駛智算中心“扶搖”,總算力可達600PFLOPs。

圖7–9、小鵬全場景智駕架構
圖7–10、小鵬全場景智駕架構2

Chapter 6–10 - Li Auto(理想汽車)
理想汽車初期也是採用Mobileye EyeQ4晶片打造自動輔助駕駛系統,在2019年4月推出AD 1.0的智慧導航輔助駕駛系統(官方未明確告知AD字義涵義)。採用Mobileye系統缺點如前面介紹的幾家車企一樣。當時公司內部有幾派人尋求輔助駕駛系統優化的主張,一方團隊是繼續尋求開源程式碼供應商的「白盒模式」、另一方團隊送工程師到供應商(Mobileye)去要求改動程式碼,用以符合應用需求。兩方團隊的推進直到2021年的CEO李想與百度智能汽車事業部高精地圖與自動駕駛技術總監郎咸朋博士(郎博)的相談才出現轉變,郎博早在多年前就已預判到「供應商做不了高階輔助駕駛,主機廠只能靠自己」的窘境,那時李想與郎博有相同的共識是「想做好自動駕駛必須搭建完整的閉環系統」。這才讓躊躇不前的AD慧導航輔助駕駛系統有大幅轉變,轉為打造一套全部自研發的慧導航輔助駕駛系統,當年與Mobileye結束合作,並與地平線(Bejing Horizon Robbotics Technology R&D Co.)、Nvidia開始相繼合作。在推出搭載地平線-征程3的SoC晶片、自研發演算法前,運用理想ONE車款的前鏡頭一邊讓Mobileye EyeQ4進行輔助駕駛的運作、另個鏡頭作為蒐集數據之用,這樣的方式呈現保有Mobileye架構的輔助駕駛,同時再加上另一套自研發新的輔助駕駛系統。其歷年車輛配備表如圖7–11。

圖7–11、理想車輛硬體配備

在2021年推出的車款皆搭配地平線-征程3的SoC晶片,且硬體搭配為8MP前鏡頭1顆、1.3MP環景鏡頭4顆、超聲波雷達12顆、毫米波雷達5個、高清地圖等,此時已實現主動式車距調節巡航系統(Adaptive Cruise Control, ACC)、車道維持(Lane Keep Assist, Lane Centering Control(LCC))、車道變更輔助系統(Lane Change Assist(LCA), Assisted Lane Change(ALC))、自動停車輔助系統(Auto Parking Assist, APA)等Lv2的輔助駕駛。增加高清地圖、毫米波雷達配置後,也導入高速智慧導航輔助駕駛系統(Highway Navigate on Autopilot, Highway NOA, HNOA)及主動煞停系統(Autonomous Emergency Braking, AEB)。
2022年初,理想汽車發表全自研發的自動駕駛輔助系統AD 2.0,發表的車型類別與蘋果公司推出iPhone、Mac分類相同,分為Air、Pro、Max、Ultra版,不同版本搭載不同SoC晶片與算力平台,如圖7–12。整個自動駕駛系統發展方向也趨向Tesla的模式,理想汽車利用鏡頭、雷達、高清地圖(HD Map)來架構BEV的模型,運用鏡頭蒐集圖像,再經由神經網絡將圖像拼接成BEV,但這時的BEV還僅限於單幀圖像生成的靜態BEV。這成果也表明在自動輔助駕駛的感知、規劃、決策、控制的四大部份,已經建構”感知”的第一步。

圖7–12、理想L7 NOA配備表(2023、2024年)

2023年初,理想汽車部分車型逐步OTA更新,針對AD Pro 3.0、AD Max 3.0版的輔助駕駛系統更新,這兩版本分別搭載的端到端架構如下圖7–13。

圖7–13、AD Pro、AD Max架構與輔助駕駛功能

使用搭載地平線-征程5+輕舟智航軟體方案的AD Pro 3.0版,已將高速智慧導航輔助駕駛系統(Highway NOA, HNOA)改為標配。此版本的地平線-征程5晶片為中國唯一規模化量產的SoC晶片,採用自研發貝葉斯深度學習加速引擎(Brain Processing Unit, BPU)支援卷積神經網絡、Transformer等架構,其算力為128TOPs、並可支援16個感知元件(鏡頭、毫米波雷達)的輸入後拼接成BEV的演算法呈現,並搭配輕舟智航的「輕舟乘風高階輔助駕駛解決方案」。Pro版目前無法OTA升級城市智慧導航輔助駕駛系統(City NOA, CNOA),其在現有配備再加1個激光雷達、搭載雙顆征程5晶片才能實現。屆時推出後,還無法一步到位的推行城市智慧導航輔助駕駛系統(City NOA, CNOA),會先推出以城市”通勤”路線的NOA展開,再以此為基礎推出城市NOA(City NOA)。

使用搭載2顆Nvidia Drive Orin-X + Nvidia軟體方案的AD Max 3.0版,其訓練架構與Tesla的數據引擎(Data Engine)相似,如圖7–14,以此進行自動駕駛系統的反饋、訓練、優化、部屬的迭代循環。在車載端的算法架構主要分為感知演算法、規控演算法;在伺服器端的算法架構訓練平台,如圖7–15。

感知演算法
以Nvidia軟體平台架構採用靜態BEV、動態BEV、佔用網絡(Occupancy Network),作為車輛虛擬空間的建立與辨識。在靜態BEV的成像在一般道路由鏡頭蒐集完整圖像建構而成,但大部分的道路特徵不完整、車輛密集等路段,使得鏡頭蒐集圖像有限,而形成差強人意的靜態BEV結果。因此理想汽車與清華大學交叉資訊學院的趙行教授合作自研發先驗神經網絡(Neural Prior Net, NPN),運用NPN進行圖像的特徵提取蒐集,讓不同用戶行駛到此路口時,進行蒐集此路口的環境資訊並傳送至資料中心做數據素材,由此拼湊成完整的道路資訊,後續車輛再經過此處路口時,就能有完整的道路資訊,車輛以NPN結果與BEV相結合,彌平道路資訊的落差,對於高精地圖(HD Map)的依賴也逐步降低。
解決路段的虛擬環境空間建構後,再來是路口的燈號問題。中國的紅綠燈類型沒統一標準,再加上降低高精(HD Map)的依賴後,當車輛行經路口就會出現定位不準確,且有可能資料庫的燈號類型配置錯誤,導致車輛作出錯誤決策。由此引入信號燈號意圖網絡(Traffic Intention Net, TIN)的神經網絡,讓TIN學習人類駕駛對燈號狀況作出行為決策,後續只要鏡頭蒐集到燈號圖像後,運算電腦會進行判斷直行、右轉、左轉、煞車、停止的操控決策,以解決系統對燈號的識別能力、路口感知能力不足的狀況。
動態BEV通過識別車輛周遭物體的空間位置及推測運動軌跡,並建構完整虛擬空間及相關物體動態方向。藉著佔用網絡(Occupancy Network)辨識環境周遭物體的邊界、類型、佔用體積等,方便智慧導航輔助駕駛系統作出決策。在此基礎上,使用NeRF技術重構3D環境,用以強化佔用網絡的精度和細節。理想汽車這部分的發展,令人直接聯想到與Tesla Vision邏輯完全相同,先用RegNet與BiFPN進行圖像特徵的提取與拼接,再引入Spatial RNN的功能紀錄路貌的短期記憶,再讓多車輛經過道路的過程中拼湊(Multi-trip Reconstruction)完整道路樣貌,並把道路上的路緣線、標示、號誌等,進行語意標註,再進行NeRF重構3D環境進而使系統更有效作出決策。

規控演算法
應用模仿學習的方法,透過讓車輛學習人類駕駛的駕駛行為進行訓練,做出更像人類駕駛的行車判斷、行車路線規劃、突發狀況應對等,用以因應後續城市NOA可能會發生的狀況進行學習、訓練。當演算法學習人類駕駛行為模式後,會持續迭代模型預測控制(Model predictive control, MPC)演算法,對於導航的路徑進行低延遲的預測、操控。在還無法一步到位的的情況下,先推出以城市內”通勤”路線的NOA,藉由學習常用通勤路線,讓運算電腦能在特定範圍內逐步達到自動駕駛,再以此為基礎推出城市NOA(City NOA)。

訓練平台
理想汽車的訓練平台的幾個流程步驟,先從車輛蒐集的數據傳回雲端後進行篩選,隨後進行各物件的標註,接著就運用各類模型進行離線學習訓練,再將優化版本部屬再少量車輛上進行測試驗證。

圖7–14、理想全自動駕駛訓練架構圖
圖7–15、AD Max 3.0算法架構

Chapter 6–11 - BYD(比亞迪)
比亞迪在自動輔助駕駛系統的發展落後所有競爭對手,即便在2023年的新聞傳聞到正在徵4000–5000人組建自動駕駛團隊,導入BEV、佔用網絡的神經網絡等演算法,目標發展Lv4水平的自動輔助駕駛系統。看到這些資訊,我仍抱持著懷疑的問號。
從蒐集的資訊,讓我有這樣的觀點
● 比亞迪在2022 年報交流會上,CEO王傳福說:「無人駕駛都是扯淡… 自動駕駛只是被資本裹挾的,高級的輔助駕駛而已。」這樣的內容已經很表明經營者對於自動駕駛領域的看法與是否迫切入的動機。
● 比亞迪對於近年自動駕駛發展不成熟的環境下,不想參與冒險,因此優先將資源投入三電技術發展中,表明比亞迪仍是對於電池領域的深耕。
● 比亞迪車款的自動輔助系統,在2020年引進BOSCH系統的Dipilot後,僅為Lv2水準的輔助功能,如主動式車距調節巡航系統(Adaptive Cruise Control, ACC)、車道維持(Lane Keep Assist, Lane Centering Control(LCC))、自動停車輔助系統(Auto Parking Assist, APA),就一直沿用至今。2022年才與地平線、Nvidia進行採購晶片。表明2020~2023年的自動輔助駕駛系統處於停滯期,即便新聞資訊上說明有採用BEV、佔用網絡的演算法,這也是Nvidia的晶片與平台,可進行發展應用內容。其配備表如圖7–16。
● 2023年的標準版車款採用的地平線-征程3晶片,其算力(10TOPs)已經落後主流水平太多,這SoC晶片是理想汽車在2021年所採用的運算晶片是同款晶片。
● 在2023年發表高階自動駕駛輔助系統 — 天神之眼(DNP),宣稱自研發設計開發硬體、演算法、自主生產車載計算平台、自研發的操作系統(BYD OS)等。剖析更多資訊後發現,這搭載Nvidia Drive Orin晶片與平台,及配置26~33個硬體感測器的條件,才提供基本Lv2功能與高速路段的輔助駕駛(Highway Navigate on Autopilot, Highway NOA),且在發表會上僅有動畫展示,是否有實際測試仍未知。
● 比亞迪在中國銷售的車款大多注重在US$40k以下車型,這類的客群的使用需求偏向便宜實用為主,因此對於要多支付輔助駕駛的成本支出,將可能導致用戶流失。
根據這些新聞資訊後,推斷比亞迪目前仍著重Lv2的功能,尚無Lv3的功能,對於Lv3或以上的功能發展狀況,目前僅100多輛車隊在路測中,還未屬於商業應用階段,等落地應用後再進行評比。

圖7–16、BYD車輛硬體配備

Chapter 6–12 - 上汽通用五菱汽車
五菱汽車的售價大多是US$14k以下的平民車款,在2023年前大都沒有配備輔助駕駛系統,如圖7–17。在2022年後,五菱汽車才開始與地平線公司、大疆進行戰略合作,目標打造“人民的智慧駕駛”車輛。從查到的資訊中顯示,將採用大疆車載的靈犀智駕系統,如圖7–18,其輔助駕駛功能為基本版的Lv2功能,且無高速路段的導航。待新款車輛發表後再進行更新。

圖7–17、五菱車輛硬體配備
圖7–18、大疆智能駕駛系統功能與方案

比較自動輔助駕駛系統的相關競爭對手後,可知曉Tesla的技術與架構仍是客觀評比上的紮實強悍,即便搭配Nvidia的晶片與平台,採用軟體構建自動駕駛系統的範疇仍與Tesla非常接近。而有些車企看起來還在划水的緩慢進步中,目前主流的車企還是採用Nvidia的晶片與平台來開發為主,且硬體配備上也都採用疊加的方式,與Tesla的減法持續拿掉雷達的方向完全相反。而且比較有意思的一點是,中國車企的硬體配備加法是用來強調安全冗餘,硬體的不斷疊加使得運算晶片無法負荷,才擴增晶片數量,而Tesla也有作安全冗餘,但做在核心的FSD晶片數量上。
比較這些競爭者後,更加信心了解Tesla的技術領先,不管是硬體配備的使用與成本節省,或軟體架構的模仿學習、感知、規畫、決策、控制、反饋錯誤等,抑或是資料蒐集後的傳送至AI運算伺服器的訓練等,這些差距都不是目前所有車企3~5年內能追趕或超前的。

Chapter 7 - 競爭對手比較等面向(商用車)

在分析乘用車的競爭分析後,此處對商用車競爭也展開分析。新增此內容最主要原因是Elon Musk在2024年4月6日發推宣布,將在2024年8月8日推出Robotaxi,如圖8–1。這對Tesla將是新分支的增長力道,也是近10年內最大的人工智慧項目,相關產業、新產業將會圍繞這個點以輻射狀擴大發展當Tesla加入計程車產業這個賽道,已經對原賽道的傳統計程車業者、共享乘車(Uber、Lyft)、自動駕駛計程車(Waymo、Cruise等)都造成巨幅衝擊。連我自己也看到許多可切入的點跟相當好奇對原產業的衝擊程度,才促使自己盡快完成這部分的解析。

圖8–1、The post from Elon Musk

從古至今,人們出行的交通工具已衍生出多樣種類,由個人的交通工具的走路、單車、摩托車、汽車等,或公眾運輸交通工具的公車、地鐵、捷運、火車、高鐵、飛機等。這些交通工具都依照出行距離、便利度、時間效率、單價而有不同的選擇方式,如圖8–2。依照人們日常出行的距離、便利度、時間效率而言,以汽車出行的性價比值最高。且以美國的統計數據中,人們使用汽車出行的平均里程,在80%的使用中落在20英哩(miles)/32公里(km)以下,如圖8–3。

由此,近15年的整體汽車市場逐步轉變,汽車總量逐步趨於飽和的趨勢,主流汽車製造商(如,Mercedes-Benz、BMW、Prosche、Ford、GM )轉向切入主攻長程出行(20~100+英哩)、功能取向、大空間、高端奢華取向、運動操控的休旅車、轎車、貨車為主,以獲取較高的利潤;短程出行(20英哩以下)則是計程車業者與新興共享車經濟的Uber、Lyft,來填補這區塊,這區塊的需求者導向主要為當下沒有汽車,但又想比公車、捷運、地鐵更快速、更彈性地點上下車的需求前往目的地。

圖8–2、不同方式的出行成本(Source: IHS Market)
圖8–3、Car trip distance distribution in US

Chapter 7–1 - 競爭者比較分析
短程出行的計程車產業,在共享車加入後更加的蓬勃發展,但相關的共享車公司(Uber、Lyft)的虧損連連財務狀況,直到成立10年後(2023Q2)才首次獲利。這10年內有越來越多科技公司看準短出行的成長幅度與空間,並導入自動駕駛技術來去除人工成本,以”自動駕駛計程車”來搶食這塊龐大的短出行市場。目前形成的頭部公司主要是Google主導的Waymo、GM主導的Cruise、Amazon投資的Zoox、百度主導的Apollo、新創公司小馬智行(Pony.ai)、文遠知行(WeRide)等,還有許多公司投入並持續測試技術中,如aiMotive, Argo, Aurora Operations Autox Technologies, Didi Research America, Lyft, Intel, Mercedes-Benz Research & Development North America, Nvidia, Qualcomm Technologies等),連蘋果公司(Apple)也參與到這個賽道中。以下圖8–4比較分析主要自動駕駛計程車的頭部競爭者。

圖8–4、頭部的自動駕駛計程車競爭者比較分析

Mercedes-Benz所屬母公司Daimler聯合零組件供應商Bosch、晶片供應商Nvidia打造自動駕駛計程車,在2019年於California State的舊金山半島(Bay Area)投入測試;Uber在2017年採購2.4萬輛Volvo XC90作為發展自動駕駛計程車的基礎,但2018年3月發生追撞行人的事故,最終中止無人駕駛試驗;Lyft與Ford合作,預計在2021年提供自動駕駛計程車投入營運,但後續轉向與自動駕駛新創公司Motional(原為nuTonomy)合作,並在Las Vegas先以有駕駛人員的Ioniq 5進行測試。

Chapter 7–2 - Waymo
Google旗下的Waymo主導的自動駕駛技術的軟硬體研發,一開始就訂定Lv4級別以上的自動駕駛,所採用的硬體設備(雷達、光學雷達、鏡頭)都是自主研發設計,在2021年8月後,Waymo停止販售光達產品,並將業務重心放在自動駕駛計程車(Waymo One)和自動駕駛貨物運輸及配送(Waymo Via)。不自行造車的Waymo與Jaguar、Chrysler等車企公司採購車輛,並將硬體配備(雷達、光學雷達、鏡頭)安裝到車上。在2020年公布的第五代車型中,搭配29個鏡頭、車頂2個與車側4個77GHz毫米波雷達、1個車頂360度光學雷達、4個安裝至車側的光學雷達等硬體配備,並量身打造雷達成像系統,以即時測算周遭物體形狀與速度,如圖8–5。
Waymo向Jaguar採購電動車I-Pace約20,000輛(2018);向Chrysler採購油電混合Pacifica車輛約600輛、62,000輛(2018),從2018年推出至今(2024/4)的自動駕駛計程車服務,共約82,600輛在美國的Arizona State的鳳凰城(Phoenix City)、California State的舊金山灣區(Bay Area)、洛杉磯(City of Los Angeles)進行自動駕駛計程車的使用與測試,且在2020Q3將安全駕駛員從車艙中去除。
雖無安全駕駛員,但Waymo仍有遠端操控部門,透過車身鏡頭即時監測車輛狀況,並在特殊狀況時立即接管車輛。
在2020年3月時,已經累積100億英哩的模擬里程與2000萬英哩的實際里程,這些即時資訊與邊角案例(Corner case)也幫助Waymo快速修改駕駛bug。在2020年10月才開始營運叫車(Ride-Hailing)業務,但也限定在600平方英哩範圍內的服務。
目前(2024/4)Waymo在自動駕駛計程車的賽道中,在道路測試及提交監管報告的優異成績,已經是公認是龍頭企業。而對於新競爭者(Tesla)的突入賽道,使Waymo的缺點顯而易見,因搭載相當多的雷達配備,且非自行造車的科技公司,使得車輛製造成本就高達US$200k,當價格沒法快速大幅下降時,也就無法快速、大量擴大車隊規模以拉高收益;其二缺點是投放車輛僅8萬多輛在美國限定區域的路上測試,屆時快速蒐集邊角案例(Corner Case)與在新地區投放車隊數量少,且訓練學習的速度緩慢,這些都會被Tesla快速超越。

圖8–5、Waymo硬體配備與雷達成像

Chapter 7–3 - Cruise
Cruise是通用汽車(GM)的自動駕駛子公司,主要是研發輔助駕駛系統、自動駕駛系統等。輔助駕駛系統(Super Cruise、Enhanced Super Cruise、Ultra Cruise)主要提供於乘用車市場中,使車輛具備輔助駕駛Lv2的駕駛能力;自動駕駛系統則直指Lv4級別,並面向自動駕駛計程車的發展。Cruise自動駕駛系統的視覺化系統Webviz,類似Tesla Vision。將蒐集的數據轉為BEV的視圖,除了辨識物體(行人、車輛、障礙物)特徵並顯示其向量狀態,演算法再進行車輛行駛的規劃。

2023年10月,Cruise發生一場被波及的車禍事故。一名婦人被車輛撞到倒臥旁邊車道,在車道上的Cruise偵測到有障礙物後,隨即減速但無煞停,又低速將婦人拖行並輾過。自己推估可能狀況為,初始雷達有偵測到障礙物(婦人),因此使車輛減速,但隨後障礙物(婦人)在車前盲區中,而無法有效被車輛辨識到,因此又再維持一定速度前進。
近期(2023/11)的CNBC報導,Cruise自動駕駛計程車平均每4~5英哩便會觸發需「遠端協助」警示,立即有人類駕駛員在遠端控制接管,統計車隊中平均15~20輛就會配備一位遠端人類駕駛員。如此頻繁的介入控制,且又被美國加州車輛管理局(DMV)因「安全疑慮」宣布無限期暫停自駕計程車上路許可,不難讓人猜疑Cruise的自動駕駛技術真的是否到位,客觀的評價Cruise的自動駕駛表現,整體水準仍低於Waymo的技術水平非常多。

Chapter 7–4 - Zoox
Amazon投資的新創公司Zoox,其打造短程出行的車輛更加注重社交體驗與未來感。車輛設計以完全對稱方式設計,使得兩端方向都能進行行駛,將感測器安裝在四個邊角位置,使得周邊狀態感知更佳無死角且四邊相同的感測配備也能降低成本與複雜度,每個邊角的感測配備安裝長程與短程光學雷達各1個、3個鏡頭、5個毫米波雷達;車輪為獨立懸掛與獨立轉向的車輪,迴轉半徑僅8.6公尺;車輛裝備133kWh的電池於車輛中心位置;巡航路徑必須仰賴高精地圖(HD Map)為基礎;車輛的安全氣囊是包覆整個座位,讓乘客即便遇到車禍也有最佳保護;安排遠端監控人員增加安全冗餘,如圖8–6。
車室空間為四人面向對作的方式,整體空間感簡約為主,目的要讓乘客更注重社交體驗,因為整體注重短程出行為主,因此最高速度被限制於75MPH(120KPH)。目前僅多為宣傳影片,上無蒐集到實際上路營運、測試的報告資料。

圖8–6、Zoox外型設計與內裝

Chapter 7–5 - Pony.ai(小馬智行)
Pony.ai(小馬智行)由彭軍(CEO)和樓天城(CTO)於2016年12月在美國加州創立的自動駕駛公司,並聘請圖靈獎得主姚期智擔為首席顧問,致力研發Lv4級以上的自動駕駛技術。2017年取得美國加州車輛管理局(DMV)的自動駕駛路測牌照,開啟公開道路測試,在中國是第一批獲得《北京市智慧網聯汽車政策先行區乘用車無人化道路測試與示範應用管理實施細則(試行)》的執照企業。在2023年重整分立技術業務板塊,自動駕駛出行服務(Robotaxi)、自動駕駛貨運服務(Robotruck)及乘用車智能駕駛業務(Personally Owned Vehicles, POV)等,如圖8–7。

自動駕駛出行服務(Robotaxi)在2018年底推出自動駕駛計程車服務(Robotaxi),讓乘客能在廣州、上海、北京(自駕範圍為50平方公里)、加州佛利蒙等地透過App PonyPilot+來叫車,但必須有人類駕駛員在副駕以便在突發狀況下接管車輛。但在2021年10月測試過程中,測試車變換車道時,突然行駛到隔離帶並撞到路標。事故後被要求暫停測試,並配合美國國家公路交通安全管理局(NHTSA)的事故調查,調查發現肇事車輛的軟體程序問題而導致車禍發生,且在另外兩輛發現同樣問題,美國加州車輛管理局(DMV)要求必須立即召回有安全缺陷的3輛車,並修復軟體缺陷。最終,小馬智行在2022年3月提交事故調查報告。2個月後,小馬智行被美國加州車輛管理局(DMV)因「測試過程中,該公司對安全員的行為監管不到位」宣布吊銷自駕計程車上路許可。

乘用車智慧駕駛業務(Personally Owned Vehicles, POV)的軟體解決方案,主要由自動(輔助)駕駛系統的” 小馬識途”、硬體運算電腦的”方載”、雲端數據工具鏈”蒼穹”所組成。
● 自動(輔助)駕駛系統的” 小馬識途”:以BEV識別各類型障礙物、車道線及通行區域等資訊,實現輔助駕駛導航;在對於複雜場景的處理以”博弈互動規劃演算法”,基於其他物體的動態來進行自身巡航路徑規劃,並基於不同感測器數量和算力等級劃分PonyClassic、PonyPro、PonyUltra等三款系統方案,也可根據客戶需求訂製軟體方案。
● 硬體運算電腦的”方載”:將單Nvidia Orin-X與雙Nvidia Orin-X進行打包整合成硬體運算電腦(HW),提供需求客戶的硬體方案。
● 雲端數據工具鏈”蒼穹”:雲端數據平台由車雲協同大數據平台、雲端大規模模擬平台所組成,從車輛數據蒐集、數據分析、物件標註、虛擬空間模擬等,以模組化方式提供模型訓練。

圖8–7、小馬智行三大技術業務板塊

Chapter 7–6 - Apollo(百度)
百度在2013年啟動無人車項目,並在2017年推出Apollo計畫,提供全面的汽車智能化解決方案。從智能駕駛的自動駕駛系統”領航輔助駕駛系統(Apollo Navigation Pilot, ANP)與自動泊車(Automated Valet Parking, AVP)”;智能座艙的小度車載,已經搭載到100多萬台車輛中;智能雲端,能廣泛蒐集用戶數據;智能圖資的百度地圖與高精地圖(HD Map),且受益於中國智慧交通的政策下,成為主要供應商。
百度採用三管齊下的策略,從持續為車企提供解決方案、開啟自研發造車、研發共享無人車等,並在2021年7月發布”ACE智能交通引擎2.0”,以自動駕駛(Autonomous Driving)、車路協同(Connected Road)、高效出行(Efficient Mobility)的智能交通解決方案,推出自動駕駛出行服務平台”蘿蔔快跑”。百度Apollo不但軟硬體整合,並與極狐車企公司合作打造Apollo Moon、Apollo RT6等兩款車輛;與吉利汽車建立合資公司集度汽車,透過自研發造車把百度的自動駕駛技術快速推向市場。
車輛硬體配備與主流廠商相同,都是硬體配備往上疊加,如雷達(5~6個)、光學雷達(2~8個)、鏡頭(12~13個)、超聲波雷達(12個)等,以補足軟體的短板。但與其他自動駕駛計程車車企不同的是,百度與當地車企公司合作運用低廉的人力、原料成本使得車輛造價上僅US$35.2K~US$69K造價。
自動駕駛出行服務平台”蘿蔔快跑”已經在中國9個城市進行營運,原先預計2023年將在30座城市投入3000輛車進行自動駕駛計程車服務。
根據新聞數據顯示2021Q3就已經有11.5萬單預約,2021Q4就能達到21.3萬單預約,遠超過Waymo的2.6~5.2萬單預約。根據這新聞數據先存疑不採信,根據過往中國車企的衝量宣傳的狀況,與近期小米SU7發表後5天超過10萬個訂單量宣傳,隨後爆發出40%的用戶測試預約而想要取消而被封鎖的狀況。若蒐集到更精確且可信的數據在進行更新。

Chapter 7–7 - 美國加州車輛管理局(DMV)測試報告分析
從上述頭部公司的解析後,了解目前這個行業的發展近況,而自動駕駛計程車要能上路測試都必須先經過美國加州車輛管理局(Department of Motor Vehicle, DMV)申請自動駕駛車輛道路測試許可,在特定區域進行測試且定期提交自動駕駛汽車脫離報告(Autonomous Vehicle Disengagement Reports),這幾年可看到非常多大公司、新創公司參與其中,如Waymo、Cruise、Zoox、Apollo、小馬智行(Pony.ai)、文遠知行(WeRide)、aiMotive、Argo AI、Aurora Operations Autox Technologies、Didi Research America、Lyft、Intel、Mercedes-Benz Research & Development North America、Nvidia、Apple、Qualcomm Technologies、Aptiv、Drive.ai等,不過所有名單唯漏Tesla。而Tesla其實也有提交報告,但僅提交”零公里報告”並在報告中表示「Tesla 正在進行自動駕駛的測試,通過模擬測試、實驗室內測試、內部測試道路、世界各地的公共道路上進行測試。此外,Tesla 擁有數十萬已經售賣的車輛,會在正常運行期間以”影子模式”測試自動駕駛技術(通過軟體規劃判斷,但不影響車輛使用,但這些車不被加利福尼亞法律定義為自動駕駛汽車),Tesla 能夠使用數十億英里的實際駕駛數據來開發自動駕駛技術。」因Tesla提交零分報告,也讓大眾對於自動駕駛技術的發展,只關注在曝光度最多的Waymo跟Cruise,且認為Tesla的自動駕駛技術尚不到位,如圖8–8。

為了讓整體數據更加清晰透明,這邊整理Tesla從Autopilot到Full-Self Driving(FSD)的影子模式所記錄的里程距離,如圖8–9。Autopilot的數據全球所有Tesla車款的貢獻,可惜獲取數據只到2021年1月,後續的數據皆由FSD所貢獻。FSD的測試里程光在美國就呈現爆炸式的快速增長,這也得力於Tesla車輛的規模效應,在2024年4月的開放全美用戶免費使用1個月FSD,屆時此累積里程會更加驚人,且這些里程正好可以挖掘更多邊角案例(Corner Cases)加速訓練FSD,並可以對數據中心進行壓力測試,方便屆時拓展到其他地區可快速複製。

(在2024Q1財報中提及,FSD v12開始測試至今才9個月就已經超過3億英哩的實際里程測試(FSD v12在2023/7開放內部人員測試、FSD v12.3開放用戶使用),基於純視覺方式的端到端自動駕駛已經被證實是正確的解決方案,自動駕駛超越人類駕駛只是時間問題,且Tesla內部人員可看到未來3–6個月的FSD發展狀況,在這過程中會持續進行安全測試與缺陷修復,並讓數百名認證後的駕駛者進行路測反饋測試版,測試無虞後才會逐步推送給員工、早期用戶、一般用戶等。)

如圖8–10是Tesla、Waymo、Cruise實際測試累積的里程,看似Tesla提交零里程報告,但實際車輛累積距離都是Wyamo的1000倍以上、Cruise的10000倍以上。Tesla作法像是AlphaGO的自我訓練一般,一次同時幾十萬至上百萬台車輛用影子模式訓練並快速反饋修正,這樣的方式遠比Waymo只能特定時間內固定輛數的累積里程訓練,還要有效率太多了。當大眾意識到Tesla的自動駕駛能力時,整個差距已經大幅領先。再將參與美國加州車輛管理局(Department of Motor Vehicle, DMV)測試的公司羅列出其累積里程,如圖8–11。

原本業界預期 2020~2021年是自動駕駛開始發展的時間點,如今2024年產業卻還在整併、小範圍驗證、主流車企的技術難點尚無法克服,或公司經營層擔憂自動駕駛的資金投入將影響其核心利益,大舉投入開發的Uber、Lyft、Apple、Argo AI,在這兩年則紛紛認賠退場或倒閉。

2024年初的Apple宣布”放棄全自動駕駛,將Apple Car降級成Level 2的輔助駕駛後,希望最快可以在2028年上市發表”。看到這個新聞資訊後,我完全不意外,也認為是正常的事情發展走向,目前Apple CEO Tim Cook他經營的蘋果較屬於將現有產品線鞏固做大,在破壞性創新的產品技術發展不適合他的經營風格,他比較像是守城的角色,因此Apple Car的失敗就完全可理解。

圖8–8、自動駕駛公司技術分布圖
圖8–9、The Cumulative miles of Tesla Autonomous Driving
圖8–10、The Cumulative miles of Tesla/Waymo/Cruise Autonomous Driving
圖8–11、The Cumulative miles of Autonomous Driving Companies

Chapter 7–8 — 分析各類交通工具單位成本
在了解自動駕駛公司的技術發展後,接著來嘗試細究營運成本。剖析各類交通工具的每單位營運成本後,更能清楚全自動駕駛計程車產生效益為何。從圖8–12、8–13中,了解大眾運輸工具的單位成本約為US$0.07~0.14/km(US$0.1~0.23/mi);個人的車輛載具(汽車)平均為US$0.4/km(US$0.63/mi),自己的BMW X6約為US$0.53/km(US$0.85/mi),自己的Tesla Model 3約為US$0.15/km(US$0.23/mi),從這基礎了解到電動車的營運成本確實低燃油車非常多。在美國商用車部分的叫車服務(Ride-Hailing)單位成本約為US$1.8~2.3/km(US$2.9~3.65/mi),在Ark與Tesla估算的單位成本約為US$0.1~0.16/km(US$0.25~0.16/mi),已經是共享車Uber、Waymo、Cruise成本的10%,當初對這個數據感到非當震驚,但我以台灣的現況條件去推算出的單位成本(US$0.25/km(US$0.4/mi))也在相近的趨勢幅度,與Uber、Waymo、Cruise的成本相比約有80%的差幅。

圖8–12、The unit cost of different transportation ways(mi)
圖8–13、The unit cost of different transportation ways(km)

Chapter 7–9 — 估算以Tesla作為計程車輛的收益分析
接著以Tesla Model 3與Compact Type在台灣營運計程車,來估算其收益狀況,如圖8–14、圖8–15。總營收是以傳統計程車司機的月統計數值來擬合(Fitting in)出16小時營運、營業/載客里程、平均載客數、載客平均里程、日營收等條件去估算出US$0.76/km(US$1.2/mi)的盈利,再扣除平台抽佣比例後,則可推算出計程車司機的單位盈利、平台方的月盈利,且Tesla Model 3與Compact Type又有15%的盈利差距,更低廉成本的耗費,創造更高收益。

圖8–14、The unit income of EV vehicles with different fee(mi)
圖8–15、The unit income of EV vehicles with different fee(km)

Chapter 7–10 — Tesla Robotaxi可能造成的影響
Tesla即將在2024年8月宣布RoboTaxi的應用,自己非常期待這時間點的到來。Robotaxi的到來將改變叫車服務(Ride-Hailing)的產業局面,如Tesla用戶將負債轉為資產的模式、Tesla從中抽佣的現金流收益、自行營運叫車服務(Ride-Hailing)車隊將破壞原有產業平衡、自動駕駛服務將加速留強汰弱車企公司、自動駕駛從計程車推進到物流運送、推進人們熟悉自動化服務、解放駕駛專注力時間(解放時間)、運用車內裝置載具進行生產力創造/影音娛樂、擁有私家車輛轉為非必要。

Tesla先前在Autonomous Day的發表會時,就介紹過為了自動駕駛計程車的共享車服務(Ride-Sharing),如圖8–16,屆時8月的發表很有可能會有更細節的App應用介紹。再者,我好奇其支付方式為何,Elon Musk是位擅長將旗下公司資源整合的人,希望屆時是整合Twitter/X的資源跟支付方式,除了支援傳統法幣也能接受數位貨幣支付,打開多元的支付管道。

圖8–16、Ride-sharing APP

Tesla提供Robotaxi服務後,對於用戶、Tesla都是共生共榮的影響。
● 用戶角度:用戶將自己閒置的車輛提供出來做為Robotaxi來創造收益,徹底將車輛從負債屬性轉為資產屬性,且每趟服務都可讓Tesla從中抽佣,未來只要有Tesla的地區都能拿來用於作為Robotaxi,形成一個持續增加地區與車隊規模的增量收益。對於用戶,只要知道讓車輛在外營運多少時數就能計算出現金流盈利;對於Tesla,只要知道多少車輛作為Robotaxi就能估算出現金流收益,完全是Uber模式的變形。
● Tesla角度:將部份生產車輛轉為自動駕駛車隊投入Robotaxi服務,這樣將生產成本壓至最低外,並去除人類駕駛的成本,且投入自動駕駛計程車服務也能實拿全收益,如此相扣抵後的盈利是現有的Uber、Lyft、Waymo、Cruise等完全無法匹敵,光是硬體成本就已經是近10倍的差距,更何況還去除人類駕駛營運成本。

在2021Q1財報中提及,Tesla FSD將在任何批准自動駕駛法規的國家內提供服務,FSD在端到端的表現非常優異,幾乎不需要修改就能直接運行。這就像是我們去外國租車使用時,整體開車邏輯不變,只是要適應路線標示、當地駕駛民情風俗而已,需要變動的變更很小。

當Robotaxi逐步發展後,下個兵家必爭之地就是Robotruck。因為物流的航線里程屬於長程固定路線,完全就是Robotaxi模式完全套用後,再將車輛從轎車轉為貨車的駕駛模式,而最麻煩的點在於重型貨卡車的起點與目的地的停等裝卸貨品,及重型車輛在彎道操控與路線選擇就尤為重要,這些對於Tesla Vision與FSD v12的神經網絡學習訓練就能快速迭代應對。屆時可能還會再發生一次,主流車廠還在苦惱用人工編撰代碼的過程中,Tesla已經從貨運司機的駕駛模式學習後,在數據中心進行神經網絡訓練後,重新部屬回Semi應對。

Chapter 8 - 結論

近期Ark Invest發布《Big Idea 2024》的顛覆領域報告,最有發展潛力的前沿技術領域Public Blockchain、Multiomic Sequencing、Artifical Intelligence、Energy Storage、Robotics中,Tesla就囊括三項並保持領先優勢。Ark Invest預計到2030年時,這五項前言技術將對經濟影響將遠超出歷史過往的任何一項革命,如圖9–1。且Ark CEO Cathie Wood表示無人駕駛出租車,在未來10年內將是最大的發展力度所在。

而” 無人駕駛出租車”這產業的發展需要有人工智慧、自動駕駛系統、車輛(電池)、支付系統(可能是支援傳統法幣與數位或幣支付的X Pay)等,從目前這局面可看到Elon Musk的Tesla、X就囊括項目而言,若屆時按推估的展開業務項目,則Tesla引領未來10~20年的產業龍頭機率非常高。

本篇恰好由人工智慧(Artifical Intelligence)的發展切入,運用10年時間跨度的資訊量檢視Tesla的變化,Tesla的發展方向不僅對於車輛硬體配備的創新,也在軟體架構上的創新,更在運算伺服器的創新,這些創新都是以破壞性的方式在輻射狀推展。如硬體上的配備減法、自研發硬體運算電腦(HW)等,再利用軟體(Tesla Vision)展開應用,並大量採用AI神經網絡的演算法建構自動駕駛的核心,並採用影子模式學習人類駕駛的行為思維,再將差異傳送至伺服器進行訓練與優化,伺服器中的優化不單單僅是訓練,還有創建大量邊角案例的虛擬場景,也自研發AI運算晶片大幅加速訓練速度,最終將優化後版本重新佈署回車輛。

這些技術發展,再加上車輛的市占率越高及銷售越多,又會創造大量行車數據供伺服器快速訓練優化,尤其在新市場的開發,運用當地駕駛數據加上AI編程,就能迅速建立地圖資訊、號誌標示、適應當地文化民情的FSD,這樣指數級的循環疊加增長,當突破閾值(Threshold)形成指數增長的正向馬太效應,這時的競爭對手光要追上已經很困難了,還非常有可能的被”狠甩”在後頭。

Tesla的「通用人工智慧應用」是最高含金量所在,並對自身業務項目形成破壞性創新的增長,使得能電動車領域出現大趨勢走向,其產品賦予非常高附加價值,不僅是公司成長的源源動能,也能是電動車品項到達產業天花板時,Tesla附加的幾個生長曲線發展(如機器人、乘用自動駕駛、商用自動駕駛、AI運算伺服器等)都能快速分支轉換的生長曲線發展,也可能帶動相關領域產業(如資料中心的存儲轉型、物聯網(IoT)、邊緣運算、影子模式學習等)的快速推進。目前還在緩步成長的AI運算伺服器、FSD v12形成大規模應用時,才是Tesla的成長增速才是突破閾值(Threshold)。而2024年3月底的Elon Musk宣告開放FSD在全美境內免費使用一個月,這個成果與後續影響才是需要最注重的地方。

Tesla如同產業破壞者般的打破原有產業的平衡,讓競爭對手已經不是從原本賽道的追趕者急起直追,反而像是半路插隊進來的新進參賽者,就已經對於原賽道王者構成威脅。Tesla的發展在未來非常有可能取代蘋果成為新一代的龍頭企業,未來是否有這樣的一天,共同拭目以待。

圖9–1、Estimated Economic Impact of General Purpose Technologies

Chapter 9 — 剖析重要事件影響

2024/3/6 Tesla AI訓練已經不再受到算力限制,且開放全美國車主免費使用一個月的FSD
最新消息是2024/3/6的聯合國歐洲經濟委員會通過新法規,批准類似Tesla FSD這類自動駕駛輔助技術進入歐洲道路使用,但人類駕駛仍然要求駕駛員隨時參與並對車輛負責。由此看來Tesla FSD功能很有可能在歐洲推行。

更最新的新聞是Elon Musk在2024/3/20表示「Tesla AI訓練已經不再受到算力限制」,接著在2024/3/27宣布讓全美國車主免費使用一個月的FSD V12.3。不只如此,Elon Musk還要求新車交付和車輛維修保養時,都要帶著用戶體驗一段FSD。最主要的目的是要讓大部分的車主知道現在FSD的成效為何,如圖4–26。Tesla宣布這樣的資訊,也透露出幾個重要的訊息

1. FSD由工程測試轉為商業推廣,從AI Day及小部分測試人員測試FSD功能的展示,轉為開放給美國境內Tesla車主使用。這意味著FSD將開始全面推廣到所用車主用戶,這樣的推廣會使研發成本迅速降低,讓所有人都能負擔的費用。這樣的推進又是跟當初Model S/X研發銷售為了Model 3全面推廣的策略一模一樣。

2. AI運算伺服器(Dojo Accelerator ExaPOD)已經到位且可正常運行,接著就是利用美國全境的開放FSD一個月免費使用作為壓力測試。屆時上百萬輛的Tesla車款同時使用FSD的話,產生的數據與後續效應就會相當驚人,如行車數據傳回伺服器不會出現網路壅塞、快速分配訓練資源、訓練後的快速重新部屬測試。

3. 增加FSD訓練數據體量,一瞬間就會產生指數增漲,這些用戶駕駛數據勢必會快速大量累積極端案例,並讓AI學習更大量的駕駛行為模式等,這會使FSD版本迭代速度倍增。

4. 拉開與競爭者的差距(技術壁壘),當單只美國境內一個月的FSD版本快速迭代,就能直接把其他自動駕駛競爭對手,或自動駕駛計程車的競爭對手的技術水平狠甩在後頭。

5. 增加用戶黏性與網路效應,讓Tesla用戶使用者體驗增加,若有80%的用戶對FSD非常滿意,這意味著這些用戶將會持續購買支持FSD。這些用戶再加上自媒體的推薦或親身引薦親朋好友,將會引起一波網路效應,吸引更多人採用FSD。

6. 吸納效應,當只購買AP的用戶體驗FSD後,若對此有相當高的評價與期待,將會吸引用戶增購FSD;或其他車企品牌的用戶體驗Tesla的FSD後,若正面評價高分的情況,將非常有可能轉向購買Tesla。

7. 成功模式直接複製到其他國家,當美國的壓力測試的問題改善後,後續發展將跨度到美國全境使用外。下一步將會把FSD開放到其他國家做測試。只要該國法規通過,Tesla能直接解鎖該國所有Tesla的FSD功能,屆時美國模式將會快速複製到新地區,FSD訓練數據體量再度指數暴增,屆時其他競爭對手將毫無還手之力。

加速全自動駕駛時代到來,當多數人對於FSD的使用評價高,這將加速全自動駕駛的時代到來,不論是乘用自動駕駛或商用自動駕駛,都將快速到來。

圖10–1、Elon Musk對FSD發展推進

2024/4/24 Tesla 2024Q1財報分析
這邊僅擷取與人工智慧主題相關的內容,以下幾點
1. 本次財報公告的自由現金流為-25.3億美元,最主要是用於持續擴大超級電腦算力。截至2024Q1已經安裝35,000塊Nvidia H100晶片,算力環比增長130%,神經網絡訓練已經不會受到算力限制,大量晶片的採購是造成本次自由現金流為負的情況,但預計今年年底仍會將Nvidia H100訓練晶片數增加到85,000塊。後續要應對更大量的影像數據來進行FSD的訓練,將會更游刃有餘。

2. 目前在北美有鏡頭與HW3配備的車輛約180萬,開啟FSD功能的用戶約50%,且使用率有逐周增加的趨勢。FSD v12開始測試至今才9個月就已經超過3億英哩的實際里程測試(FSD v12在2023/7開放內部人員測試、FSD v12.3開放用戶使用)。監督式FSD基於純視覺方式的端到端自動駕駛已經被證實是正確的解決方案,自動駕駛行使模式越來越貼近人類駕駛,後續超越人類駕駛水平只是時間問題,且Tesla內部人員可看到未來3~6個月的FSD發展狀況,在這過程中會持續進行安全測試與缺陷修復,並讓數百名認證後的駕駛者進行路測反饋測試版,測試無虞後才會逐步推送給員工、早期用戶、一般用戶等。且訂閱價格從US$199→US$99將會讓更多人嘗試FSD功能,尤其是所有體驗過免費使用的FSD之後,勢必會提高訂閱意願。而將在2024年8月揭露的Robotaxi/Cybercab將限定有FSD用戶才可使用,這將吸引想要將負債轉為資產的車主來提供自己車輛來營運,或購買新車輛來營運,屆時可能提高FSD訂閱率,而財報中也展示Roobotaxi的操作介面,如圖10–2。

3. 持續推進FSD將在任何法規批准下的國家推出,如歐洲、中國。FSD已經是利用影像資料來進行訓練端到端的神經網絡,只要在任何一個國家地區可以蒐集數據,並以此來技行訓練,就能幾乎不用修改的方式直接適應當地駕駛民情習慣。後續持續關這有哪些國家批准FSD的應用許可,將會是非常重要的里程碑。

4. Tesla正在跟大型汽車製造商洽談FSD授權事宜。若今年簽訂的話,後續該車企新車發表可在能都要3年後才能看到。若第一家授予FSD功能車企公司,若在全自動駕駛業務營運出色,再加上打開新國家地區的使用率的話,這也將勢必吸引更多技術不足、想打開新市場的車企公司與Tesla洽談。

5. Tesla機器人(Optimus)也是運用同一套Tesla Vision來進行影像辨識與規劃動作。簡單來說,車輛數據來進行訓練的模式,也將會運用在機器人上。而機器人的訓練基礎與素材,是來自於人類穿戴感測器,來對於每個動作的操作,如此影片連結。目前機器人(Optimus)已經可執行簡單的工廠任務,在2024年底將進行任務需求的生產,而在2025年底才可能會對外銷售。Tesla Optimus的銷售將會是Tesla新一輪的生長曲線的動力,因為機器人可以大量運用在人力需求的地方、工廠、家用、災難現場、不適合人類工作場合的地方,可更靈活的運用在各類場域之中。可預期的是初期將可能會大量部屬在工廠中使用,倘若售價為US$25k的話,相當是支付這筆費用,就可以換到至少10年的生產勞動力,而屆時的生產貢獻遠大於費用支出的話,將可能引發大量”聽指令做事”的勞動力被取代。

從越來越多的事蹟中,發現Elon Musk的做事模式大都趨向”將每份資源效益,在每一刻都盡力發揮到最大值”。如,車輛閒置時間轉為Robotaxi為用戶增加收益,或本次在財報中提及未來將引入類似Amazon AWS模式,讓閒置車輛可提供算力資源。預計在2025年底開始配備HW5的車輛在閒置(停車、充電)時,使用車輛的算力資源進行分布式運算。這樣的發展不但把車輛轉為第二個資產管道,也如區塊鏈般將運算資源去中心化,並使得每輛車都一個邊緣運算裝置,形成需求者、資源提供者一同共榮共生的發展。

圖10–2、Tesla Ride-hailing App

2024/4/29 Tesla唯一外國車企公司獲批全自動駕駛許可
Tesla的車輛在中國非常多地方(如,高速公路、機場、展覽中心、會議中心、公路運輸機構、政府部門等)被限制禁止通行及限制從旁經過等,主要是政府單位以「Tesla的哨兵模式可能會蒐集當地地理或其他機密資訊,危及國家安全的理由。」使得Tesla為遵守《汽車數據安全管理若干規定(試行)》而在2023年8月建設中國的專屬資料中心,並對外宣告中國銷售車輛所產生的資料,全部儲存於該地(中國),並不會傳輸至國外。

2024/4/29,Tesla CEO Elon Musk訪華與李強總理見面之際達成在中國推出全自動駕駛 FSD 軟件的批准以及向海外傳輸數據的許可。Tesla最主要是為了符合中國法規《關於促進智能網聯汽車發展維護測繪地理信息安全的通知》以解決「路面數據」的問題,而路面數據又分為靜態路面數據、動態路面數據,如圖10-3。

靜態路面數據:靜態數據又分為道路數據、車道周邊的固定對象。”道路數據”是指車道的標示資訊,如路面指示標線、車道線位置、類型、寬度、坡度和曲率等;”車道周邊的固定對象”是指交通號誌燈號、路面標示/標誌牌、車道限高、地下道口、障礙物、高架物體、防護欄、道路邊緣類型、路邊地標及其他道路細節等基礎設施資訊。若要在中國營運自動駕駛系統(智能駕駛系統)都必須獲得「地圖測繪資質(地圖牌照)」,若持有此照就可以合法蒐集中國內道路、交通訊息等。

動態路面數據:動態數據又分為半動態資料(頻率為1分鐘),動態資料(頻率為1秒)等更新頻率隨時間變動的物體,如道路上其他車輛、行人等。當車輛需要蒐集車內外的數據時,也需通過中國汽車工業協會《關於汽車資料處理4項安全要求檢測情況的通報(第一批)》的規範。四項檢測情況為,車外人臉資訊等匿名化處理、預設不收集座艙資料、座艙資料車內處理、處理個人資訊顯著告知。

圖10-3、中國路面數據

由此Tesla與百度合作,使Tesla在中國獲得地圖測繪的資格,可在公共道路上蒐集所需數據,且百度提供Tesla車道級導航功能。這些合作內容,使Tesla蒐集影像資料可用來訓練端到端的自動駕駛系統,且導航級的圖資系統也有助於Tesla在天氣糟糕的狀況下,仍可精準辨識車道位置,降低定位錯誤的狀況,提供精準導航。

Tesla獲批全自動駕駛 FSD 軟件的批准以及向海外傳輸數據的許可,在此解析對於Tesla後續的影響、對其他車企的影響。

對於Tesla後續的影響

中國政府的批准讓Tesla得以在中國蒐集數據進行FSD的訓練,這些影像數據將會用來訓練FSD v12版,這完全屬於Tesla在第二個國家正式拓展FSD應用的開端。屆時在中國展開用戶使用FSD或Robotaxi將能快速推進。

目前唯一獲批的外國車企,將會使其他遲遲無法獲批的車企轉而與Tesla談FSD授權,或加速申請全自動駕駛許可的申請。最終無法通過申請的車企公司,向Tesla談合作將是最終的唯一路徑,這也是進入中國市場最快的管道,也是使用最成熟的全自動駕駛系統。

Tesla獲批全自動駕駛許可的申請,這也會使美國、歐洲等其他國家,加速評估自動駕駛法案、數據安全法案等。中國對於數據安全非常的敏感且西方列強看到競爭對手,已經開始超前(全自動駕駛)的發展,也會加速推進全自動駕駛時代的到來。

FSD可無虞的使用後,這完全就可推算出Tesla的收益狀況。假設今年(2024年)中時所有販售Tesla的國家都已批准FSD功能,那在美國的200萬輛、中國170萬輛、其他地方130萬輛的總量,其中有20%的人訂閱FSD功能。可推算出500萬*20%(訂閱率)*99*(訂閱費)*12(月份)=11.9億美元。若軟體毛利率約80%~100%,光是自動駕駛收入就達到9.5~11.9億美元。

對其他車企的影響

無法獲批全自動駕駛許可的外國車企公司拖越久,蒐集數據的差異將越大,屆時要追上Tesla的難度將更高。再加上使用高精(HD Map)的車企公司,只能緩慢的拓展應用範圍,競爭差距的加大會使得這些公司,考慮是否使用視覺+雷達的混和方案、與低成本純視覺方案的Tesla談FSD授權合作等。

在電動車廝殺相當激烈的中國,每家車企公司都在削價競爭,以電動車+自動駕駛方案的Tesla,是否會從中突圍,將會對這些中國車企公司影響甚鉅。

中國法規資訊

● 《關於促進智能網聯汽車發展維護測繪地理信息安全的通知》規定已在提供智能網聯汽車售後和運營服務的企業,存在向境外傳輸相關空間坐標、影像、點雲及其屬性信息等測繪地理信息數據行爲或計劃的,應嚴格執行國家有關法律法規,依法履行對外提供審批或地圖審核程序等,在此之前應停止數據境外傳輸行爲。就測繪地理信息數據采集和管理等相關法律法規政策的適用與執行問題進行明確。
○ 第一,智能網聯汽車安裝或集成衛星導航定位接收模塊、慣性測量單元、鏡頭頭、激光雷達等傳感器後,在運行、服務和道路測試過程中對車輛及周邊道路設施空間坐標、影像、點雲及其屬性信息等測繪地理信息數據進行採集、存儲、傳輸和處理的行爲,屬于《中華人民共和國測繪法》規定的測繪活動,應當依照測繪法律法規政策進行規范和管理。
○ 第二,對智能網聯汽車運行、服務和道路測試過程中産生的空間坐標、影像、點雲及其屬性信息等測繪地理信息數據進行收集、存儲、傳輸和處理者,是測繪活動的行爲主體,應遵守相關規定並依法承擔相應責任。
○ 第三,需要從事相關數據收集、存儲、傳輸和處理的車企、服務商及智能駕駛軟件提供商等,屬于內資企業的,應依法取得相應測繪資質,或委托具有相應測繪資質的單位開展相應測繪活動;屬于外商投資企業的,應委托具有相應測繪資質的單位開展相應測繪活動,由被委托的測繪資質單位承擔收集、存儲、傳輸和處理相關空間坐標、影像、點雲及其屬性信息等業務及提供地理信息服務與支持。
○ 第四,根據《外商投資准入特別管理措施(負面清單)(2021年版)》的規定,地面移動測量、導航電子地圖編制等屬外資禁入領域。取得這些專業類別測繪資質的內資企業,應嚴格執行國家有關規定。
○ 第五,目前已在提供智能網聯汽車售後和運營服務的企業,存在向境外傳輸相關空間坐標、影像、點雲及其屬性信息等測繪地理信息數據行爲或計劃的,應嚴格執行國家有關法律法規,依法履行對外提供審批或地圖審核程序等,在此之前應停止數據境外傳輸行爲。同時按照本通知第三條要求,盡快申辦導航電子地圖制作等測繪資質,或委托具有相應測繪資質的單位開展。
○ 第六,各級自然資源主管部門要積極創造條件,提升行政效率,爲相關企業申辦測繪資質、使用基礎測繪成果、導航電子地圖送審以及政策咨詢等提供便利。按照《中華人民共和國測繪法》《中華人民共和國數據安全法》等法律法規規定,切實加強智能網聯汽車新業態發展中涉及測繪活動及測繪地理信息數據的監督管理,強化與有關部門的協同與信息通報,依法查處有關違法違規行爲,在維護國家安全的前提下,促進智能網聯汽車産業發展。

《中華人民共和國測繪法》中的「地圖測繪資質」由自然資源部及各省級自然資源主管部門負責審批和管理,其細分為《甲級導航電子地圖製作資質證書(甲導)》和《甲級測繪資質證書(甲級)》。
○ 「甲導證書」是地圖行業的頂級牌照,是想要從事自動駕駛的科技公司、測繪高精地圖(HD Map)業務必備牌照。
○ 《測繪資質管理規定》中,申請「甲導證書」的要求包含,法人資格、與從事的測繪活動相適應的測繪專業技術人員和測繪相關專業技術人員、與從事的測繪活動相適應的技術裝備和設施、健全的技術和品質保證體系,安全保障措施,資訊安全保密管理制度以及測繪成果和資料檔案管理制度、存放地圖資料的伺服器要設在中國境內,且不得與境外伺服器共用地圖資料、只要涉及高精地圖相關,主管部門對申請主體的股東背景予以高度關注
○ 「甲導證書」的稀缺性,使得持有這資質的公司成為相當強的競爭力。至今的20年中,僅30多家企業獲得此證書資格,如四維圖新、凱立德、百度、高德、華為數字、騰訊、吉利億咖通、靈圖軟件、宏圖創展測繪勘察、航天宏圖信息、長地萬方、美行、豐圖、速度時空信息等。

● 《關於汽車資料處理4項安全要求檢測情況的通報(第一批)》為規範汽車資料處理活動,保障使用者合法權益,鼓勵頭部汽車製造商發揮標竿作用,推動形成全社會共同維護汽車資料安全和促進汽車產業發展的良好環境,中國汽車工業協會、國家電腦網路應急技術處理協調中心依據《汽車資料安全管理若干規定(試行)》、GB/T 41871-2022《資訊安全技術汽車資料處理安全要求》等法規標準有關規定,依企業自願送檢原則,2023年11月起組織對汽車製造商2022-2023年度新上市智慧網聯汽車資料安全合規狀況(車外人臉資訊等匿名化處理、預設不收集座艙資料、座艙資料車內處理、處理個人資訊顯著告知等要求)進行檢測,獲批車款為比亞迪、理想、路特斯、合眾新能源、特斯拉、蔚來等6家企業的76款車型符合規範要求。

● 《汽車數據安全管理若干規定(試行)》規定提及汽車數據處理者開展重要數據處理活動,應當遵守「依法在境內存儲」規定;而因業務需要確需向境外提供重要數據的,汽車數據處理者應當落實數據出境安全評估制度要求,不得超出出境安全評估結論違規向境外提供重要數據。

備註

[註1]電子控制單元(Electronic Control Unit, ECU)
ECU、MCU及感測器是控制系統中最重要的電子單元。ECU是嵌入式電腦,主要控制汽車的各大系統,如車輛控制系統、傳動系統、底盤控制系統、車載通訊系統等。其系統內部零件有微控制器(Microcontroller, MCU)、I/O迴路、AD迴路、電源模組、通訊電路等。當訊號輸入後,藉由電路迴路進行運算處理後,再進行訊號輸出以控制相關的外部功能。目前市面的車款,車輛內的不同系統功能都需要ECU來進行控制,隨著車輛的技術與發展的推進,使用ECU的數量也隨之增加。微控制器(Microcontroller, MCU)則是ECU上的模組晶片,整合CPU、記憶體、I/O等,隨著不同的應用程度,內部資料流的頻寬,而有4、8、16、32bit的區別,用於不同複雜程度的功能控制,如圖N1–1、N1–2。

圖N1–1、各車載系統的運算ECU單元(Source: ARTC)
圖N1–2、ECU控制系統(Source: ARTC)

[註2]汽車電子電氣架構(Electrical/Electronic Architecture, EEA, E/E)
汽車電子電氣架構(Electrical/Electronic Architecture, EEA, E/E)是在2007年由Delphi提出,是對車輛的感測器(Sensor)、致動器(Actuator)、電子控制單元(ECU)、中央處理器(CPU)、線束、操作系統等,將整車的系統(如車輛控制系統、傳動系統、底盤控制系統、車載通訊系統、車載娛樂系統等)進行軟硬體整合設計,實現高效的信號傳輸、線束簡化、訊號網路、通訊網路、診斷的解決方案。

傳統車款的車輛控制功能為分散式架構,因系統ECU皆源自不同供應商,每個ECU皆有不同的底層架構、程式碼,使得OEM(Original Equipment Manufacturer)廠商無法對車輛進行整車維護及無法遠端OTA(On the Air)更新;現今主流車款的車載功能為跨域式架構,車輛在出廠即固定,使得使用者體驗也限制在該範圍內,但優化的部分是可針對某一場域功能或軟體進行OTA更新;Tesla車款作為智慧車輛,也是集中式架構的代表,將所有需要ECU控制部分進行整合,利用遠端OTA方式進行車輛全功能的更新。

由分散式E/E到集中式E/E的演進過程,BOSCH對未來車輛E/E的發展趨勢,推估2025年後,才將進入集中式E/E時代,如圖N2–2。

圖N2、E/E發展趨勢路線圖(Source:BOSCH)

[註3]中央計算模組(Central Computing Module, CCM)
Tesla將E/E架構以集中式E/E進行設計,運算設備的「特定功能」運算轉為「通用」運算為主。因此,HW的設計以中央運算模組(Central Computing Module, CCM)協同三個區網域控制站,進行各種功能的控制決策。

CCM進行處理、決策,協調各區域間的操作控制。主要整合自動駕駛系統、車載娛樂系統的兩大區域、前/左/右車身的區控制器、雷達感測器、鏡頭。其中,左車身控制器集成內部燈光、方向盤機柱控制等;右車身控制器則集成自動泊車、座椅控制、扭矩控制等功能。

[註4]系統晶片(System on Chip, SoC)
將多種不同功能的晶片,整合到一個晶片內並使其具有完整功能,再封裝成一個積體電路。這個SoC晶片的運算效能更強大、降低耗電量、體積縮小、提升系統功能等眾多優點,如圖N4。

圖N4、SoC晶片

[註5]NVIDIA Drive PX2系統
Nvidia在2015年的CES發佈Drive PX(用於自動駕駛開發)和Drive CX(用於數位化環境開發)等兩款車載電腦。運用Drive PX進行車輛的深度學習和電腦視覺建立,以對周遭環境進行感知,進而實現自動巡航與停車等功能;運用Drive CX支援車載資訊系統、環景影像系統的圖形運算、處理導航、駕駛行為檢測等。並在2016年GTC會議中,發表Xavier,這是自動駕駛硬體從Drive PX2到Xavier的演進,也是從邊緣端到雲端的全面自動駕駛計算平台規劃。

Drive PX系列針對車載環境的深度學習訓練和推理,並與Tier 1供應商、車廠的車輛設計經驗相結合,建構從融合感測器數據、位置定位、建構高精度地圖、司機行為檢測、駕駛態勢感知等一系列的配置方案。

Driver PX的硬體配備從 Maxwell架構的Tegra X1進階到Pascal架構的Tegra Parker,使得運算算力提升10倍(2.3 Tera-Flop→24 Tera-Flop),如圖N5–1;平臺架構也吸引越來越多的開發者加入,如圖N5–2,與Tier 1供應商、車廠的車輛設計經驗相融合,搭建自動駕駛技術架構DriveWorks,其架構可從雲端伺服器和超級電腦進行大規模訓練,並在車載電腦上進行小型模型的訓練和推理的硬體框架,如圖N5–3。

Driver PX在2016年後分化成三個版本(Drive PX2 for AutoCruise、Drive PX 2 for AutoChauffeur、Drive PX 2 for Fully Autonomous Driving),且基於Pascal架構和Tegra SoC晶片,使得車廠可根據需求進行訂製化的功能設計。簡單介紹如下:
● AutoCruise的版本搭載單顆Tegra Parker,支援8個攝影機、毫米波雷達、光達等感測器的資料輸入,提供高速公路自動駕駛、高精地圖繪製的運算。
● AutoChauffeur的版本搭載2顆Tegra Parker的自動駕駛運算核心(TDP為10W)和2顆Pascal架構GPU,支援點到點的自動駕駛的運算。這屬於PX2自動駕駛的自定義版本,整模組TDP耗能為250W。Tesla與Nvidia合作的運算電腦為此版本。
● Fully Autonomous Driving的版本由多套Drive PX2組成的運算矩陣模組。

Drive PX 2 的軟體架構分為軟硬體底層、工具開發層、應用軟體層、深度學習應用層,如圖N5–3。
● 軟硬體底層:Nvidia可依據客戶需求提供與Tier 1元件搭配的客製I/O串接。
● 工具開發層:運用Nvidia自家的不同功能的軟體工具,從加速計算(CUDA)、深度學習程式庫(CuDNN)、優化和加速深度學習推理(TensorRT)、多媒體處理工具(NvMedia)等,用以處理運算問題,並針對深度學習推理的效率最大化。
● 應用軟體層:提供開發者使用自動駕駛的開發平臺,可在此進行感測器識別、製作高精度地圖與定位、路徑規劃、交通工具識別、地面標線與路面識別等,運用工具開發層的軟體工具進行應用功能的編撰。
● 深度學習應用層:先將NvMedia的實時拍攝到的攝像資料進行抓取後,再執行影像處理、編碼等,運用TensorRT將拍攝圖像與其他感測器數據進行處理,由此訓練優化深度學習的模型。

圖N5–1、Nvidia Drive PX2(Source:Nvidia)
圖N5–2、Nvidia Drive PX2 Block diagram(Source:Nvidia)
圖N5–3、Drive PX平台架構

[註6]Camera — 色彩濾鏡格式
人類眼睛所見的色彩以機器的角度來看就是將紅(R)、綠(G)、藍(B)的濾鏡組合成影像感測器。在相機/鏡頭中的每個圖元(pixel)含有4個色彩濾鏡的感光器,且每個濾鏡只收集R、G、B、C其中一個分量。將一個尺寸內的所有圖元的陣列呈現影像的色彩資訊,即是色彩濾波陣列(Color Filter Array, CFA或Color Filter Mosaic, CFM)。

● RCCC:CFA的75%為透明傳遞,25%為紅光濾波器。其優點為光敏感度高,適合在低光源的環境;且在紅色標示的場合,訊息接收的呈現度更好。
● RCCB:CFA的50%為透明傳遞,25%為紅光濾波器,25%為藍光濾波器。RCCB的弱光敏感度比RCCC差,主要因為Clear的部分少。但辨色能力佳,擷取的影像可用於機器分析,也可人眼觀察。
● Mono:CFA的100%為透明傳遞,其無法分辨色彩。此配置的低光敏感度最高,僅適合用於對無顏色識別要求的場合。

Tesla HW2.0、HW2.5的鏡頭所使用RCCC、RCCB的類型。第一碼的R指紅色濾鏡,道路上的警告訊息皆為紅色,獲取紅色訊息就相當重要;第二碼的C指Clear/白色濾鏡,目的是要讓光線通過濾鏡時,獲取亮度訊息,在當燈光不足的昏暗環境尤為重要。

[註7]自動輔助駕駛功能使用雷達零件
● 鐳射雷達(Laser Radar):利用高度聚焦且高功率的激光脈衝,對目標物進行照射,再接收反射光進行分析。其操作波長通常在紫外線至紅外線範圍內,具有極高的方向性和空間解析度。這使得鐳射雷達在遠距離目標偵測和精確測距方面具有卓越的性能,尤其適用於需要高精度目標跟踪的應用場景,如軍事和天文觀測。
● 毫米波雷達(Millimeter Wave Radar):毫米波雷達操作於毫米波頻段,其波長在1~10毫米間。這類雷達具有高的穿透能力,並在大氣中的衰減較小,因此在大氣層中的穿透和恢復方面表現出色。毫米波雷達廣泛應用於安全掃描、遙感、天氣預報以及無人機導航等領域,尤其在需要在不良氣候條件下進行目標偵測和跟踪時效果顯著。
● 超聲波感測器(Ultrasonic Sensor, USS):利用高頻聲波波束,在20 kHz~100 kHz的頻率範圍內進行操作。這種雷達具有優異的解析度和精度,並在複雜環境中的目標偵測和定位方面表現出色。超聲波雷達廣泛應用於工業自動化、距離測量、無人載具和自動駕駛系統等領域,尤其在需要對近距離目標進行精確控制和定位時非常有用。
● 固態光達(Solid-state LiDAR):固態光達是種新興的雷達技術,採用固態光學元件,如光學相位陣列和光學干涉儀,來發射和接收雷達信號。這使得固態光達具有更高的可靠性、更低的功耗和更高的集成度。固態光達通常應用於高分辨率圖像、精確測距和高速目標追踪等需求較高的應用場景,如無人機導航、機器人感知和自動駕駛系統等。

[註8]圖像畸變(Distortion)
當我們拍攝照片或眼睛過近觀察事物時,會發現圖像/實際物體看起來彎曲或扭曲,這就是圖像畸變,這種畸變會使得物體的形狀在圖像中顯得不正確。這些畸變通常是由於相機或鏡頭內的光學系統造成的,特別是在鏡頭的邊緣部分。這些問題可能會影響到攝影的準確性和圖像的可用性。畸變主要分為
● 桶形畸變(Barrel Distortion):當拍攝一個圓形的物體時,物體的邊緣會向外彎曲,看起來像是放在桶子裡一樣,稱之。
● 枕形畸變(Pincushion Distortion):當拍攝一個圓形的物體時,物體的邊緣會向內彎曲,看起來像是被壓在枕頭上一樣,稱之。

在修復圖像畸變時,會使用軟體來圖像校正(Image Correction),這可通過數學模型和算法將原始圖像中的歪曲部分調整回正確的形狀。

圖N8、畸變(Distortion)

[註9]全景圖拼接處理(Image Stitching)
當要拍攝一個超寬視角的場景或全景圖時,單張照片可能無法完整地捕捉到整個場景。這時使用全景攝影的技術,將多張相鄰的照片拍攝並組合在一起,形成一張完整的全景圖片。這個過程被稱為全景圖拼接處理(Image Stitching)。

首先拍攝多張相鄰的照片,將每張照片都有一部分重疊區域。使用專門的軟體或算法將這些照片合併在一起,消除重疊區域的縫隙,以產生一張連續、無縫的全景圖像。這個過程需要考慮許多因素,如照片間的對齊、曝光和顏色一致性,及去除因拍攝角度不同而產生的變形和扭曲。

[註10]RegNet
RegNet使用”深度残差注意機制”的技術,這能在處理大量數據時保持高效率,且有效的從圖像中學習物體的特徵並準確的識別。是用於目標檢測和物體識別的深度學習模型。RegNet被設計用來在圖像中找出並標記出不同類別的物體,如汽車、人、動物等,對於自動駕駛、監視系統和圖像檢索等應用非常有效。

RegNet模型的訓練過程涉及大量的圖像數據和標註,以便模型能夠從中學習到不同物體的外觀和特徵。訓練完成的RegNet就能夠通過處理新的圖像來檢測和識別其中的物體,從而實現各種實際應用。這是種強大的深度學習模型,能夠在圖像中準確地檢測和識別不同類別的物體,從而為各種應用提供支持。

[註11]雙向特徵金字塔網絡(Bidirectional Feature Pyramid Network, BiFPN)
是種用於目標檢測的神經網絡結構,這結構被廣泛應用於提高目標檢測模型的性能和準確性。

BiFPN通常被用作深度神經網絡中的一個模塊,用於處理來自不同層級的特徵。這些特徵來自於圖像的不同層次,如粗糙的邊緣信息或細緻的細節信息,目標是將這些特徵組合起來,以便更好地檢測和識別圖像中的目標物體,且最關鍵特點是雙向性,不僅可將特徵自底向上(低→高)傳遞,還可以反向傳遞(高→低),在不同層級的特徵間進行雙向交互,以提高特徵的表示細緻度和模型的性能。

[註12]卷積神經網路(Convolutional Neural Networks, CNN)
卷積神經網路是種用於處理圖像和視覺數據的深度學習模型,這類神經網路被設計用來模仿人類視覺系統的工作方式,通過學習和提取圖像中的特徵來辨識物體。CNN主要由兩種類型的層組成:卷積層(Convolutional Layer)和池化層(Pooling Layer)。

卷積層(Convolutional Layer)負責從輸入圖像中提取特徵,通過在圖像上滑動一個稱為卷積核的小窗口來實現這一目的。卷積核會對圖像進行卷積運算後生成一個特徵圖,這個特徵圖包含圖像中各種特徵的表示。

池化層(Pooling Layer)用於減少特徵圖的尺寸,從而降低計算複雜度並增加模型的Robustness(模型在面對不同類型的資料或者資料中的雜訊、扭曲、變化等情況下,仍能夠保持高效的性能和準確性)。

CNN的特點是權重共享機制。在卷積層中,卷積核的參數被共享,這意味著在整個圖像上進行特徵提取時都使用相同的權重,這使CNN能夠有效地捕捉到圖像中的局部特徵,並具有平移不變性。CNN通常由多個卷積層和池化層交替組成,以便逐步提取和組合更高級別的特徵。最後,通過全連接層和分類器將這些特徵映射到最終的輸出類別。可參照此連結,了解動畫演示CNN卷積神經網路

[註13]自然語言處理(Natural Language Processing, NLP)
自然語言處理是人工智慧領域中,專門研究如何使計算機理解、處理和生成人類自然語言的能力。能讓電腦像人類一樣理解和處理語言,進行文本的分析、翻譯、生成及其他各種語言相關的任務,或使用各種技術和算法,如統計模型、機器學習、深度學習等,來實現不同的任務。廣泛應用範圍,如下:
● 文本分類:將文本分為不同類別或主題,如垃圾郵件檢測、情感分析等。
● 語言翻譯:將一種語言翻譯成另一種語言。
● 語言生成:根據給定的條件生成自然語言文本,如構建對話系統或自動寫作程式。
● 問答系統:根據用戶提出的問題,從大量的文本中找到相關的答案。
● 詞彙向量化:將文字轉換成向量形式,以便電腦能夠理解和處理。

[註14]Transformer模型
Transformer模型是用於處理序列資料的深度學習模型,特別在自然語言處理(NLP)領域。核心模式是使用自注意力機制(Self-Attention Mechanism)來實現序列資料的處理。在 Transformer模型中,有三個重要的要素:Query、Key、Value。這些是通過自注意力機制來實現對序列資料的處理的關鍵。
● Query(查詢):Query是當前位置的輸入向量,用於計算與其他位置的關聯程度。可理解為模型希望瞭解的資訊或問題。
● Key(鍵):Key是序列中所有位置的輸入向量,用於計算與當前位置的輸入向量(Query)的關聯程度。
● Value(值):Value是序列中所有位置的輸出向量,它包含了與每個位置相關的資訊。

在自注意力機制的Query、Key、Value通過點積操作(Dot Product)計算關聯程度,將關聯程度作為權重來加權Value。最終,加權後的Value被相加以生成最終的表示。這樣做的目的是使得模型能夠在每個位置上動態地關注到與其相關的資訊,更好地理解整個序列。這種機制使得模型能夠在不同的位置上集中關注到不同程度的資訊,從而在NLP任務中取得非常好的表現。

[註15]慣性測量單元(Inertial measurement unit, IMU)
慣性測量單元(IMU)是種集成多種感測器(加速計、陀螺儀、磁力計)的電子設備,在空間中追蹤物體的加速度和角速度,並根據這些信息估計物體的位置、速度和方向。
● 加速度計(Accelerometer):用於測量物體的加速度,即物體在空間中加速或減速的速率。加速度計可以檢測到物體的線性運動,如前後移動、上下移動。
● 陀螺儀(Gyroscope):用於測量物體的角速度,即物體繞著其軸心旋轉的速率。陀螺儀可以檢測到物體的角運動,如旋轉、轉向。
● 磁力計(Magnetometer):用於測量地球的磁場,從而提供物體的方向信息。磁力計可用來檢測物體相對於地球的方向,用於提供方向的補充信息,特別是在存在外部磁場干擾時。

[註16]Long Short-Term Memory, LSTM
Long Short-Term Memory是種循環神經網絡(Recurrent Neural Network, RNN)的變體,被廣泛應用於處理和建模時間序列數據,例如語言模型、文本生成、時間序列預測等。主要是通過引入「記憶單元(Memory Cell)」的結構,來解決傳統RNN模型中的長期時間依賴關係問題。LSTM單元包括三個控制:遺忘門(forget gate)、輸入門(input gate)、輸出門(output gate),及記憶單元(cell state)。這些控制門和記憶單元共同工作,使得LSTM能夠有選擇性地記住或忘記信息,從而更好地捕捉長期依賴關係。RNN處理長序列時,出現梯度消失或梯度爆炸問題可能會導致訓練困難,且難以捕捉長期時間依賴關係。LSTM這些問題。

[註17]循環神經網絡(Recurrent Neural Network, RNN)
循環神經網絡(Recurrent Neural Network, RNN)特別適用於處理序列數據的神經網路,如時間序列或自然語言。RNN的特點在於可以捕捉序列數據中的時間依賴性,使得它在處理具有時間或順序性的任務時非常有效。

[註18]空間注意力模組(Spatial Attention)
空間注意力(Spatial Attention)是深度學習中的一種注意力機制,用於輸入數據中的空間信息。它在處理視覺任務時特別有用。在深度學習中,常見的神經網絡模型對於輸入數據的處理是盲目的,即不會在處理不同部分的輸入時給予特定的注意力。然而,在許多場景中,不同部分的輸入可能具有不同的重要性。因此,需要空間注意力機制在處理輸入時,根據其重要性加強或抑制不同的部分。

空間注意力模組(Spatial Attention)的常見應用是在卷積神經網絡(CNN)的最後幾層進行引入,以便模型能夠專注於圖像中最重要的區域,從而提高圖像理解的準確性。空間注意力模組可通過學習來自訓練數據的權重來實現,也可通過設計固定的權重來實現,這取決於具體的應用和需求。

[註19]時間對齊(Temporal Alignment)
時間對齊(Temporal Alignment)指將兩個或多個時間序列中的事件或特徵按照時間軸進行對齊,以便在進行比較、分析或結合時,能夠準確地將相應的事件或特徵對應起來。

在時間序列分析中,不同的數據源可能具有不同的時間戳記或不同的時間解析度。時間對齊的目的是確保這些時間序列的事件或特徵在時間上是一致的,從而使得後續的分析更加準確和可靠。

[註20]多層感知器(Multi-Layer Perceptron, MLP)
多層感知器(Multi-Layer Perceptron, MLP)是種基本的人工神經網絡(Artificial Neural Network, ANN)模型,通常由多個神經元層組成,每個層與下一層全連接。MLP是種前向反饋神經網絡(Feedforward Neural Network, FNN),其中信息只能向前傳遞不會形成循環。在許多應用中都表現良好,特別是在分類和回歸任務中。

MLP使用前向傳播(Feedforward)的方式計算輸入數據的預測值或分類結果。具體地,對於每個訓練樣本,輸入特徵首先被引入輸入層,再通過隱藏層進行加權總和和非線性轉換,最終得到輸出層的預測結果。

MLP 的學習通常使用反向傳播(Backpropagation)算法來實現。反向傳播通過計算模型預測與實際標籤間的誤差,再將這個誤差反向傳回網絡,根據誤差大小調整每個神經元間的權重,從而逐漸改進模型的性能。

[註21]神經輻射場(Neural Radiance Field, NeRF)
Neural Radiance Fields(NeRF)用於從一組稀疏視圖重建高品質的三維場景。NeRF通過建模每個點在空間中的顏色和密度以及光線通過場景的路徑來工作。允許生成從任何視角觀察時的合成視圖,捕捉複雜的光照效果和細節,藉以創建超真實的三維場景。舉例,通過觀察者(自己)從各種角度拍攝被觀察者(爵士鼓)的一系列圖片,並在訓練場景中呈現光線在不同的角度時,物體影子長度的相對應結果,將圖像資訊引入NeRF後,就能對於被觀察者(爵士鼓)與其場景渲染出連續視角,非常精準的重建出三維模型,如圖N21。

數學上,NeRF通過一個函數F:(x,d)→(c,σ) 來建模,其中x是三維空間中的點,d是視線方向,c是從該點沿該方向觀察時的顏色,而σ表示該點的體積密度。通過優化過程,NeRF學習如何根據輸入的一組圖像和相應的相機參數來預測函數F。

圖N21、NeRF的3D建模過程(Source: https://arxiv.org/pdf/2003.08934.pdf)

[註22]損失函數(Loss Function)
損失函數(Loss Function)是在機器學習和深度學習中用來衡量模型預測值與實際值之間差異的一種函數。用於衡量模型在訓練過程中的表現,並作為優化算法(如梯度下降)的目標函數,從而讓模型學習到數據中的規律和模式,通過最小化損失函數來調整模型參數,使得模型的預測盡可能接近實際值。

想像一下,你正在玩一個射箭遊戲。每次你射箭時,你的目標是盡可能靠近靶心。在這個比喻中,損失函數就像是衡量你的箭離靶心有多遠的方法。如果箭射得很近,你的得分就很高(這意味著損失很小);如果箭射得很遠,你的得分就低(損失很大)。在機器學習中,我們的“箭”是模型的預測,而“靶心”是真實的答案或結果。損失函數説明我們瞭解模型的預測有多準確 — — 如果預測非常準確,損失就很小;如果預測相差甚遠,損失就很大。

我們的目標是通過調整模型(就像調整射箭的技巧),使得損失盡可能小,這樣模型的預測就會盡可能接近真實的結果。這個過程就像是不斷練習射箭,找到最好的姿勢和力度,讓箭盡可能地命中靶心。

在機器學習和深度學習中,用來衡量模型預測的好壞的一種數學函數方法。用於計算模型的預測結果和真實值間的差異或誤差。損失函數的值越小,表示模型的預測結果越接近真實值,也就是說,模型的性能越好。損失函數的選擇取決於具體的機器學習任務(如回歸、分類、聚類等)和預測模型的性質。以下是一些常見的損失函數:

對於回歸問題
● 均方誤差(Mean Squared Error, MSE):計算模型預測值和真實值之差的平方的平均值。這是回歸問題中最常用的損失函數之一。
● 絕對誤差(Mean Absolute Error, MAE):計算模型預測值和真實值之差的絕對值的平均值。

對於分類問題
● 交叉熵損失(Cross-Entropy Loss):當處理分類問題時,特別是在二分類或多類分類問題中,通常使用交叉熵損失。它衡量的是實際分佈(真實標籤)和預測分佈(模型輸出)之間的差異。在本篇用來評估Occupancy Network的空間佔用的準確性。
● 渲染損失(Rendering Loss):運用比較實際圖像和預測場景渲染的圖像間的差異(如,顏色、體積密度、光線角度等)

[註23]蒙地卡羅搜尋樹(Monte Carlo Tree Search, MCTS)
蒙特卡洛樹搜索(Monte Carlo Tree Search,MCTS)是種用於決策問題的搜索算法,通常被用來找到最佳的選擇策略,從而在給定的情況下最大化預期的獲勝機會。主要思想是通過模擬大量的隨機遊戲來建立搜索樹,並根據模擬結果對每個可能的動作進行評估。主要由以下四個步驟組成:
● 選擇(Selection):從根節點開始,根據某種策略(如 UCB1 策略)選擇子節點,直到達到葉節點為止。這些策略通常結合已知信息和探索未知節點之間的權衡。
● 擴展(Expansion):如果選擇的葉節點還有未探索的子節點,則通過向樹中添加新節點擴展搜索空間。如,對於一個未探索的動作,將其對應的子節點添加到葉節點下。
● 模擬(Simulation):對擴展的節點進行隨機模擬(局部搜索),模擬遊戲的隨機運行,直到達到終止條件,如遊戲結束或達到最大模擬次數。
● 回溯(Backpropagation):根據模擬結果,更新從選擇節點到根節點的所有節點的統計信息,例如獲勝次數和訪問次數。這些統計信息用於指導下一次選擇。

[註24]Integrated Fan-Out System on Wafer (InFO_SoW)
Integrated Fan-Out System on Wafer (InFO_SoW) 是種先進的半導體封裝技術,由台灣積體電路製造公司(TSMC)首次推出,將封裝和晶片製造技術結合在一起,以實現更高效的封裝解決方案,這種技術已經在許多產品中得到廣泛應用。InFO_SoW技術的主要特點包括以下幾個方面:
● 集成化設計:將封裝和晶片製造集成到同一塊矽晶圓上,實現更緊湊和更高效的設計。這減少封裝和晶片製造間的距離,從而降低信號延遲,提高性能。
● 極薄封裝:採用極薄的封裝層,通常在100μm以下,使得設計更加輕薄、更輕便。對於需要更輕薄設計的消費電子產品非常重要,如智能手機和平板電腦。
● 高密度連接:通過將晶片製造和封裝集成在一起,實現更高密度的連接,提供更大的帶寬和更快的數據傳輸速率。這對於需要高性能連接的應用非常重要,如圖形處理器和高速通信芯片。
● 製程技術創新:InFO_SoW技術包含一系列製程技術創新,如微米級精度的晶片製造、先進的封裝工藝和高精度的3D堆疊技術。這些創新技術使得 InFO_SoW 技術能夠實現更高性能和更可靠的產品。

[註25] Chip V.S Chiplet
芯片(Chip)
●通常指單個獨立的集成電路晶片,在一個完整的半導體晶圓上製造和加工的,且製造過程通常比較單一,並且在同一個晶圓上完成
● 可能包含一個或多個功能單元,如中央處理器(CPU)、圖形處理器(GPU)、記憶體等,這些功能單元通常在同一個晶片上被製造出來。

晶片組(Chiplet)
● 晶片組是指由多個獨立的芯片組成的集成電路系統。Chiplet可通過不同的製造工藝製造,並在不同的晶圓上製造。晶片組的設計和製造過程通常需要考慮到多個不同的製造和封裝技術,並且需要在裝配和封裝階段將這些不同的Chiplet集成在一起。
● Chiplet通常是具有特定功能的小型晶片,如CPU核心、I/O控制器、記憶體控制器等。

參考文獻

1. 行車電腦進化史,https://hk.evoffer.com/blog/introducing-car-computer/

2. NVIDIA Tegra處理器獲Tesla Motors全新Model S車款採用,https://www.nvidia.com/zh-tw/about-nvidia/press-releases/2011/tesla-motor-model-s-features-tegra-processors-20110104/

3. 翼式車門成為標準:Tesla Motors 推出搭載Tegra 技術的 Model X 車款,https://blogs.nvidia.com.tw/2015/09/30/tesla-motors-model-x-nvidia/

4. The Ultimate Guide to Tesla Autopilot,https://www.currentautomotive.com/the-ultimate-guide-to-tesla-autopilot/

5. 從誤解到認知,Tesla自動駕駛的前世今生,https://www.ifanr.com/717447

6. Inside the Self-Driving Tesla Fatal Accident,https://www.nytimes.com/interactive/2016/07/01/business/inside-tesla-accident.html

7. refrigerated semitrailer,https://www.visualdictionaryonline.com/transport-machinery/road-transport/trucking/refrigerated-semitrailer.php

8. 特斯拉自駕技術Autopilot車禍頻傳,原來無法辨識大貨車?,https://reurl.cc/NyzZqx

9. The driver who died in a Tesla crash in Florida ignored at least 7 safety warnings,https://www.jacksonville.com/story/news/nation-world/2017/06/20/driver-who-died-tesla-crash-florida-ignored-least-7-safety-warnings/15760312007/

10. 深度解析:特斯拉Autopilot 2.0到底比Autopilot 1.0強在哪?,https://www.leiphone.com/category/transportation/DhodIIXo13nhmXYr.html

11. 終於有人這麼乾了!特斯拉Model S Autopilot 2.0計算單元全拆解,英偉達PX 2主機板到底什麼?,https://www.leiphone.com/category/transportation/ctqGWbVeGOpiURS7.html

12. Tesla 新版自動駕駛運算架構曝光,採用基於NVIDIA Drive PX2平台的自定義設計,https://www.cool3c.com/article/128273

13. 今天我們來說說 Tesla Autopilot“自動駕駛”的心臟,NVIDIA Drive PX 2,https://news.xfastest.com/nvidia/31135/key-of-tesla-autopilot-is-nvidia-drive-px-2/

14. 特斯拉「減配門」再升級,HW2.5與HW3.0到底差在哪?,https://www.ednchina.com/news/202003161131.html

15. 透過特斯拉自動駕駛感應器以及晶片看其高利潤秘訣,https://nev.ofweek.com/2022-04/ART-77015-8420-30558566_2.html

16. HW 3.0 版Model 3 拆解,特斯拉的黑科技終歸也得向成本低頭,https://www.leiphone.com/category/transportation/mrlOrcDxrwyudf2u.html

17. 特斯拉FSD完全自動駕駛晶片詳細介紹,https://tslcyh.cn/689.html

18. Tesla Autonomy Day,https://youtu.be/Ucp0TTmvqOE

19. Tesla AI Day 2021,https://youtu.be/j0z4FweCy4M

20. Tesla AI Day 2022,https://youtu.be/ODSJsviD_SU

21. Observations on Tesla’s AI Day,https://cleantechnica.com/2021/08/30/observations-on-teslas-ai-day/

22. Tesla Vision Update: Replacing Ultrasonic Sensors with Tesla Vision,https://www.tesla.com/support/transitioning-tesla-vision

23. [CVPR’21 WAD] Keynote — Andrej Karpathy, Tesla,https://youtu.be/g6bOwQdCJrc

24. FULL Andrej Karpathy Tesla Autonomous Driving Talk CVPR 2021,https://youtu.be/a510m7s_SVI

25. 特斯拉 Autopilot 是自動駕駛嗎?AP、EAP、FSD 有什麼不同?一張表看懂,https://teslagu.ru/ap-eap-fsd/

26. 特斯拉超音波感測器(USS)vs全視覺停車輔助(Tesla Vision)到底差多少?,https://wuangus.cc/tesla-ultrasonic-sensors-vs-tesla-vision/

27. Tesla Vision vs Parking sensors — Was it worth the wait?,https://youtu.be/-w1NS_eDz5k

28. Tesla REMOVING Their Ultrasonic Sensors,https://youtu.be/LS3Vk0NPFDE

29. 獨家解密特斯拉最新高清雷達!Tesla HD Radar Explained|FMCW 4D Imaging Radar|Project Highland,https://youtu.be/Hs1JUUSSnaA

30. Investor Day Reveals Tesla Cybertruck Rear Screen, Bumper Cam, Circular Yoke and More [Photos, Video],https://reurl.cc/G4bOjG

31. Tesla teardown confirms the presence of the new radar in HW4-equipped vehicles,https://reurl.cc/bDno5X

32. 特斯拉HW 4.0與HW 3.0硬體比較資訊梳理,https://www.ednchina.com/technews/19899.html

33. 特斯拉HW4.0硬體升級資訊匯總,https://mp.weixin.qq.com/s/8a1JVA33F1vaQmM-GBaxXQ

34. Tesla’s Hardware 4 FSD Computer Teardown Reveals HD Radar, More Cameras, Tri-Band GPS,https://www.autoevolution.com/news/tesla-s-hardware-4-fsd-computer-teardown-reveals-hd-radar-more-cameras-tri-band-gps-210416.html#

35. Tesla’s new self-driving (HW4) computer leaks: here’s a teardown,https://topcarnews.net/teslas-new-self-driving-hw4-computer-leaks-heres-a-teardown-s206775.html

36. 特斯拉上海工廠的停產和HW4.0的到來,https://mp.weixin.qq.com/s/Gizte6Q1F-GHavt_V3GOaA

37. 現在買特斯拉FSD會成冤大頭? HW4.0裝車,內核提升不大,https://mp.weixin.qq.com/s/FHiXLRhwStDlwdq2zWBqNg

38. Autopilot, Processors and Hardware,https://teslatap.com/articles/autopilot-processors-and-hardware-mcu-hw-demystified/

39. ARM 推出針對先進輔助駕駛的Mali-C71 ISP IP,具備超越專業相機的 24 階動態範圍,https://www.cool3c.com/article/123536

40. Tesla的Photon to Control, 真的放棄ISP了嗎?,https://zhuanlan.zhihu.com/p/470647460

41. 畫素升級、視角也變更廣了,特斯拉 HW 4.0 相機鏡頭規格解密,https://www.ddcar.com.tw/article/36270

42. 特斯拉 HW4.0(500萬)vs HW3.0(120萬)鏡頭畫素更好更廣角了!,https://wuangus.cc/tesla-model-y-hardware-4-vs-hardware-3-dashcam/

43. Tesla Model Y Hardware 4 vs Hardware 3: Dashcam Edition,http://youtu.be/FGJ9R3xiiY4

44. 一文帶你對比特斯拉HW4.0與HW3.0硬體,https://www.eet-china.com/mp/a197585.html

45. JakeS@X,https://reurl.cc/D4vEpm

46. JakeS@X,https://reurl.cc/2zbeQr

47. green@X,https://reurl.cc/XqlgqE

48. Tesla HW4高解析雷達是Made in Taiwan,https://reurl.cc/97Za9a

49. Tesla 的全自動駕駛之路 — 從Autopilot 2.0 到 3.0(上),https://zhuanlan.zhihu.com/p/57681796

50. 為什麼 LED 燈會在視頻中閃爍,https://www.ledyilighting.com/zh-TW/why-do-led-lights-flicker-on-video/

51. Stroboscopic effect,https://en.m.wikipedia.org/wiki/Stroboscopic_effect

52. Sony IMX490為自動駕駛而生,https://www.willas-array.com/sony-imx490/

53. Tesla teardown confirms the presence of the new radar in HW4-equipped vehicles,https://www.teslaoracle.com/2023/06/19/tesla-teardown-confirms-the-presence-of-the-new-radar-in-hw4-equipped-vehicles/

54. Tesla Hardware 4 — Full Details and Latest News,https://www.autopilotreview.com/tesla-hardware-4-rolling-out-to-new-vehicles/

55. Tesla files patent for sourcing self-driving training data from its fleet,https://reurl.cc/VNjaZn

56. SYSTEM AND METHOD FOR OBTAINING TRAINING DATA,https://patents.justia.com/patent/20210271259

57. Tesla has opened the floodgates of Autopilot data gathering,https://electrek.co/2017/06/14/tesla-autopilot-data-floodgates/

58. 外媒:特斯拉電動車蒐集的數據驚人!,https://www.inside.com.tw/article/28538-tesla-data

59. 特斯拉的2020 年自動駕駛大餐,https://auto-time.36kr.com/p/437294053720072

60. 影子模式shadow mode分析,https://zhuanlan.zhihu.com/p/562657222

61. 曝特斯拉重大更新:FSD測試版入華準備,影子模式先行,https://nev.ofweek.com/2023-08/ART-77015-8110-30606933.html

62. FULL Andrej Karpathy Tesla Autonomous Driving Talk CVPR 2021,https://youtu.be/a510m7s_SVI

63. 九頭蛇的演化:Tesla AutoPilot 純視覺方案解析,https://zhuanlan.zhihu.com/p/401810792

64. Tesla AI day (computer vision篇),https://kilong31442.medium.com/tesla-ai-day-computer-vision%E7%AF%87-bd92eb19c7ad

65. 一文聊聊Tesla如何做自動駕駛數據標註,https://www.eet-china.com/mp/a185973.html

66. Tesla資料標註系統解析,https://blog.csdn.net/xhtchina/article/details/120617693

67. 聊一聊Tesla的Occupancy Network,https://zhuanlan.zhihu.com/p/575953155?utm_id=0

68. Tesla AI Day FSD Occupancy Network詳解,https://zhuanlan.zhihu.com/p/572057070

69. 如何搭建Tesla Occupancy Network之MonoScene( Monocular 3D Semantic Scene Completion),https://zhuanlan.zhihu.com/p/575058907

70. 特斯拉自動駕駛中的OccupancyNetworks & NeRFs,https://blog.csdn.net/u010165147/article/details/127141263

71. Occupancy Networks: Learning 3D Reconstruction in Function Space,https://reurl.cc/N48Z99

72. NeRF: Neural Radiance Fields,https://reurl.cc/97A5ad

73. 特斯拉Occupancy Network正確解讀(NeRF監督的使用),https://zhuanlan.zhihu.com/p/573570419

74. 柏克萊團隊新研究:不用神經網絡,也能快速產生優質動圖,https://www.linkresearcher.com/theses/9a812b63-f752-41d5-af2c-71c0494497c4

75. 3D生成: Occupancy Networks,https://medium.com/@tonytsai225/3d%E6%A8%A1%E5%9E%8B%E7%94%9F%E6%88%90%E7%B3%BB%E5%88%97-occupancy-networks-a941b61d0373

76. 聊聊Tesla 的Occupancy Network,https://zhuanlan.zhihu.com/p/575953155

77. 特斯拉的Occupancy Network與立體雙眼解讀,https://www.eet-china.com/mp/a235159.html

78. Tesla-FSD(完全自動駕駛)技術解析|麥岩技術沙龍,https://www.163.com/dy/article/HL6GU09N0552JSE9.html

79. 白話Neural Radiance Fields (NeRF): 類神經網路在View Synthesis的熱門新方向,https://reurl.cc/mrb0LG

80. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis,https://dl.acm.org/doi/pdf/10.1145/3503250

81. Tesla AI Day 2022 — 萬字解讀:堪稱自動駕駛春晚,去中心化的研發團隊,野心勃勃的向AI技術公司轉型,https://zhuanlan.zhihu.com/p/570431956?utm_medium=social&utm_oi=649945598174826496&utm_psn=1560949563191767040&utm_source=wechat_session

82. 特斯拉純視覺自動駕駛深度解讀!8個鏡頭背後隱藏的巨大工程,燒腦又窒息論文級分析!,https://youtu.be/--cGYatMESY

83. Deep Understanding Tesla FSD Part 3: Planning & Control,https://saneryee-studio.medium.com/deep-understanding-tesla-fsd-part-3-planning-control-9a25cc6d04f0

84. Watch Tesla Auto Labeling Tool Working To Understand What It Does,https://insideevs.com/news/552340/tesla-auto-labeling-tool-video/

85. How Tesla Teaches Cars to Stop,https://blog.roboflow.com/tesla-stop-signs-computer-vision/

86. [CVPR’20 WAD] Keynote — Andrej Karpathy,https://youtu.be/g2R2T631x7k

87. [CVPR’21 WAD] Keynote — Andrej Karpathy, Tesla,https://youtu.be/g6bOwQdCJrc

88. [CVPR’22 WAD] Keynote — Ashok Elluswamy, Tesla,https://youtu.be/jPCV4GKX9Dw

89. [CVPR’23 WAD] Keynote — Ashok Elluswamy, Tesla,https:// youtu.be/6x-Xb_uT7ts

90. Tesla AI DAY 深度分析 硬核!EP3 Auto Labeling,https://zhuanlan.zhihu.com/p/466426243

91. [自動駕駛]數據平台-特斯拉,https://zhuanlan.zhihu.com/p/446563810

92. Deep Understanding Tesla FSD Part 4: Auto Labeling, Simulation,https://saneryee-studio.medium.com/deep-understanding-tesla-fsd-part-4-auto-labeling-simulation-60c9bfd3bcb5

93. Tesla Open AI Day解讀,https://blog.csdn.net/yuxuan20062007/article/details/124993081

94. 淺談Tesla Dojo集群-大人,時代變了,https://zhuanlan.zhihu.com/p/405045334

95. Tesla 將斥資 3 億美金建構由 1 萬張 NVIDIA H100 建構的自動駕駛技術用 AI 超級電腦,https://reurl.cc/N424Vn

96. Tesla證實將於紐約州投資5億美元設置第二座Dojo超級電腦,同時也將擴大採購AMD加速運算產品,https://reurl.cc/yYOLDl

97. Tesla_AI@X,https://x.com/Tesla_AI/status/1671589874686730270?s=20

98. 特斯拉超算Dojo下月投產,24年末年算力可達 100 Exa-Flops,https://www.hksilicon.com/articles/2292400

99. Dojo是什麼?開發背景/技術細節/對行業影響,https://reurl.cc/97WvQO

100. 特斯拉設計自主晶片D1與超級電腦Dojo成為未來利器 往高度整合的商業模式前進,https://iknow.stpi.narl.org.tw/post/Read.aspx?PostID=18181

101. 深度學習中的資料型態介紹:FP32, FP16, TF32, BF16, Int16, Int8,https://blog.csdn.net/qq_43799400/article/details/134182459

102. 一文看懂特斯拉Dojo的獨門秘笈,https://www.edntaiwan.com/2021090231-teslas-dojo-ai-chip-revealed/

103. Tesla AI Day 2022回顧,https://jcf94.com/2022/10/23/2022-10-23-tesla-ai-day/

104. 特斯拉AI Day 2022:能走會動的Tesla Bot,DOJO超算明年量產、還有FSD新進展,https://hao.cnyes.com/post/20078

105. 怎麼理解Tesla dojo晶片(或高效能運算系統),是電腦體系結構理論創新,還是工程技術創新?,https://www.zhihu.com/question/582549558

106. HC34-S4: Machine Learning,https://youtu.be/MWQNjyEULDE

107. Tesla Dojo Custom AI Supercomputer at HC34,https://www.servethehome.com/tesla-dojo-custom-ai-supercomputer-at-hc34/

108. The Microarchitecture of Tesla’s Exa-Scale Computer,https://hc34.hotchips.org/assets/program/conference/day2/Machine%20Learning/HotChips_tesla_dojo_uarch.pdf

109. Super-Compute System Scaling for ML Training,https://hc34.hotchips.org/assets/program/conference/day2/Machine%20Learning/Hotchip%20Dojo%20System%20v25.pdf

110. 特斯拉Dojo晶片架構全面分析(超越GPGPU?) 收錄於《先進封裝Chiplet與片上超算》,https://zhuanlan.zhihu.com/p/569902142

111. 深度解讀特斯拉自研晶片架構,https://zhuanlan.zhihu.com/p/564496180

112. Chiplet能為晶片設計帶來哪些變革?,https://www.usmart.hk/en/news-detail/6878992557829915081

113. Scalable matrix node engine with configurable data formats,US20200348909A1,https://patents.google.com/patent/US20200348909A1/en

114. Voltage regulator module with cooling structure,US11570889B2,https://patents.google.com/patent/US11570889B2/en?oq=US11570889B2

115. Voltage regulator module with cooling structure,US20190297723A1,https://patents.google.com/patent/US20190297723A1/en?oq=US20190297723A1

116. Mechanical architecture for multi-chip modules,CN113056963B,https://patents.google.com/patent/CN113056963B/en?oq=CN113056963B

117. High power voltage regulator module,US20200266705A1,https://patents.google.com/patent/US20200266705A1/en?oq=US20200266705A1

118. Twitter進軍加密貨幣支付服務!為何進軍Web3領域?一次看懂Twitter野心,https://web3plus.bnext.com.tw/article/247

119. 推特正式推出小費「抖內」功能!同步支援比特幣付款,https://reurl.cc/prOW5l

120. 馬斯克預告:推特支付「X Pay」2024上路XPAY代幣耀世而來,https://www.mitrade.com/zh/insights/crypto-analysis/new/x

121. 推特支付「Twitter Pay」成型?獲美國3州服務商牌照,https://www.blocktempo.com/twitter-granted-3-money-transmitter-licenses/

122. 馬斯克給出時間表了!推特確定將上架「支付功能」 比特幣、狗狗幣「漲」聲雷動,https://hk.investing.com/news/economic-indicators/article-397247

123. What features are included in Rivian Driver+?,https://rivian.com/support/article/what-features-are-included-in-rivian-driver

124. 專注於自動駕駛的公司HL Klemove踏上新旅程,https://autonode.cn/2021/12/11/hl-klemove-news/

125. BRING A NEW ERA IN MOBILITY,https://reurl.cc/4jVAGK

126. HL Klemove Plans to Build an Integral Control Unit for Autonomously Driving Vehicles in Hand with Intel and Nvidia,https://www.hlklemove.com/eng/media/news/article-91.do

127. RCI-86–22–001–3: Driver+ Calibration Requirements and Best Practices, R1T and R1S,https://reurl.cc/VNbAEn

128. Driving into the future of electric transportation,https://www.databricks.com/customers/rivian

129. RIVIAN拆解 第1集 說拆就拆,https://youtu.be/vf-xwEIEJe8

130. Rivian R1T Teardown Kickoff!!!,https://youtu.be/disT2ftnlIo

131. Rivian R1T 分解調査データ,https://www.marklines.com/ja/teardown/munro-rivian-r1t

132. 福特野馬Mach — E拆解 第一集,https://youtu.be/LXR_23zX_o4

133. Mach-E ADAS Breakdown,https://youtu.be/gpbw84krYW0

134. Sandy checks out Ford’s BlueCruise hands-free driver assist technology.,https://youtu.be/GCRNYP5Qg34?si=tUGJNLJ_aRRZPjx9&t=647

135. 尷尬了!汽車大師和福特實測 BlueCruise 自駕系統,當面建議「你們該試試特斯拉 FSD beta」,https://www.ddcar.com.tw/article/22098

136. 福特、福斯投資的自駕車新創Argo AI將結束營運,https://mashdigi.com/self-driving-car-startup-argo-ai-backed-by-ford-volkswagen-to-close/

137. 自駕市場兩極化!Intel Mobileye上市創佳績,Argo AI遭撤資倒閉,產業即將進入大洗牌階段?,https://www.etnet.com.hk/www/tc/lifestyle/digitalnewage/larryleung/81399

138. 百年福特為電動車放下身段:採用比亞迪電池,賣得比特斯拉便宜,https://www.sohu.com/a/460634300_100044558

139. 自動駕駛未來的方向,https://m.elecfans.com/article/1927874.html

140. Argo AI事件背後的隱藏贏家,https://www.eefocus.com/article/529031.html

141. 通用汽車發表新世代自駕軟體 Ultra Cruise,多重感測器並列,https://technews.tw/2023/03/08/gm-ultra-cruise/

142. Mercedes-Benz有條件自動駕駛功能DRIVE PILOT,進一步擴大了在美國的可用性,https://www.carstuff.com.tw/car-news/item/38219-mercedes-benz-drive-pilot.html

143. Mercedes-Benz著重冗餘作業,以實現安全的有條件自動駕駛,https://www.carstuff.com.tw/topic/item/36862-mercedes-benz.html

144. GM揮別Nvidia 又一車廠走上晶片自行研發之路,https://news.cnyes.com/news/id/4957395

145. 【圖解】賓士聯手NVIDIA、Google研發車用系統!結盟背後透露汽車未來最大戰場,https://www.bnext.com.tw/article/75793/mercedes-benz-mbos?

146. 與BMW分手就另結新歡?賓士、NVIDIA合作自駕技術最快2024搭載,https://speed.ettoday.net/news/1745468

147. 賓士擴大與 NVIDIA 之間的 AI 車載系統合作:2024 年正式上路,未來可升級 Level 4 自動駕駛,https://www.ddcar.com.tw/article/6044

148. 從明年春天開始,BMW 7 Series將提供全球第一套「可夜晚使用」的 Level 3高度自動駕駛功能,https://www.carstuff.com.tw/car-news/item/39013-bmw-7-series-level-3.htmlhttps://news.u-car.com.tw/news/article/66330

149. BMW集團選擇AWS作為自動駕駛平台雲端服務供應商,https://www.cdns.com.tw/articles/867946

150. 高通、BMW集團與Arriver宣佈,共同開發新一代自動駕駛系統,https://reurl.cc/E4d6Kk

151. 福斯與Mobileye合作在美國展開自駕車測試,https://www.ithome.com.tw/news/157679

152. Volkswagen launches its first autonomous driving test program in the United States,https://media.vw.com/en-us/releases/1750

153. 福斯汽車2026年起旗下所有品牌將採用高通自駕SoC晶片,https://www.moneydj.com/kmdj/news/newsviewer.aspx?a=2cdafa58-43d5-4340-b36f-9aa469f44e66

154. 蔚來、小鵬、理想自動駕駛能力的縱向演進與橫向比較,https://blog.csdn.net/nimenhaoliu/article/details/119179360

155. 比亞迪再推新!全球首發自研自駕輔助系統「天神之眼」,https://udn.com/news/story/7333/7275732

156. 蔚來汽車開發 5 奈米自駕晶片,聲稱比輝達 Drive Orin X 強大 4 倍,https://technews.tw/2023/12/28/nio-et9-nx9031/

157. 蔚來汽車攜手 NVIDIA 共同打造新一代自動駕駛電動車,https://blogs.nvidia.com.tw/2021/01/11/nio-partners-with-nvidia-to-develop-a-new-generation-of-automated-driving-electric-vehicles/

158. 搭載天樞OS,即將亮相的蔚來ET9,會帶來10個以上新功能?,https://db.m.auto.sohu.com/model_1020/a/745529882_100101632

159. 蔚來NIO的ADAM的控制板拆解分析,https://www.sohu.com/a/734852394_236796

160. 造車新勢力蔚小理的自動駕駛進化之路,http://m.chinaaet.com/article/3000148734

161. 蔚來自研智慧駕駛晶片神璣NX9031發布,還有多項新技術與ET9,https://weibo.com/ttarticle/p/show?id=2309404982480032628738

162. 80萬!中東資本「儲值」後,蔚來突放大招,https://www.stcn.com/article/detail/1073147.html

163. 蔚來、小鵬、理想自動駕駛能力的縱向演進與橫向比較,https://blog.csdn.net/nimenhaoliu/article/details/119179360

164. Nio 可能在 2023 年 Nio Day 推出內部開發的自動駕駛晶片,https://www.moomoo.com/hant/community/feed/nio-may-unveil-in-house-developed-autonomous-driving-chip-at-111618172911622

165. 蔚來NIO全新的自動駕駛系統NAD解析,https://zhuanlan.zhihu.com/p/343968508

166. 蔚來NIO自動輔助駕駛Pilot升級之路(附超全功能詳解),https://mp.weixin.qq.com/s/QiS0e6Yye54IIYRtvi_C-A

167. 蔚來ET7自動駕駛硬體解讀!深度剖析鐳射雷達!武裝到牙齒,特斯拉「好怕怕」?,https://youtu.be/Om4cp5VTA7g

168. 搭載天樞OS,即將亮相的蔚來ET9,會帶來10個以上新功能?,https://db.m.auto.sohu.com/model_1020/a/745529882_100101632

169. 特斯拉、小鵬、理想、蔚來、華為自動駕駛技術大盤點,https://www.jelliant.com/html/news/hyzx/125.html

170. 特斯拉、蔚來、小鵬三款主流智慧駕駛產品評測,https://zhuanlan.zhihu.com/p/430271160

171. 可OTA更新自動駕駛小鵬P7配英偉達晶片,https://www.autohome.com.cn/news/202004/987251.html?from=m&platform-key=pc

172. 小鵬汽車首款搭載NVIDIA DRIVE Xavier車型P7於中國上市,https://blogs.nvidia.com.tw/2020/05/20/motors-new-p7-smart-electric-vehicle/

173. 小鵬月度、季度交車量破表,全球首款城市NGP開賣,https://reurl.cc/g4qxr4

174. 小鵬第二代XNGP系統,與XPilot到底有什麼不同?,https://news.yiche.com/hao/wenzhang/73485091/

175. 小鵬汽車的XNGP,真的不依賴高精地圖嗎?,https://www.leiphone.com/category/transportation/xeb3jzaIxUweRw7Z.html

176. 新鵬在一年一度的科技日活動上推出 XNGP 路線圖,新型飛行汽車,兩足機器人,https://longportapp.com/zh-HK/news/100701473

177. 小鵬的輔助駕駛都是啥(LCC/ACC/APA/VPA/NGP),一篇文章告訴你清楚,https://www.xchuxing.com/article/64444

178. 小鵬第二代XNGP系統,與XPilot到底有什麼不同?,https://news.yiche.com/hao/wenzhang/73485091/

179. XNGP、XPILOT是什麼意思,有什麼差別?,https://www.xiaopeng.com/n/ask/5139.html

180. XNGP、XPILOT、CNGP、HNGP等智慧駕駛功能的關係與差異是?,https://www.xiaopeng.com/n/ask/5031.html

181. 小鵬1024科技日:XNGP智慧輔助駕駛系統深度解析,https://www.xchuxing.com/article/99021

182. 一文解析小鵬汽車的智慧輔助駕駛系統發展,https://www.qxwz.com/zixun/383378146

183. 高速NGP 城市NGP XNGP 都叫NGP有何不同䴨小鵬汽車,https://m.auto-first.cn/news/story_200109.html

184. 小鵬汽車新世代感知架構XNet資訊解讀,https://www.eefocus.com/article/1559499.html

185. 特斯拉、小鵬、理想、蔚來、華為自動駕駛技術大盤點,https://www.jelliant.com/html/news/hyzx/125.html

186. 造車新勢力蔚小理的自動駕駛進化之路,http://m.chinaaet.com/article/3000148734

187. 理想汽車的自動駕駛野望,https://www.xchuxing.com/article/26997

188. 改款理想ONE換“芯”,地平線開啟自動駕駛量產落地“新旅程”,https://www.leiphone.com/category/transportation/vfl4w87MRP0C8hIr.html

189. 征程3晶片量產首發!理想汽車攜手地平線共鑄最高效進化的自動駕駛新勢力,https://www.leiphone.com/category/transportation/HgOPmISkX3UMMZoW.html

190. 硬上的輔助變換車道?四問理想汽車研發總監,https://www.autohome.com.cn/tech/202003/982640-all.html?pvareaid=3311701#p2

191. 理想自研2021:緊迫又久違的從0 到 1,https://mp.weixin.qq.com/s/PyZBaft74uCmP4JA-uiLoA

192. 理想汽車從One和L9的產品產略看理想未來雙平台的增量,https://pdf.dfcfw.com/pdf/H3_AP202207201576384258_1.pdf?1658353359000.pdf

193. 理想汽車首發「雙能戰略」城市NOA導航輔助駕駛年底將覆蓋百城,https://www.iyiou.com/news/202304191044022

194. 理想汽車公佈全自研智慧駕駛系統AD Max,https://nev.ofweek.com/2022-03/ART-77015-8120-30555714.html

195. 理想汽車:智慧駕駛本月升級AD Max 3.0 架構,明年6 月升級AD Pro 3.0,https://www.ithome.com/0/738/314.htm

196. 理想的AD Max 3.0,是國內最像特斯拉FSD的系統?,https://www.sohu.com/a/692510466_100101632

197. 理想汽車發表OTA 5.0,智慧駕駛正式邁入AD 3.0時代,https://m.gasgoo.com/news/70373789.html

198. 小晶片,大功能,理想AD Pro高速NOA全靠“它”,https://auto.news18a.com/news/storys_167331.html

199. 一篇文章看懂理想汽車智慧駕駛最新進展,https://www.zaoche168.com/detail/_01-ABC00000000000334986.shtml

200. Neural Map Prior for Autonomous Driving,https://openaccess.thecvf.com/content/CVPR2023/papers/Xiong_Neural_Map_Prior_for_Autonomous_Driving_CVPR_2023_paper.pdf

201. 理想智慧駕駛進展 — 自動駕駛進入大模型時代,https://pdf.dfcfw.com/pdf/H3_AP202307241592561748_1.pdf?1690191471000.pdf

202. 理想汽車OTA5.0的智慧駕駛,https://www.eet-china.com/mp/a275243.html

203. 地平線公司分析:不差錢的Tier2,堅持開放生態晶片,https://zhuanlan.zhihu.com/p/616712270?utm_id=0

204. 理想汽車NPN網路解讀-先驗神經網路地圖,https://zhuanlan.zhihu.com/p/639193621?utm_id=0

205. 關於TIN網路的一些分享,https://www.laohu8.com/post/189362850947136

206. 模型預測控制簡介(Model Predictive ControlMPC),https://zhuanlan.zhihu.com/p/99409532

207. 比亞迪自動駕駛輔助系統首度採用賽靈思解決方案,https://www.moneyweekly.com.tw/Magazine/Info/%E7%90%86%E8%B2%A1%E5%91%A8%E5%88%8A/32255

208. 比亞迪坐不住了,https://36kr.com/p/2271283376402818

209. NVIDIA DRIVE Orin 進入投產階段、比亞迪與 Lucid Group 加入 電動車客戶新陣容,並發表新一代 DRIVE Hyperion 自動駕駛車平台,https://blogs.nvidia.com.tw/2022/03/23/nvidia-enters-production-with-drive-orin-announces-byd-and-lucid-group-as-new-ev-customers-unveils-next-gen-drive-hyperion-av-platform/

210. 比亞迪的一件緊迫事:自動駕駛上車,https://finance.sina.cn/tech/csj/2022-11-09/detail-imqqsmrp5452932.d.html?vt=4

211. 比亞迪「反攻」智慧駕駛,從騰勢N7 開始,https://www.geekpark.net/news/328232

212. 4個維度理解比亞迪佈局自動駕駛,https://xueqiu.com/2491085120/236983120

213. 誰更強?特斯拉VS比亞迪全方位比較分析,https://www.eet-china.com/mp/a256240.html

214. 解密比亞迪智慧駕駛戰略,https://nev.ofweek.com/2023-06/ART-77015-8420-30601299.html

215. 都說比亞迪不懂自動駕駛,但這才是王傳福的野心所在,https://36kr.com/p/2210079908623744

216. 大疆+五菱,打造「人民的智慧駕駛」!,https://www.ofweek.com/auto/2021-04/ART-70109-8450-30494583.html

217. 用8萬一套的大疆智慧駕駛,五菱何必當「大冤種」?,https://www.163.com/dy/article/HA32TRMB0527SDH7.html

218. 買大疆送車 人民的智能駕駛還得五菱來,https://info.xcar.com.cn/202208/news_2067847_1.html

219. 五菱入局智慧駕駛會帶來革命性體驗嗎?,https://www.163.com/dy/article/HEE11DNB052786MB.html

220. 神車五菱-MINIEV也可以自動駕駛啦!還有酷酷的小哥遠程駕駛穩穩的倒車入庫!,https://www.bilibili.com/video/BV1oR4y1j725/

221. 「神車」再現江湖:五菱汽車大漲,MINI EV熱銷之迷!,https://hk.investing.com/news/stock-market-news/article-128850

222. 地平線攜手上汽通用五菱共促智慧駕駛量產普及,https://i.ifeng.com/c/8Co1tvayrwt

223. 五菱宏光自動駕駛汽車:功夫獨步,自動駕駛的未來之星,https://www.51xuetuan.com/commerce/8341.html

224. 車用半導體關鍵元件:瞭解ECU、MCU及感測器是什麼,https://reurl.cc/kaRdzx

225. 一文看懂第三代E/E架構,https://www.eet-china.com/mp/a215805.html

226. SoC介紹瞭解系統單晶片(System on a Chip)的優點與挑戰,https://reurl.cc/DoWX7j

227. 車載系統(十):特斯拉的商業邏輯,https://aijishu.com/a/1060000000194551

228. NVIDIA Drive PX2系統及軟硬體架構學習筆記,https://zhuanlan.zhihu.com/p/142949406

229. 自動駕駛的「最強大腦」:NVIDIA Drive PX到Xavier的演化,https://www.inside.com.tw/article/9383-evolution-nvidia-auto-drive

230. NVIDIA Drive PX2的細項架構,https://blog.csdn.net/weifengdq/article/details/103208179

231. 今天我們來說說Tesla Autopilot“自動駕駛”的心臟,NVIDIA Drive PX 2,https://news.xfastest.com/nvidia/31135/key-of-tesla-autopilot-is-nvidia-drive-px-2/

232. What is Ultrasonic Sensor: Working Principle & Applications,https://robocraze.com/blogs/post/what-is-ultrasonic-sensor

233. A Comparative Survey of LiDAR-SLAM and LiDAR based Sensor Technologies,https://www.researchgate.net/figure/Typical-LIDAR-Sensor-and-its-main-elements-22_fig1_353638254

234. 4D Radar,https://www.aptiv.com/images/default-source/open-graph/aptiv_4d_radar_og.jpg?sfvrsn=45817d3c_1

235. Camera — 濾鏡格式(原生RGGB、RCCB、RCCC、RGB-IR和Monochrome(單色感測器)),https://blog.csdn.net/ChunleiYi/article/details/123257414

236. 色彩濾波陣列(Color Filter Array),https://blog.csdn.net/djfjkj52/article/details/122101164

237. 透過架構客製化(DSA)反覆運算為AI提供通用算力,http://www.365pr.net/tech_view.asp?id=5602

238. Python從頭實作自動全景圖拼接(Automatic Panoramic Image Stitching from Scratch),https://yungyung7654321.medium.com/python%E5%AF%A6%E4%BD%9C%E8%87%AA%E5%8B%95%E5%85%A8%E6%99%AF%E5%9C%96%E6%8B%BC%E6%8E%A5-automatic-panoramic-image-stitching-28629c912b5a

239. 卷積神經網路(Convolutional neural network, CNN) — CNN運算流程,https://reurl.cc/dLo232

240. [Day 05] tinyML與卷積神經網路(CNN),https://ithelp.ithome.com.tw/m/articles/10266628

241. 卷積神經網路 (Convolutional Neural Networks, CNN),https://youtu.be/OP5HcXJg2Aw

242. 【CNN】理解卷積神經網路中的通道channel,https://blog.csdn.net/sscc_learning/article/details/79814146

243. CNN卷積核與通道講解,https://zhuanlan.zhihu.com/p/251068800

244. Attention Is All You Need,https://arxiv.org/pdf/1706.03762.pdf

245. 【NLP】Transformer模型原理詳解,https://zhuanlan.zhihu.com/p/44121378

246. NLP中的Attention原理與原始碼解析,https://zhuanlan.zhihu.com/p/43493999

247. Tensorflow版BERT中文模型踩坑總結,https://zhuanlan.zhihu.com/p/51762599

248. attention機制中的query, key, value的幾類概念解釋方法,https://zhuanlan.zhihu.com/p/148737297

249. What is Query, Key, Value (QKV) Attention ?,https://reurl.cc/Qeobdp

250. 如何理解Transformer 中的Query、Key 與Value,https://blog.csdn.net/yangyehuisw/article/details/116207892

251. Queries, Keys, and Values,https://d2l.ai/chapter_attention-mechanisms-and-transformers/queries-keys-values.html

252. 馬斯克對特斯拉 FSD v12.3 信心滿滿,推送車主免費一個月試用,https://technews.tw/2024/03/27/tesla-fsd-one-month-free-trial/

253. 解密自動駕駛計程車經濟學,https://www.eettaiwan.com/20180713nt02-robotaxi-economics-decrypted/

254. 預測2030年Waymo將佔自動駕駛計程車60%的市場,https://iknow.stpi.narl.org.tw/Post/Read.aspx?PostID=14439

255. 解析全球自駕領域8大關鍵公司,https://www.eettaiwan.com/2230208nt71-the-8-most-exciting-companies-working-in-self-driving/

256. 自動駕駛汽車:市場佔有率分析、產業趨勢與統計、成長預測,https://www.gii.tw/report/moi1444039-autonomous-driverless-car-market-share-analysis.html

257. Waymo 發表新自動駕駛系統,能讓你看到 500 公尺外的路牌,https://technews.tw/2020/03/10/the-5th-generation-waymo-driver/

258. 都是發展自動駕駛,但 Waymo 和通用汽車的差別很大,https://technews.tw/2018/04/13/google-waymo-vs-gm-cruise/

259. Waymo:自駕車仍在學習階段,不會對外授權L4技術,https://www.moneydj.com/kmdj/news/newsviewer.aspx?a=331fa0d8-88f5-46c7-be3a-48809db60aa0

260. 自動駕駛技術在未來10年後的應用,https://www.autofuture.tw/articles/detail?id=354

261. 自動駕駛的過去、現在、未來,特斯拉能勝出嗎?(Part 1),https://www.meiguinfo.com/2021/09/autonomous-veh.html

262. What is Mercedes-Benz Drive Pilot?,https://www.jdpower.com/cars/shopping-guides/what-is-mercedes-benz-drive-pilot

263. GM nearly doubles its map of Super Cruise hands-free driving routes in North America,https://electrek.co/2024/02/15/gm-nearly-doubles-map-super-cruise-hands-free-driving-routes-north-america/

264. 首款Robotaxi發表背後:Zoox 的「妥協」與亞馬遜的「藍圖」,https://srtechmedia.com/news/8138cdf4-4b4c-48b6-8a80-ec844a078ef9

265. 自駕計程車平均每開6公里,就有真人輔助!Cruise認了:員工遠端介入,https://www.bnext.com.tw/article/77313/cruise-robotaxi

266. 通用旗下Cruise自動駕駛公司爭議不斷! 輾過人不停遭撤照,https://cars.tvbs.com.tw/car-news/151448

267. Cruise says a hit-and-run ‘launched’ pedestrian in front of one of its robotaxis,https://www.theverge.com/2023/10/3/23901233/cruise-crash-hit-run-pedestrian-injury-sf-robotaxi

268. 解讀小馬智行(Pony.ai)自動駕駛安全報告,https://www.51fusa.com/client/knowledge/knowledgedetail/id/1466.html

269. Pony.AI被加州吊銷自動駕駛許可,小馬智行:國內測試正常推進,https://36kr.com/p/1759051656356867

270. 【無人駕駛】小馬智行無人駕駛汽車系統異常 測試執照被加州政府暫停,https://reurl.cc/yLEDVM

271. 小馬智行宣布乘用車智能駕駛三大產品線,已開始量產交付,https://www.smartautoclub.com/p/46251/

272. Pony Tech | 感知系統,自動駕駛看懂周圍世界的“魔法”,https://zhuanlan.zhihu.com/p/345107034

273. Pony Tech | 車用系統?仿真平台?揭秘車隊級自動駕駛基礎架構,https://zhuanlan.zhihu.com/p/159404154

274. 小馬智行的程式碼工程實踐,https://www.ednchina.com/technews/17274.html

275. 百度第六代無人車Apollo RT6將搭載一徑科技新一代補盲雷射雷達,https://read01.com/B2OJ8L7.html

276. 產業觀測-自動駕駛車的前路顛簸,https://reurl.cc/qVDj5n

277. 未來不需要買私家車?詳解 RoboTaxi 自動駕駛計程車,https://youtu.be/0rQAXEYP8WM?si=rZvInfWW9-WvTiqe

278. 一輛自動駕駛計程車居然可以賺這麼多錢?!來聊聊特斯拉FSD的未來經濟潛力。為什麼馬斯克說特斯拉車的價值可以未來翻5倍?,https://youtu.be/NU0TWXJyheM?si=YY5Meft0nUWPfBMm

279. 成本 25 萬,搭載 8 顆雷射雷達,百度要做「劃時代」無人車,https://www.xchuxing.com/article/55419

280. 自動駕駛能養家了?開啓收費的百度Robotaxi賺錢能力如何,https://www.usmart.hk/en/news-detail/6869591331119939674

281. Waymo starts taking fares for SF robotaxis after state approval,https://electrek.co/2023/08/16/waymo-starts-taking-fares-for-sf-robotaxis-after-state-approval/

282. What It’s Like to Ride in a Waymo Driverless Taxi,https://www.makeuseof.com/waymo-autonomous-vehicle-ride/

283. Here’s how to get robotaxi rides in San Francisco — and what it will cost,https://sfstandard.com/2023/08/11/how-to-get-robotaxi-rides-san-francisco-cruise-waymo/

284. Waymo to begin charging for robotaxi rides in San Francisco,https://techcrunch.com/2022/02/28/waymo-to-begin-charging-for-robotaxi-rides-in-san-francisco/

285. Waymo vs Uber/Lyft — How Much? ,https://mikesmoneytalks.ca/wymo-vs-uberlyft-how-much/

286. Waymo Can Charge For Robotaxi Rides In SF (So It Gets Interesting),https://www.forbes.com/sites/bradtempleton/2022/03/01/waymo-can-charge-for-robotaxi-rides-in-sf-so-it-gets-interesting/?sh=35ddd283691a

287. Waymo One Autonomous Robotaxi First Ride: Way Mo’ Better Than Driving?,https://www.motortrend.com/reviews/waymo-one-autonomous-vehicle-first-ride/

288. A ghost is driving the car’ — my peaceful and productive experience in a Waymo self-driving van,https://www.cnbc.com/2022/03/30/waymo-self-driving-experience-mostly-peaceful-and-productive.html

289. Waymo has brought free robotaxis to L.A. Here’s what it’s like to ride in a self-driving car.,https://www.timeout.com/los-angeles/news/waymo-has-brought-free-robotaxis-to-l-a-heres-what-its-like-to-ride-in-a-self-driving-car-101023

290. This Is What It’s Like To Ride In A Waymo Driverless Car,https://www.autoweek.com/news/a45579237/waymo-driverless-car-ride/

291. Cruise Robotaxi Rides Will Be >$3/mile, But They’ll Get Better,https://www.forbes.com/sites/bradtempleton/2023/08/17/cruise-robotaxi-rides-will-be-3mile-but-theyll-get-better/?sh=35de6c2e5ebe

292. Cruise is now charging for rides in its driverless vehicles in San Francisco,https://www.theverge.com/2022/6/23/23180156/cruise-driverless-vehicle-charge-riders-san-francisco

293. GM CEO Suggests Rides In Cruise’s Autonomous Origin Could Cost Less Than $1 Per Mile,https://www.carscoops.com/2021/06/gm-ceo-suggests-rides-in-cruises-autonomous-origin-could-cost-less-than-1-per-mile/

294. Cruise Getting To $1B Revenue By 2025 Isn’t Crazy, Profits Are Another Story,https://www.forbes.com/sites/samabuelsamid/2022/11/29/cruise-getting-to-1b-revenue-by-2025-isnt-crazy-profits-are-another-story/?sh=64ac671d43e6

295. Advantages GM Cruise Has Over Uber,https://seekingalpha.com/article/4526369-advantages-gm-cruise-has-over-uber

296. ARK_Invest_060822_Whitepaper_Autonomous_Mobility,https://reurl.cc/3XL0MO

297. 百度蘿蔔快跑全無人車坪山開跑,記者試乘體驗,https://www.dutenews.com/n/article/7597336

298. 【新興領域:9 月焦點 4】德、美自動駕駛發展 套路大不同,https://findit.org.tw/upload/research/research_20180925014.pdf

299. 自動駕駛時代 — — 小馬智行背後的商業邏輯,https://zhuanlan.zhihu.com/p/491730091

300. 各整車廠及方案供應商的自動駕駛系統策略分析,https://www.eet-china.com/mp/a135296.html

301. 加州:無人駕駛測試車隊這麼多,我收個「作業」了解一下情況,https://www.sohu.com/a/220349551_413980

302. 特斯拉自動駕駛計程車發佈詳解!Cathie Wood重申2000美元目標價!特斯拉商業模式重大轉變!Tesla robotaxi is coming in 4 months!,https://youtu.be/u8GNEVG8auU?si=n8SlPG4uAMPZIBh3

303. 馬斯克的格局有多高?從不與同行比較,只挑戰物理的極限!,https://youtu.be/zodZw-w5lrc?si=CTujQsiJGh4qhn4T

304. Cathie Wood再次預測股價飆升10倍!特斯拉自動駕駛v12.3亮相!Tesla stock will be 10x from here, says Cathie Wood!,https://youtu.be/bsF26iOT3Xo?si=i0Xv4_XpTGSr4Pd3

305. 【重磅】蘋果退出電動汽車戰場,對特斯拉的兩大利好!特斯拉即將發佈新款Roadster!對燃油汽車技術的一次重大打擊!The Apple Car Is Dead.,https://youtu.be/RKdrdIJ75SM?si=JekNostlpq3Tmt81

306. 一輛特斯拉製造成本從5年前美金8.4萬降到目前僅3.6萬 為何新車售價漲不停?,https://reurl.cc/MO7la4

307. Autonomous Ridehailing Could Be More Profitable Than We Had Modeled,https://ark-invest.com/articles/analyst-research/autonomous-ridehailing-fees/

308. DMaguireARK@X,https://threadreaderapp.com/thread/1671986293104844800.html

309. DMaguireARK@X,https://twitter.com/DMaguireARK/status/1672294179924262914

310. #372: Preceded Only By ARK Invest/21 Shares, BlackRock Is In Line For A Bitcoin ETF, & More,https://ark-invest.com/newsletters/issue-372

311. Has Tesla Already Won the Self-Driving Race?,https://aifuture.substack.com/p/tesla-has-already-won-the-self-driving

312. Ark Estimates $11–12 Trillion Robotaxi Market in 2030,https://www.nextbigfuture.com/2021/07/ark-estimates-11-12-trillion-robotaxi-market-in-2030.html

313. 開 6 年 TESLA 17 萬公里後,讓人驚呆的保養及使用費用!電動車保養可以省多少?,https://www.chargesmith.com/ev-maintenance-cost/

314. 特斯拉電池需要多少錢?實際案例 Model 3 更換需 68 萬元台幣!,https://wuangus.cc/tesla-battery-replacement-costs/

315. 〈財報〉特斯拉Q1財報遜色 平價車明年提前推出 盤後飆超10%,https://m.cnyes.com/news/id/5534053

316. 馬斯克和特斯拉財報說了什麼?八大重點一次掌握,https://udn.com/news/story/6811/7919431

317. Tesla Q1 2024 Financial Results and Q&A Webcast,https://www.youtube.com/watch?v=o81Rs-w3YMY

318. Tesla (TSLA) Q1 2024 Earnings Call Transcript,https://www.fool.com/earnings/call-transcripts/2024/04/23/tesla-tsla-q1-2024-earnings-call-transcript/

319. TSLA-Q1–2024,https://digitalassets.tesla.com/tesla-contents/image/upload/IR/TSLA-Q1-2024-Update.pdf

320. 被湖南機場禁止入內?特斯拉:已在大陸建立數據中心,https://udn.com/news/story/7333/7368963

321. 台灣有禁行機車,中國有「禁行特斯拉」!中國更多政府設施限制進入,https://reurl.cc/oRQejg

322. 特斯拉在中國面臨更多限入禁令,https://www.epochtimes.com/b5/24/1/24/n14165793.htm

323. 滴滴沒了高精度地圖資質,自動駕駛業務會怎樣?,https://www.qbitai.com/2022/07/36464.html

324. 自然資源部:促進智能網聯汽車發展 維護測繪地理信息安全,https://m.chinanews.com/wap/detail/cht/zw/ft9840352.shtml

325. 《關於促進智能網聯汽車發展維護測繪地理信息安全的通知》,https://m.chinanews.com/wap/detail/cht/zw/ft9840352.shtml

326. 《關於汽車資料處理4項安全要求檢測情況的通報(第一批)》,http://www.caam.org.cn/chn/1/cate_2/con_5236385.html

327. 《中華人民共和國測繪法》,http://big5.www.gov.cn/gate/big5/www.gov.cn/ziliao/flfg/2005-08/05/content_20947.htm

328. 特斯拉與百度就自動駕駛製圖達成協議,https://reurl.cc/ZebAjl

329. 關於汽車資料處理4項安全要求檢測情況的通報 (第一批),http://www.caam.org.cn/chn/1/cate_2/con_5236385.html

330. 特斯拉攜手百度?股價雙雙大漲!最新回應,https://reurl.cc/OM4Ap7

331. 自動駕駛之高精地圖(HD Map),https://m.thepaper.cn/baijiahao_8756707

非經取得作者授權,不得任意轉載或公開傳輸。

免責聲明

本資料僅做為個人研究紀錄用並不構成任何投資意見,亦不應被視為任何投資或贖回的招引。投資附帶風險,過往業績並非未來表現的指標。在進行投資決策時,務必自行審慎評估,並自負投資風險及盈虧,如依本平台提供的資料使交易致生損失,本人不負擔任何賠償及法律責任。

--

--

C.H. @Knack of Matters

Share and record the things in my life experience. Grasp systematic knowledge and know-how quickly. Contact: ch.knackofmatters@gmail.com