NVIDIA 英偉達自動駕駛解決方案DRIVE AGX芯片

經銷商-富瑞博國際

關鍵詞： NVIDIA DRIVE AGX自動駕駛嵌入式超級計算平臺, NVIDIA英偉達自動駕駛DRIVE開發(fā)平臺， NVIDIA英偉達DRIVE AGX 自動駕駛套件, 英偉達自動駕駛芯片，NVIDIA 自動駕駛AI開發(fā)平臺, NVIDIA英偉達自動駕駛AGX芯片

NVIDIA DRIVE AGX開發(fā)系統(tǒng)

概述

英偉達™ AGX開發(fā)工具包是一個開放的人工智能汽車計算平臺，它使汽車制造商、一級汽車供應商和其他開發(fā)人員能夠加快自動化和自主汽車的生產。

該套件附帶NVIDIA驅動器™ AGX系統(tǒng)（以下簡稱“系統(tǒng)"），采用兩個NVIDIA®Xavier設計™主板上的SoC處理器。本文檔提供了基于NVIDIA®Xavier的開發(fā)系統(tǒng)的硬件功能和規(guī)格的詳細信息™建筑。

NVIDIA DRIVE-自主汽車開發(fā)平臺

NVIDIA DRIVE ™是NVIDIA旗下一個自動駕駛行業(yè)的端到端平臺，平臺包括車載計算機（DRIVE AGX）和完整的參考架構（DRIVE Hyperion™)以及數據中心托管仿真（DRIVE Constellation™) 以及深度神經網絡（DNN）訓練平臺（DGX™). 這些平臺還包括豐富的軟件開發(fā)工具包（sdk），以加速自動駕駛汽車（AV）的開發(fā)。

NVIDIA DRIVE AGX自動駕駛嵌入式超級計算平臺

The NVIDIA DRIVE™ AGX Developer Kit提供了開發(fā)生產級自主車輛（AV）所需的硬件、軟件和示例應用程序。NVIDIA DRIVE AGX系統(tǒng)建立在生產汽車級硅上，具有開放的軟件框架，并擁有大量汽車合作伙伴（包括汽車級傳感器供應商、汽車1級供應商）可供選擇。

使命

相信下一代交通是自主的。共享和私人車輛、長途和短途旅行、送貨和物流、自主性將從根本上改善出行方式。在英偉達，我們的汽車團隊的任務是開發(fā)自動駕駛技術，使所有人的道路更安全、更不擁擠、更靈活?！鞍踩亲詣玉{駛汽車最重要的方面。英偉達創(chuàng)造一個安全的自動駕駛平臺是我們的努力之一，它為汽車制造商將自動駕駛汽車推向市場提供了關鍵因素。

黃仁勛

英偉達創(chuàng)始人兼執(zhí)行官

簡介

幾十年前，英偉達發(fā)明了GPU，引發(fā)了一場計算機時代。這項核心技術誕生于游戲專業(yè)可視化行業(yè)，現(xiàn)在已經在高性能和加速以及人工智能（AI）領域實現(xiàn)了飛躍。當我們擴展我們的系統(tǒng)和產品在機器人、醫(yī)療、醫(yī)療、航天和娛樂領域都面臨著新的挑戰(zhàn)。英偉達現(xiàn)在正在將我們未來的計算性能和能源效率應用于運輸行業(yè)，幫助世界各地的汽車制造商實現(xiàn)

安全可靠的自動駕駛汽車。汽車正在改變運輸業(yè)。它們通過大幅度減少與車輛相關的事故、降低交通能耗、提高生產率以及為無法駕駛的人提供機動性，從而拯救了生命。英偉達與世界各地的汽車制造商、供應商、傳感器測繪公司和初創(chuàng)企業(yè)合作，共同開發(fā)的移動新世界。我們提供的系統(tǒng)架構，人工智能硬件和核心軟件，以建立所有類型的自動汽車和卡車，自主的穿梭機和機器人。NVIDIA驅動器™，我們的高度可擴展平臺，可以實現(xiàn)汽車工程師協(xié)會（SAE）定義的所有級別的駕駛。這些高級駕駛員輔助系統(tǒng)功能（SAE 2級：駕駛員輔助）自動駕駛出租車（SAE 5級：全自動）。自主駕駛的計算要求比當今生產中的車輛容易得多。與NVIDIA合作伙伴實現(xiàn)了安全性的提高，實時運行各種冗余算法的復雜軟件。在開發(fā)過程中，我們創(chuàng)建了一個單一的可擴展體系結構，在保留體系結構的同時，通過附加的硬件和軟件提高了自治性。同樣的策略也適用于安全。我們的架構豐富了系統(tǒng)的元素，以不斷提高安全性。

自動駕駛汽車的好處

美國2016年收集的數據凸顯了自動駕駛解決方案的迫切需要。道路死亡人數比前一年增加了5.6%，比過去50年的任何一年都要多。美國國家公路交通安全管理局估計94%的交通事故是由人為錯誤引起的，包括分心駕駛、昏昏欲睡、超速行駛和酒精中毒。

幸運的是，增加或替代駕駛員的技術可以減輕絕大多數此類事故。它還可以大大減少通勤者每年在交通中浪費的小時數（目前平均為42小時），以及因交通擁堵而損失的1600億美元4。此外，自動駕駛帶來了更高效的交通模式，因此可以減少運輸業(yè)造成的空氣污染量，2016年估計占美國溫室氣體排放總量的28%。計算實現(xiàn)更高的安全性NVIDIA地提供了高性能計算所需的冗余傳感器，不同的算法，和額外的診斷，以支持更安全的操作。我們?yōu)槠嚺鋫淞硕喾N冗余傳感器，用于傳感器融合。然后，多個不同的人工智能深度神經網絡和算法的感知，地圖定位，和路徑

規(guī)劃運行在集成的GPU、CPU、深度學習加速器（DLA）和可編程視覺加速器（PVA）的組合上，以實現(xiàn)盡可能安全的駕駛。英偉達已經創(chuàng)造了必要的技術，以建立健全的，端到端系統(tǒng)的研究，開發(fā)和部署自動駕駛車輛。我們提供一系列的硬件和軟件解決方案，從強大的GPU和服務器到完整的人工智能培訓基礎設施和車載自動駕駛超級計算機。我們還支持學術研究和早期開發(fā)人員，與數十所大學合作，并在我們的深度學習學院教授人工智能開發(fā)課程。當我們發(fā)現(xiàn)挑戰(zhàn)時，我們將其轉化為機遇并制定解決方案。本報告概述了NVIDIA的自主車輛技術，以及我們在安全架構、共同設計的硬件和軟件、設計工具、方法和實踐方面的貢獻如何使可靠性和安全性達到。

安全的基本原則是在系統(tǒng)中引入冗余和多樣性。NVIDIA在設計處理器和計算平臺、設計驅動和映射算法以及將傳感器集成到車輛中時，應用了這一原理。我們致力于AV開發(fā)和設計的每一個階段的安全性，以達到的質量水平。

例如，一輛裝有10個高分辨率攝像頭的汽車每秒產生20億像素的數據。通過多個深度神經網絡處理這些數據將轉換為大約250個top（每秒萬億次操作）。加上其他傳感器類型和車內人工智能，性能要求就會提高。對于自動駕駛汽車，compute轉換為safety。

自動駕駛汽車的好處

美國2016年收集的數據凸顯了自動駕駛解決方案的迫切需要。道路死亡人數比前一年增加了5.6%，比過去50年的任何一年都要多。據美國國家公路交通安全管理局估計，94%的交通事故是由人為錯誤引起的，包括分心駕駛、昏昏欲睡、超速行駛和酒精損傷。幸運的是，增加或替代駕駛員的技術可以減輕絕大多數此類事故。它還可以大大減少通勤者每年在交通中浪費的小時數（目前平均為42小時），以及因交通擁堵而損失的1600億美元。此外，自動駕駛帶來了更高效的交通模式，因此可以減少運輸業(yè)造成的空氣污染量，2016年估計占美國溫室氣體排放總量的28%。

計算使安全性更高

英偉達地提供了高性能計算所需的冗余傳感器，不同的算法，和額外的診斷，以支持更安全的操作。我們?yōu)槠嚺鋫淞硕喾N冗余傳感器，用于傳感器融合。然后，多個不同的人工智能深度神經網絡和算法的感知，地圖定位，和路徑規(guī)劃運行在集成的gpu，cpu，深度學習加速器（dla）和可編程視覺加速器（pva）的組合上，以實現(xiàn)盡可能安全的駕駛。

安全自主駕駛的四大支柱

NVIDIA在其自主車輛研究、設計和部署基礎設施中提供了統(tǒng)一的硬件和軟件架構。我們提供的技術，以解決四大支柱，使安全的自動駕駛汽車成為現(xiàn)實。

支柱1人工智能設計與實現(xiàn)平臺

支柱2支持深度學習的開發(fā)基礎設施

支柱3魯棒仿真與測試的數據中心解決方案

支柱4的普及安全計劃

驅動AGX平臺-傳感器處理，人工智能計算，路徑規(guī)劃，車輛控制

照相機-靜態(tài)（標志、車道、邊界等）和動態(tài)物體（行人、騎車人、無碰撞空間、危險等）的檢測和分類

雷達-在廣泛的光照和天氣條件下檢測運動

激光雷達-全天候高精度檢測

GNSS和IMU-幾種傳感器的粗定位與運動補償

一輛自主的汽車可以通過一系列功能自行駕駛：感知、傳感器融合、定位到高清地圖、路徑規(guī)劃和驅動。攝像頭、雷達和激光雷達傳感器使車輛能夠360度觀察周圍的世界，檢測交通信號、行人、車輛、基礎設施和其他重要信息。機載人工智能超級計算機實時解釋這些數據，并將其與基于云端的高清地圖系統(tǒng)相結合，以安全地導航到路線。這種自動駕駛系統(tǒng)允許車輛檢測和預測物體和人在其路徑上的移動方式，然后自動控制車輛的轉向、加速和制動系統(tǒng)。人工智能系統(tǒng)具有超人的感知和性能。它們跟蹤車輛周圍的所有活動，從不感到疲倦、分心或受損。其結果是提高了我們道路的安全性。

支柱1人工智能設計與實現(xiàn)平臺

NVIDIA DRIVE是一個可擴展的人工智能平臺，涵蓋了從輔助公路駕駛到robotaxis的整個自動駕駛范圍。它由硬件、軟件和固件組成，這些硬件、軟件和固件協(xié)同工作，能夠生產自動化和自動駕駛車輛。我們的平臺結合了深度學習、傳感器融合和環(huán)繞視覺，實現(xiàn)安全駕駛體驗。通過高性能計算，車輛可以實時了解周圍發(fā)生的事情，在高清地圖上精確定位自己，并規(guī)劃安全的前進路線。我們的平臺圍繞一個多樣化和冗余的系統(tǒng)架構設計，旨在支持別的汽車功能安全，適用于從高級ADA擴展到自主的robotaxis。我們的統(tǒng)一體系結構從數據中心延伸到車輛，并提供符合國家和國際安全標準的端到端解決方案。深度神經網絡（DNNs）可以在數據中心的基于GPU的服務器上進行訓練，然后在仿真中進行全面測試和驗證，然后無縫地部署到我們的汽車AI計算機上運行。為了安全運行，自動駕駛車輛需要強大到足以實時處理所有傳感器數據的超級計算機。我們的底層硬件解決方案包括：

基于nvidia xavier的車載超級計算機，這是一個為自主機器設計的車載AI-SoC（芯片上系統(tǒng)）。該平臺可以同時運行多個dnn，以提供安全性和可靠性。

更高性能的AI超級計算機，集成了多個Xavier SOC和多個GPU，提供了自主駕駛所需的多樣性和冗余性。

一個集成的基于數據中心的深度學習系統(tǒng)，用于人工智能模型開發(fā)和驗證（另見支柱3和支柱4）。

德國TüV süD機構的安全專家評估，一個單芯片自動車輛處理器NVIDIA Xavier的架構適合AVs。NVIDIA的ASIC開發(fā)過程也通過了ISO 26262認證。

NVIDIA驅動軟件使我們的客戶能夠開發(fā)自動化和自動駕駛車輛的生產質量應用程序。它包含軟件模塊、庫、框架和源包，開發(fā)人員和研究人員可以使用它們來優(yōu)化、驗證和部署他們的工作。我們的基礎軟件產品包括：

DRIVE OS

底層實時操作系統(tǒng)軟件包括一個安全性

應用程序框架，并提供自適應AUTOSAR的支持。

DRIVE AV

自主車輛駕駛系統(tǒng)軟件集成了各種dnn，用于檢測所有類型的環(huán)境和這些環(huán)境中的對象，以及車輛定位和路徑規(guī)劃算法。

DRIVE IX

這種基于深度學習的軟件堆棧使制造商能夠在車內開發(fā)智能體驗，從使用座艙攝像頭的駕駛員監(jiān)控系統(tǒng)到語音和手勢激活的人工智能助手。

DRIVE AR

perception visualization軟件堆棧用于為儀表板和后座屏幕構建駕駛艙體驗。它從車輛傳感器獲取復雜的信息，并將其轉換為易于理解的全面準確的視覺效果，幫助乘客建立對AV技術的信任。

DRIVE Hyperion

這個完整的AV開發(fā)和測試平臺包括一個DRIVE AGX Pegasus系統(tǒng)，以及用于自動駕駛的傳感器（七個攝像頭、八個雷達和可選的激光雷達）、用于駕駛員監(jiān)控的傳感器、用于定位的傳感器以及其他附件。

DRIVE Mapping

測繪解決方案集成了一個可擴展的傳感器套件、軟件開發(fā)工具包（SDK）以及與的測繪公司合作提供的聯(lián)合集成高清晰度地圖。我們的端到端映射技術有助于收集環(huán)境數據、創(chuàng)建高清地圖并保持更新。

其他NVIDIA硬盤硬件和軟件解決方案在支柱2和3中重點介紹。

NVIDIA DRIVE AGX體系結構使車輛制造商能夠制造和部署功能安全的自動駕駛汽車和卡車，并證明其符合國際安全標準，如ISO 26262和ISO/PAS 21448、NHTSA建議和NCAP要求。

安全需要高性能的計算

對于自動駕駛汽車，處理性能意味著安全。計算量越大，算法越復雜，深層神經網絡中的層次就越多，可以同時運行的dnn也就越多。英偉達提供了的320萬億次操作，第二次深度學習計算在drive AGX Pegasus

支柱2發(fā)展基礎設施支持深度學習

除了車載超級計算硬件，NVIDIA解決方案還為數據中心提供動力，用于解決安全AVs開發(fā)中面臨的關鍵挑戰(zhàn)。一輛測試車每年可以產生數PB的數據。捕獲、管理和處理這些海量數據不僅僅是一輛車，而是一個車隊，需要一個全新的計算架構和基礎設施。

NVIDIA DRIVE Perception基礎設施提供并支持大量數據收集、深度學習開發(fā)和可追溯性，以支持大型自主車隊。它運行在NVIDIA DGX SaturnV上，我們的AI超級計算機由660個nvidiadgx-1組成™系統(tǒng)有5280個GPU，能夠處理660千兆次的人工智能模型開發(fā)和訓練。

我們的人工智能基礎設施幫助開發(fā)人員創(chuàng)建并快速訓練DNN模型，從而為自動駕駛車輛提供高度精確的感知系統(tǒng)。例如，我們使用駕駛感知基礎設施創(chuàng)建了幾十個神經網絡，分別覆蓋車道和道路邊界、道路標記、標志、車輛、等待條件、自由空間等的感知。

理想的人工智能計算基礎設施有助于利用各種車載傳感器的數據建立安全的系統(tǒng)。我們支持基于攝像機的感知和映射、基于激光雷達的感知和映射、基于攝像機的定位到高清地圖、基于激光雷達的定位到高清地圖，等等。

DRIVE Perception基礎設施還允許進行深度學習處理，它由合格的工具（如深度學習編譯器和運行時引擎）提供幫助，這些工具是NVIDIA為滿足汽車級要求而重新構建的。

支柱3數據中心解決方案

魯棒仿真與測試

在任何自動駕駛車輛能夠安全地在道路上行駛之前，工程師必須首先測試和驗證人工智能算法和其他使車輛能夠自行駕駛的軟件。人工智能驅動的自動駕駛車輛必須能夠對其可能經歷的難以置信的各種情況做出正確的反應，例如緊急車輛、行人、動物以及幾乎無限多的其他障礙物，包括太危險而無法在現(xiàn)實世界中測試的場景。

此外，無論天氣、道路或照明條件如何，AVs都必須能正常工作。在所有這些情況下，沒有可行的方法對車輛進行物理路試，也沒有足夠的可控性、可重復性、詳盡性或足夠快。在真實模擬環(huán)境中進行測試的能力對于提供安全的自動駕駛車輛至關重要。在數據中心將實際道路里程與模擬里程相結合是測試和驗證AVs的關鍵。

NVIDIA DRIVE Constellation™是一個數據中心解決方案，使開發(fā)人員能夠在自動駕駛車輛上路之前測試和驗證實際的硬件和軟件。該平臺由兩個并排的服務器組成，個服務器使用運行DRIVE SimTM軟件的NVIDIA GPUs來模擬在虛擬世界中駕駛的虛擬汽車上來自攝像機、雷達和激光雷達的傳感器數據。模擬器的輸出被輸入第二臺服務器，該服務器包含驅動器AGX Pegasus AI汽車計算機，運行完整的AV軟件堆棧并處理模擬傳感器數據。

DRIVE AGX Pegasus的駕駛決策每秒反饋給模擬器30次，使硬件在環(huán)測試成為可能。在極少數的情況下，Sim無法模擬駕駛的危險場景。該平臺能夠模擬數十億英里的虛擬現(xiàn)實，運行可重復的回歸測試，并驗證完整的AV系統(tǒng)。

支柱4的普及安全計劃

在研究、開發(fā)和部署過程的每一步，安全都是我們的首要任務。它從一個普遍的安全方法開始，強調整個自主系統(tǒng)的設計、驗證、驗證和壽命支持的多樣性和冗余性。在我們的流程、產品和安全架構中，我們只滿足于的解決方案。為了概念化我們的自主車輛安全計劃，我們遵循美國國家公路交通安全管理局在其2017年3月和2018年12期出版物中提出的建議。

在整個項目中，我們以國際標準化組織（International Organization for Standardization）的汽車行業(yè)安全標準為基準（參見側欄）。這些是：

預期安全性和功能性

自動駕駛車輛必須能夠安全運行，即使系統(tǒng)發(fā)生故障。功能安全關注的是當硬件、軟件或系統(tǒng)不能按預期工作時，確保風險最小化的措施。

即使系統(tǒng)按設計運行，，也可能存在安全隱患。SOTIF專注于確保不存在由于預期功能不足或合理可預見的誤用而導致的不合理風險。

聯(lián)邦和國際法規(guī)

我們還遵守聯(lián)邦和國際法規(guī)，包括新車評估計劃（NCAP）、歐洲NCAP和歐洲經濟委員會。我們影響、共同創(chuàng)建并遵循國際標準組織、新車評估計劃、國際汽車工程師協(xié)會的標準以及其他行業(yè)的標準。

除了遵守聯(lián)邦和行業(yè)指南外，我們還與行業(yè)專家進行公開披露和合作，以確保我們在所有當前和未來的安全問題上保持。我們還擔任多個安全工作組的職位，以推動的發(fā)展，并探索新的研究領域，如人工智能系統(tǒng)的安全和可解釋的人工智能。

NVIDIA DRIVE AGX體系結構旨在支持SAE J3016規(guī)范的2至5級，并包括對NCAP的支持。

國家和國際安全條例和建議

英偉達遵守這里概述的國家和國際安全建議。

國際標準化組織

功能安全

ISO 262628論述了道路車輛的功能安全。它的重點是避免可以避免的故障，同時檢測和適當地響應由于故障導致的不可避免的故障。這是通過在開發(fā)、生產和運行過程中結合健壯的過程，以及包括診斷和其他緩解措施來管理隨機硬件故障來實現(xiàn)的。ISO 26262可應用于車輛、系統(tǒng)、硬件和軟件級別。

預期功能的安全性（SOTIF）

ISO/PAS 214489規(guī)定了道路車輛預期功能的安全性。它重用并擴展了iso26262開發(fā)過程來解決SOTIF問題。對車輛行為的安全危害進行評估，并在開發(fā)過程中定義、實施和驗證已知的系統(tǒng)限制和緩解措施。在放行前，對車輛系統(tǒng)的安全性進行驗證，以確保不存在不合理的風險。

國家公路交通安全管理局（NHTSA）

國家公路交通安全管理局（NHTSA）發(fā)布的一份名為《自動駕駛系統(tǒng)自愿指南》的出版物中介紹了自動駕駛的安全指南。由于NVIDIA不是一家汽車制造商，因此本報告并未明確涵蓋一些安全要素，如耐撞性和頸部/尾部碰撞保護。在代表業(yè)界對公共道路上使用自動駕駛系統(tǒng)的安全性達成共識的12項安全要素中，有10項與英偉達相關：

–系統(tǒng)安全

–設計領域

–目標和事件檢測和響應

–后備（風險條件）

–驗證方法

–數據記錄

–人機界面

–車輛網絡安全

–消費者教育和培訓

–聯(lián)邦、州和地方法律

NCAP

區(qū)域NCAP根據其特定市場調整安全實踐，NVIDIA遵守所有當地NCAP版本。歐洲新車評估計劃（Euro NCAP）為消費者提供對在歐洲銷售車輛的獨立安全評估。歐洲新車評價計劃（Euro NCAP）發(fā)布了2025年路線圖10，其中提出了一個愿景和戰(zhàn)略，強調主要、次要和三級車輛安全。我們目前正在處理這些歐洲NCAP建議：

–自動緊急轉向

–自動駕駛測試和評估

–自動緊急制動

–V2X

–駕駛員監(jiān)控

–人機界面（HMI）

–行人和騎車人安全

–模擬

–兒童存在檢測

–網絡安全

–救援、解脫和安全

–卡車安全

NVIDIA解決方案——NHTSA安全元件

系統(tǒng)安全NVIDIA已經創(chuàng)建了一個系統(tǒng)安全程序，該程序基于系統(tǒng)工程方法，集成了穩(wěn)健的設計和驗證過程，目標是設計具有安全水平和無不合理安全風險的自動駕駛系統(tǒng)。

NVIDIA解決方案–NHTSA安全元件回退（最小風險條件）我們的產品使車輛能夠檢測到系統(tǒng)故障或違反操作設計領域，然后根據警告和降級策略將系統(tǒng)轉換到安全或降級運行模式。每個NVIDIA自動駕駛系統(tǒng)都包含一個后備策略，使駕駛員能夠重新獲得對車輛的適當控制，或者允許自主車輛獨立地返回到最小風險狀態(tài)。

我們的HMI產品可用于通知駕駛員潛在危險事件，并將車輛單獨恢復到風險狀態(tài)，或提醒駕駛員重新獲得適當控制。給定的故障類型和程度根據故障的程度而變化。

NVIDIA解決方案——NHTSA安全元件

驗證方法

驗證方法建立了自治系統(tǒng)能夠完成其預期功能的信心。我們的開發(fā)過程包含嚴格的方法來驗證和驗證我們產品的行為功能和部署。為了證明在公共道路上部署的自主車輛的預期性能，我們的測試方法包括模擬、測試跑道和道路測試的組合。這些方法暴露了在廣泛變化的條件下的性能，例如在部署回退策略時

NVIDIA解決方案——NHTSA安全元件

根據國家公路交通安全管理局（NHTSA）的建議，NVIDIA開發(fā)了一套廣泛的設計領域。每個操作設計域至少包括以下信息，以定義產品的能力邊界：道路類型、地理區(qū)域和地理區(qū)域條件、速度范圍、環(huán)境條件（天氣、一天中的時間等）和其他約束。