將eFPGA應(yīng)用于嵌入式360度視域視覺系統(tǒng)中
發(fā)布時(shí)間:2018-04-26 來源:Alok Sanghavi 責(zé)任編輯:wenwei
【導(dǎo)讀】嵌入式FPGA(eFPGA)將在這類芯片中扮演重要角色。如為了滿足第六條中提到的車輛外部360度視頻監(jiān)控?cái)?shù)據(jù)的獲取和處理,采用eFPGA來設(shè)計(jì)相關(guān)功能芯片具有很明顯的優(yōu)勢(shì)。
2018年4月11日,工業(yè)和信息化部、公安部和交通運(yùn)輸部聯(lián)合發(fā)布“關(guān)于印發(fā)《智能網(wǎng)聯(lián)汽車道路測試管理規(guī)范(試行)》的通知”,為我國智能網(wǎng)聯(lián)汽車道路測試提供了相關(guān)法律依據(jù)。三部委在賦予智能網(wǎng)聯(lián)汽車上路資格的同時(shí),也提出了若干嚴(yán)格的條件。
其中,在第二章“測試主體、測試駕駛?cè)思皽y試車輛”的第七條第(四)點(diǎn)中,三部委要求:具備車輛狀態(tài)記錄、存儲(chǔ)及在線監(jiān)控功能,能實(shí)時(shí)回傳下列第1、2、3項(xiàng)信息,并自動(dòng)記錄和存儲(chǔ)下列各項(xiàng)信息在車輛事故或失效狀況發(fā)生前至少90秒的數(shù)據(jù),數(shù)據(jù)存儲(chǔ)時(shí)間不少于3年:
1.車輛控制模式;
2.車輛位置;
3.車輛速度、加速度等運(yùn)動(dòng)狀態(tài);
4.環(huán)境感知與響應(yīng)狀態(tài);
5.車輛燈光、信號(hào)實(shí)時(shí)狀態(tài);
6.車輛外部360度視頻監(jiān)控情況;
7.反映測試駕駛?cè)撕腿藱C(jī)交互狀態(tài)的車內(nèi)視頻及語音監(jiān)控情況;
8.車輛接收的遠(yuǎn)程控制指令(如有);
9.車輛故障情況(如有)。
由此可以看出,上述條件除了對(duì)進(jìn)行道路測試的智能網(wǎng)聯(lián)汽車有若干功能性要求外,還在相關(guān)領(lǐng)域?qū)⑼苿?dòng)若干新一代通信、監(jiān)控、控制和存儲(chǔ)等技術(shù)的發(fā)展,為智能網(wǎng)聯(lián)汽車專用SoC的開發(fā)提供新的市場機(jī)會(huì)。
嵌入式FPGA(eFPGA)將在這類芯片中扮演重要角色。如為了滿足第六條中提到的車輛外部360度視頻監(jiān)控?cái)?shù)據(jù)的獲取和處理,采用eFPGA來設(shè)計(jì)相關(guān)功能芯片具有很明顯的優(yōu)勢(shì)。作為同時(shí)提供獨(dú)立FPGA芯片和eFPGA IP產(chǎn)品的公司,Achronix可以幫助智能汽車SoC設(shè)計(jì)人員先在FPGA芯片上開發(fā)和調(diào)試相關(guān)功能,而在市場進(jìn)入批量化應(yīng)用后無需顯著修改設(shè)計(jì),立即將設(shè)計(jì)移植到搭載了eFPGA的SoC之上。
有關(guān)eFPGA如何支持嵌入式360度視域視覺系統(tǒng)設(shè)計(jì),請(qǐng)閱讀Achronix Semiconductor資深產(chǎn)品營銷經(jīng)理Alok Sanghavi的文章,標(biāo)題為“將eFPGA應(yīng)用于嵌入式360度視域視覺系統(tǒng)中”。
帶有多個(gè)高分辨率攝像頭的嵌入式360°視域視覺系統(tǒng)已經(jīng)進(jìn)入了各種應(yīng)用中,如汽車傳感器融合、視頻監(jiān)控、目標(biāo)檢測、運(yùn)動(dòng)分析等。在此類系統(tǒng)中,多個(gè)實(shí)時(shí)攝像機(jī)的視頻流(最多6個(gè)) 被匯聚在一起逐幀處理,進(jìn)行失真和其他圖像偽影校正,調(diào)整曝光和白平衡,然后動(dòng)態(tài)拼接成一個(gè)360°全景視圖,以4K清晰度和60 fps幀頻輸出,最終投影到一個(gè)球形坐標(biāo)空間上。
目前用于此類應(yīng)用的高分辨率魚眼相機(jī)鏡頭通常具有一個(gè)廣角視域(FOV)。環(huán)視相機(jī)系統(tǒng)最大的瓶頸之一是: 實(shí)時(shí)到或從外部存儲(chǔ)器存儲(chǔ)/讀取和訪問多路攝像機(jī)輸入數(shù)據(jù),然后將其作為一個(gè)單一幀進(jìn)行處理。硬件需要在一幀延遲內(nèi),在輸入攝像機(jī)傳入的原始傳感器數(shù)據(jù)和拼接輸出視頻之間完成處理運(yùn)行。
高性能計(jì)算平臺(tái)一直朝著與CPU一起協(xié)同使用FPGA的方向發(fā)展,以便為實(shí)時(shí)圖像處理任務(wù)提供專門的硬件加速。 這種配置使得CPU能專注于特別復(fù)雜的算法,其中它們可以快速切換線程和上下文,并將重復(fù)性任務(wù)分配給一個(gè)FPGA,以充當(dāng)可配置的硬件加速器/協(xié)處理器/卸載引擎。 即使將FPGA和CPU作為分立器件使用,系統(tǒng)也可以提高整體效率,因?yàn)檫@些技術(shù)不會(huì)發(fā)生沖突,而是像將手套戴在手上一樣來配合在一起。
例如,從魚眼鏡頭獲得的圖像遭受嚴(yán)重失真之苦,因而基于多個(gè)相機(jī)視頻生成的拼接操作是高度計(jì)算密集型的任務(wù),其原因?yàn)樗屈c(diǎn)像素操作。這種拼接需要大量的實(shí)時(shí)圖像處理和高度并行化的架構(gòu)。但是,這種下一代的應(yīng)用超過了FPGA可不斷接續(xù)實(shí)現(xiàn)的性能,主要是由于芯片吞吐數(shù)據(jù)的延遲。這反過來會(huì)影響整個(gè)系統(tǒng)的整體延遲、吞吐速度和性能。
在一個(gè)SoC中加入可與CPU一起嵌入的eFPGA半導(dǎo)體知識(shí)產(chǎn)權(quán)(IP)。與一個(gè)獨(dú)立的FPGA芯片加CPU解決方案相比,嵌入式FPGA陣列結(jié)構(gòu)具有獨(dú)特的優(yōu)勢(shì),主要優(yōu)勢(shì)在于性能更強(qiáng)。一個(gè)eFPGA可通過一個(gè)寬的并行接口直接連接到ASIC(無I / O緩沖器)上,提供顯著提高的吞吐量,以及以個(gè)位數(shù)時(shí)鐘周期來計(jì)數(shù)的延遲。低延遲是復(fù)雜的圖像實(shí)時(shí)處理過程的關(guān)鍵,例如糾正魚眼鏡頭的失真這樣的處理。
利用Speedcore eFPGA IP,客戶可以定義其邏輯、內(nèi)存和DSP資源需求,然后Achronix可配置其IP以滿足他們的需求。查找表(LUTs)、RAM單元塊和DSP64單元塊可以像積木一樣進(jìn)行組合,為任何給定的應(yīng)用創(chuàng)建最佳的可編程結(jié)構(gòu)。 除了標(biāo)準(zhǔn)邏輯、嵌入式存儲(chǔ)器和DSP單元模塊之外,客戶還可以在Speedcore eFPGA結(jié)構(gòu)里面定義他們自己的功能塊。通過把這些定制功能模塊與傳統(tǒng)構(gòu)建模塊一起集成到邏輯陣列結(jié)構(gòu)中,可添加優(yōu)化過的功能來減少面積和提高目標(biāo)應(yīng)用的性能,可使eFPGA的性能得到極大的提高,特別是對(duì)嵌入式視覺和圖像處理算法非常有效。
用自定義單元塊來成功地解決高性能圖像處理就是一個(gè)很好的例子,在實(shí)現(xiàn)您只看一次(YOLO)這一種使用了神經(jīng)網(wǎng)絡(luò)的、最先進(jìn)的、實(shí)時(shí)對(duì)象檢測算法時(shí),可以優(yōu)于早期的方法大大提高性能。該算法依賴于大量的矩陣乘法器,而在FPGA中實(shí)現(xiàn)時(shí),這些矩陣乘法器需要使用DSP和RAM模塊來構(gòu)建;YOLO所需要的DSP和RAM模塊之間的最佳配置,與一個(gè)典型的FPGA陣列結(jié)構(gòu)中發(fā)現(xiàn)的不匹配之處就會(huì)出現(xiàn)問題。例如,F(xiàn)PGA陣列結(jié)構(gòu)可能提供18×27乘法/累加單元塊和32×128 RAM的DSP單元塊,而此時(shí)的最佳解決方案可能是帶有48×1024 RAM的16×8 DSP單元塊。通過創(chuàng)建實(shí)現(xiàn)最佳DSP和RAM模塊配置的定制單元塊,所得到的Speedcore陣列結(jié)構(gòu)所使用的芯片面積就會(huì)減少40%,來實(shí)現(xiàn)相同的功能并且能獲得更高級(jí)別的系統(tǒng)性能。
在SoC中嵌入FPGA陣列結(jié)構(gòu)提供了兩個(gè)額外的系統(tǒng)級(jí)好處:
更低的功耗 - 可編程I / O電路占獨(dú)立FPGA芯片總功耗的一半,而一個(gè)eFPGA可以與主控SoC中的其他模塊直接內(nèi)部線路連接,完全不需要大型可編程I / O緩沖器。
更低的系統(tǒng)成本 - 由于eFPGA只需實(shí)現(xiàn)特定功能,eFPGA的裸片尺寸遠(yuǎn)小于等效的獨(dú)立FPGA芯片,這是因?yàn)閑FPGA不再需要可編程的I / O緩沖器和不必要的接口邏輯。
借助超低延遲和實(shí)時(shí)處理功能,可以有效實(shí)現(xiàn)基于360°視域的視覺系統(tǒng),具有定制單元塊的Speedcore eFPGA與同一主控SoC中的一個(gè)CPU配合使用,非常適合去實(shí)現(xiàn)專用功能,如目標(biāo)檢測和圖像識(shí)別、變形和失真校正、以及最后將最終圖像拼接在一起。在SoC中嵌入FPGA陣列結(jié)構(gòu)是超深亞微米時(shí)代系統(tǒng)集成的一個(gè)自然發(fā)展過程。
推薦閱讀:
特別推薦
- 兆易創(chuàng)新GD32F30x STL軟件測試庫獲得德國萊茵TüV IEC 61508功能安全認(rèn)證
- 芯科科技第三代無線開發(fā)平臺(tái)引領(lǐng)物聯(lián)網(wǎng)發(fā)展
- MSO 4B 示波器為工程師帶來更多臺(tái)式功率分析工具
- 艾為電子推出新一代高線性度GNSS低噪聲放大器——AW15745DNR
- 瑞薩發(fā)布四通道主站IC和傳感器信號(hào)調(diào)節(jié)器, 以推動(dòng)不斷增長的IO-Link市場
- e絡(luò)盟現(xiàn)貨供應(yīng) Abracon 新推出的 AOTA 系列微型鑄型電感器
- 加賀富儀艾電子推出支持Wi-Fi 6和藍(lán)牙的無線局域網(wǎng)/藍(lán)牙組合模塊
技術(shù)文章更多>>
- 讓汽車LED照明無死角,LED驅(qū)動(dòng)的全面進(jìn)化
- 開關(guān)模式電源問題分析及其糾正措施:晶體管時(shí)序和自舉電容問題
- 熱電偶的測溫原理
- 【泰克先進(jìn)半導(dǎo)體實(shí)驗(yàn)室】 遠(yuǎn)山半導(dǎo)體發(fā)布新一代高壓氮化鎵功率器件
- ADALM2000實(shí)驗(yàn):變壓器
技術(shù)白皮書下載更多>>
- 車規(guī)與基于V2X的車輛協(xié)同主動(dòng)避撞技術(shù)展望
- 數(shù)字隔離助力新能源汽車安全隔離的新挑戰(zhàn)
- 汽車模塊拋負(fù)載的解決方案
- 車用連接器的安全創(chuàng)新應(yīng)用
- Melexis Actuators Business Unit
- Position / Current Sensors - Triaxis Hall
熱門搜索
電容器公式
電聲器件
電位器
電位器接法
電壓表
電壓傳感器
電壓互感器
電源變壓器
電源風(fēng)扇
電源管理
電源管理IC
電源連接器
電源濾波器
電源模塊
電源模塊
電源適配器
電子書
電阻測試儀
電阻觸控屏
電阻器
電阻作用
調(diào)速開關(guān)
調(diào)諧器
鼎智
動(dòng)力電池
動(dòng)力控制
獨(dú)石電容
端子機(jī)
斷路器
斷路器型號(hào)