藝術(shù)效果圖:基于光學(xué)神經(jīng)網(wǎng)絡(luò)的機(jī)器視覺系統(tǒng)
基于光譜編碼的傳感與成像的機(jī)器視覺技術(shù)
發(fā)布時(shí)間:2021-04-12 責(zé)任編輯:lina
【導(dǎo)讀】隨著自動化和智能技術(shù)發(fā)展日益成熟,機(jī)器視覺系統(tǒng)在許多領(lǐng)域被廣泛應(yīng)用,包括自動駕駛汽車、智能制造、自動化手術(shù)和生物醫(yī)學(xué)成像等。這些機(jī)器視覺系統(tǒng)大多使用基于普通光學(xué)鏡頭模組的相機(jī),在拍攝通常高達(dá)具有數(shù)百萬像素的圖像或視頻后,通常將其饋送到如GPU等數(shù)字邏輯處理單元從而來執(zhí)行一定的機(jī)器學(xué)習(xí)任務(wù),例如物體識別、分類和場景分割等。
隨著自動化和智能技術(shù)發(fā)展日益成熟,機(jī)器視覺系統(tǒng)在許多領(lǐng)域被廣泛應(yīng)用,包括自動駕駛汽車、智能制造、自動化手術(shù)和生物醫(yī)學(xué)成像等。這些機(jī)器視覺系統(tǒng)大多使用基于普通光學(xué)鏡頭模組的相機(jī),在拍攝通常高達(dá)具有數(shù)百萬像素的圖像或視頻后,通常將其饋送到如GPU等數(shù)字邏輯處理單元從而來執(zhí)行一定的機(jī)器學(xué)習(xí)任務(wù),例如物體識別、分類和場景分割等。
藝術(shù)效果圖:基于光學(xué)神經(jīng)網(wǎng)絡(luò)的機(jī)器視覺系統(tǒng)
這種經(jīng)典的機(jī)器視覺架構(gòu)具有如下幾個(gè)方面的缺點(diǎn):
第一,高像素傳感器拍攝帶來大量信息使其難以實(shí)現(xiàn)極高速的圖像或視頻數(shù)字化存儲和分析,尤其在使用移動設(shè)備和電池供電的設(shè)備時(shí)更是帶來了能耗和性能的平衡問題;
第二,所捕獲的圖像通常包含許多對機(jī)器學(xué)習(xí)任務(wù)無用的冗余信息,帶來了后端處理器某種程度上的性能負(fù)擔(dān),和資源浪費(fèi),從而導(dǎo)致在功耗和內(nèi)存需求方面效率低下。
第三,在可見光的波長以外的電磁波段制造高像素?cái)?shù)圖像傳感器(如手機(jī)相機(jī)中的傳感器)具有很大的挑戰(zhàn)性,且其成本十分昂貴,因而也限制了機(jī)器視覺系統(tǒng)在更長波段(如太赫茲)上的應(yīng)用。
最近,加州大學(xué)洛杉磯分校(UCLA)的研究人員開發(fā)了一種新的單像素機(jī)器視覺系統(tǒng),通過引入光學(xué)神經(jīng)網(wǎng)絡(luò)(名詞解釋?)的方式規(guī)避了傳統(tǒng)機(jī)器視覺系統(tǒng)的諸多缺點(diǎn)。
圖1 來自加州大學(xué)洛杉磯分校的研究人員發(fā)明了一個(gè)新型單像素機(jī)器視覺系統(tǒng),該系統(tǒng)可以將物體的空域信息編碼為功率譜,從而實(shí)現(xiàn)對圖像進(jìn)行分類和重建。
該成果以Spectrally encoded single-pixel machine vision using diffractive networks為題發(fā)表在Science Advances。
研究人員借助深度學(xué)習(xí)技術(shù),設(shè)計(jì)了一個(gè)由多個(gè)衍射層組成的衍射光學(xué)神經(jīng)網(wǎng)絡(luò)(Diffractive Optical Neural Networks)(拓展閱讀?),這些衍射層由計(jì)算機(jī)自動優(yōu)化設(shè)計(jì),可將經(jīng)過的輸入光場調(diào)制成一定的目標(biāo)分布,從而能夠執(zhí)行計(jì)算和統(tǒng)計(jì)推斷任務(wù)。
與常規(guī)的基于鏡頭模組的相機(jī)不同,該衍射光學(xué)神經(jīng)網(wǎng)絡(luò)以被寬帶光照明的物體作為其輸入,將物體的空域特征信息提取并編碼到衍射光的光譜上,而后光譜信號由具有頻譜探測能力的單像素超快傳感器所收集。通過將物體對應(yīng)的不同的類別分配給不同波長的光頻譜分量,該系統(tǒng)僅使用單像素傳感器探測到的輸出光譜即可自動對輸入對象完成分類,從而無需圖像傳感器陣列和后端數(shù)字處理。這種框架實(shí)現(xiàn)了全光學(xué)推理和機(jī)器視覺,在幀速率、內(nèi)存需求和功耗效率方面具有明顯優(yōu)勢,這些特點(diǎn)對于移動計(jì)算應(yīng)用而言尤為重要。
圖2. 該系統(tǒng)使用寬帶光對物體進(jìn)行照明。系統(tǒng)分類結(jié)果取決于單像素傳感器測得的輸出光功率譜上10個(gè)波長位置上最強(qiáng)的信號,其波長對應(yīng)的類別即是分類預(yù)測結(jié)果。功率譜信號還可以輸入到數(shù)字神經(jīng)網(wǎng)絡(luò)中被用于重建物體本身的圖像。
為驗(yàn)證這一概念,研究人員通過使用單像素傳感器和3D打印的衍射層對使用手寫數(shù)字圖像數(shù)據(jù)集(MNIST)的所構(gòu)建的物體進(jìn)行分類,在實(shí)驗(yàn)中證明了該框架在太赫茲波段下的性能。研究者基于提前選定的10個(gè)波長對實(shí)驗(yàn)系統(tǒng)進(jìn)行了設(shè)計(jì),這10個(gè)波長被逐一分配給輸入物的不同類別(對應(yīng)手寫數(shù)字的0到9),對物的分類結(jié)果取決于傳感器輸出功率譜上10個(gè)波長位置上信號最強(qiáng)者的波長對應(yīng)的類別。
實(shí)驗(yàn)系統(tǒng)中的單像素探測方案基于太赫茲時(shí)域光譜術(shù)實(shí)現(xiàn),照明光為極短的太赫茲脈沖,網(wǎng)絡(luò)的推理以光速在瞬時(shí)間完成。
最終,該系統(tǒng)在手寫數(shù)字分類任務(wù)中實(shí)現(xiàn)了超過96%的分類精度,實(shí)驗(yàn)結(jié)果也與數(shù)值模擬非常吻合,證明了該單像素機(jī)器視覺框架在構(gòu)建低延遲、高效的機(jī)器學(xué)習(xí)系統(tǒng)方面的可行性。除物體分類外,研究人員還將此衍射神經(jīng)網(wǎng)絡(luò)的輸出與一個(gè)簡單的全連接數(shù)字神經(jīng)網(wǎng)絡(luò)相連接,僅通過功率譜上10個(gè)波長處的信號強(qiáng)度來快速重建此輸入物的圖像,從而實(shí)現(xiàn)了圖像的重建或“解壓縮”。
總而言之,這種單像素對象分類和圖像重建框架可以為新的機(jī)器視覺系統(tǒng)的開發(fā)鋪平道路。該系統(tǒng)具有低像素?cái)?shù)、低延遲、低功耗和低成本的特點(diǎn),以高效、節(jié)省資源的獨(dú)特優(yōu)勢通過將物體信息進(jìn)行頻譜編碼來實(shí)現(xiàn)特定的推理任務(wù),有望廣泛應(yīng)用于移動計(jì)算、邊緣計(jì)算等領(lǐng)域。
此外,該新框架還可以擴(kuò)展到各種光譜域測量系統(tǒng),例如光學(xué)相干斷層掃描、紅外波段成像等,有助于構(gòu)建基于衍射神經(jīng)網(wǎng)絡(luò)的光譜和空間信息編碼集成的新型3D傳感和成像方式。
免責(zé)聲明:本文為轉(zhuǎn)載文章,轉(zhuǎn)載此文目的在于傳遞更多信息,版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問題,請電話或者郵箱聯(lián)系小編進(jìn)行侵刪。
特別推薦
- 兆易創(chuàng)新GD32F30x STL軟件測試庫獲得德國萊茵TüV IEC 61508功能安全認(rèn)證
- 芯科科技第三代無線開發(fā)平臺引領(lǐng)物聯(lián)網(wǎng)發(fā)展
- MSO 4B 示波器為工程師帶來更多臺式功率分析工具
- 艾為電子推出新一代高線性度GNSS低噪聲放大器——AW15745DNR
- 瑞薩發(fā)布四通道主站IC和傳感器信號調(diào)節(jié)器, 以推動不斷增長的IO-Link市場
- e絡(luò)盟現(xiàn)貨供應(yīng) Abracon 新推出的 AOTA 系列微型鑄型電感器
- 加賀富儀艾電子推出支持Wi-Fi 6和藍(lán)牙的無線局域網(wǎng)/藍(lán)牙組合模塊
技術(shù)文章更多>>
- 開關(guān)模式電源問題分析及其糾正措施:晶體管時(shí)序和自舉電容問題
- 熱電偶的測溫原理
- 【泰克先進(jìn)半導(dǎo)體實(shí)驗(yàn)室】 遠(yuǎn)山半導(dǎo)體發(fā)布新一代高壓氮化鎵功率器件
- ADALM2000實(shí)驗(yàn):變壓器
- 意法半導(dǎo)體推出STM32微處理器專用高集成度電源管理芯片
技術(shù)白皮書下載更多>>
- 車規(guī)與基于V2X的車輛協(xié)同主動避撞技術(shù)展望
- 數(shù)字隔離助力新能源汽車安全隔離的新挑戰(zhàn)
- 汽車模塊拋負(fù)載的解決方案
- 車用連接器的安全創(chuàng)新應(yīng)用
- Melexis Actuators Business Unit
- Position / Current Sensors - Triaxis Hall
熱門搜索
電容器公式
電聲器件
電位器
電位器接法
電壓表
電壓傳感器
電壓互感器
電源變壓器
電源風(fēng)扇
電源管理
電源管理IC
電源連接器
電源濾波器
電源模塊
電源模塊
電源適配器
電子書
電阻測試儀
電阻觸控屏
電阻器
電阻作用
調(diào)速開關(guān)
調(diào)諧器
鼎智
動力電池
動力控制
獨(dú)石電容
端子機(jī)
斷路器
斷路器型號