近日,上海肇觀電子科技有限公司推出了一款內(nèi)嵌智能深度相機(jī)---Feynman系列。
Feynman系列基于肇觀電子自主研發(fā)的主控人工智能視覺(jué)芯片---NE-D163A,將主要供應(yīng)無(wú)感智能門(mén)禁、AR/VR、智能交通、物聯(lián)網(wǎng)、機(jī)器人、機(jī)器視覺(jué)和安防等市場(chǎng)。另外,為滿(mǎn)足智能設(shè)備避障、智能分析和定位等需求,肇觀電子還提供Feynman系列的軟件開(kāi)發(fā)工具包(SDK),使其能夠設(shè)置差異化算法,進(jìn)行深度定制。
強(qiáng)大的人工智能視覺(jué)芯片---NE-D163A
肇觀電子是一家專(zhuān)門(mén)從事人工智能芯片和計(jì)算機(jī)視覺(jué)芯片設(shè)計(jì)的高新企業(yè),其產(chǎn)品主要應(yīng)用于車(chē)載、家用攝像、安防、3D視覺(jué)和門(mén)禁等芯片需求市場(chǎng)。主控人工智能視覺(jué)芯片NE-D163A搭配超強(qiáng)性能視覺(jué)處理獨(dú)立硬件IP,完全由肇觀電子自主研發(fā),主要應(yīng)用于工業(yè)檢測(cè)、機(jī)器人和AR/VR等領(lǐng)域。
NE-D163A視覺(jué)AI芯片
NE-D163A搭載的嵌入式神經(jīng)網(wǎng)絡(luò)處理器(NPU),在業(yè)界硬件利用率方面處于領(lǐng)先地位。從每個(gè)處理器運(yùn)算能力單位對(duì)典型網(wǎng)絡(luò)的推理幀率來(lái)看,NE-D163A相比業(yè)內(nèi)其他AI芯片,在性能上要強(qiáng)2、3倍。NE-D163A搭載的AI編譯器Infer Studio?,除了支持Transformer、RNN、CNN、LSTM等網(wǎng)絡(luò)類(lèi)型,還支持NCNN、ONNX、Caffe、Tensorflow等框架。
另外,NE-D163A搭載的嵌入式神經(jīng)網(wǎng)絡(luò)處理器支持INT8和FP16兩種精度選擇。其中,INT8的精度損失能控制在1%以?xún)?nèi),F(xiàn)P16則能達(dá)到無(wú)損精度,保證了算法部署的精確度。
Feynman相機(jī)有哪些性能特點(diǎn)
NE-D163A芯片還擁有自主學(xué)習(xí)ISP流水線架構(gòu),就算在各種復(fù)雜的光照條件下,F(xiàn)eynman相機(jī)仍然能生成高質(zhì)量的圖像。同時(shí),F(xiàn)eynman搭載的傳感器支持高動(dòng)態(tài)HDR,在較低光照度的條件下,成像依然非常清晰。
國(guó)外競(jìng)品R* D435 (左)與Feynman M1 (右)
Feynman相機(jī)還能為機(jī)器人提供強(qiáng)大的理解能力和環(huán)境感知能力。Feynman相機(jī)搭載了豐富的傳感器組件,包括雙目紅外攝像頭IR模組、慣性測(cè)量單元 (IMU)、散斑結(jié)構(gòu)光、彩色攝像頭RGB全局曝光模組等,能夠搜集周?chē)h(huán)境中的多維度信息。
Feynman的SoC芯片包含了視覺(jué)加速引擎DSP、幾何和深度引擎DEP、AI加速引擎NPU,同時(shí)運(yùn)用了主動(dòng)雙目視覺(jué)技術(shù),保證Feynman在室內(nèi)各場(chǎng)景下都能生成高精度、高幀率的深度圖。從整體上看,F(xiàn)eynman具有集成度高、AI算力強(qiáng)、體積小、深度圖精度高、ISP成像質(zhì)量好、幀率高、功耗低等特性。
Feynman相機(jī)集成了性能強(qiáng)大的嵌入式神經(jīng)網(wǎng)絡(luò)處理器,視覺(jué)加速算力非常優(yōu)秀。這使得Feynman相機(jī)不光能生成高質(zhì)量的深度圖,還能根據(jù)深度圖或者RGB圖像實(shí)現(xiàn)生物檢測(cè)、智能分析、識(shí)別。在DSP加速視覺(jué)算子的加持下,F(xiàn)eynman相機(jī)可以實(shí)現(xiàn)對(duì)VSLAM算法關(guān)鍵函數(shù)的加速,還可以定制實(shí)現(xiàn)高性能的點(diǎn)云處理和深度圖后處理。Feynman也是業(yè)內(nèi)首款集成DSP和AI算力的深度相機(jī)。
Feynman M1結(jié)構(gòu)圖
Feynman相機(jī)在不外掛其他處理器的情況下,就能實(shí)現(xiàn)720P 30FPS的深度圖,深度視覺(jué)處理能力非常強(qiáng)大。我們知道,深度距離的精確程度跟深度圖的精確度有很大的關(guān)系。在相同的外部條件下,F(xiàn)eynman相機(jī)的空洞率已經(jīng)優(yōu)于國(guó)際相機(jī)巨頭的水平。
Feynman相機(jī)的結(jié)構(gòu)非常緊湊,在大小上能夠兼容市面主流的深度相機(jī)。與市面上的高端3D深度相機(jī)相比,F(xiàn)eynman相機(jī)的性能指標(biāo)非常具有競(jìng)爭(zhēng)優(yōu)勢(shì),在智能設(shè)備的應(yīng)用方面更加具有亮點(diǎn)。
Feynman相機(jī)的應(yīng)用場(chǎng)景
市面上大多數(shù)深度相機(jī),陽(yáng)光下的主動(dòng)光容易受到干擾,導(dǎo)致深度圖的效果不佳。Feynman相機(jī)使用了獨(dú)特的光學(xué)設(shè)計(jì),使其不僅可以在室內(nèi)使用,還能適用室外復(fù)雜的場(chǎng)景。在面對(duì)室外強(qiáng)烈的陽(yáng)光時(shí),F(xiàn)eynman相機(jī)在保持信噪比的同時(shí),還能降低太陽(yáng)光的干擾,保證了深度圖的完整性和準(zhǔn)確性。
Feynman相機(jī)的強(qiáng)大性能,保證了其在智能機(jī)器人領(lǐng)域的巨大應(yīng)用前景。在工業(yè)應(yīng)用領(lǐng)域,F(xiàn)eynman相機(jī)經(jīng)過(guò)改款之后,新增了控制信號(hào)航插,千兆以太網(wǎng)和電源功能,以滿(mǎn)足工業(yè)生產(chǎn)的需求。