達(dá)摩院為什么要自研ISP圖像處理器?
【獵云網(wǎng)北京】4月8日?qǐng)?bào)道
4月8日，阿里達(dá)摩院宣布推出自研ISP圖像處理器，并且在夜間等具有挑戰(zhàn)性的環(huán)境下圖像識(shí)別精準(zhǔn)率比業(yè)界主流產(chǎn)品有10%以上的提升。ISP處理器是攝像頭的關(guān)鍵組件，阿里達(dá)摩院進(jìn)入這個(gè)領(lǐng)域的邏輯是什么？
什么是ISP？?
ISP是圖像信號(hào)處理器（Image Signal Processor）的簡(jiǎn)稱，目前已經(jīng)被廣泛應(yīng)用于我們每個(gè)人的智能手機(jī)當(dāng)中。大家都知道現(xiàn)在有海量的嵌入式設(shè)備都帶攝像頭，近至我們的智能手機(jī)、很多的大眾消費(fèi)級(jí)的顯示器，當(dāng)然也包含正在研發(fā)當(dāng)中的智能駕駛系統(tǒng)，以及各種公共場(chǎng)所上的監(jiān)控設(shè)備，遠(yuǎn)至在近地軌道上運(yùn)行的眾多微型衛(wèi)星，可以說圖像信號(hào)的獲取和處理是一個(gè)極為廣泛存在的需求。圖像信號(hào)處理器能夠?qū)z像頭拍攝到的畫面做不同程度的分析，并對(duì)畫面做不同程序的增強(qiáng)和改善。
以現(xiàn)在的智能手機(jī)為例，大家?guī)缀趺刻於紩?huì)使用自己的智能手機(jī)來拍照，而現(xiàn)在的各家智能手機(jī)廠商，都并不直接研發(fā)攝像頭模組，都是采購歐菲光，索尼等第三方廠商的攝像頭模組，有時(shí)候不同的智能手機(jī)用了同一個(gè)廠家、同一個(gè)型號(hào)的攝像頭，但是照片呈現(xiàn)出來的質(zhì)量仍然有非常明顯的不同，這很大程度上就是因?yàn)楦骷覐S商使用的ISP的好壞導(dǎo)致的。
對(duì)于大家比較熟悉的智能手機(jī)日常拍照的場(chǎng)景，手機(jī)芯片內(nèi)置的ISP會(huì)進(jìn)行自動(dòng)人臉對(duì)焦，自動(dòng)白平衡，自動(dòng)色調(diào)映射等一系列功能，這其中有很多講究，都會(huì)直接影響到最終照片質(zhì)量，例如ISP的自動(dòng)圖像銳化，如果銳化太多，則照片會(huì)有比較明顯的“扎眼”的感覺（因?yàn)檎掌薪^大多數(shù)物體邊緣都被優(yōu)化的太過于銳利），如果銳化太少，則照片整體會(huì)有一種朦朧感，給人的感受是這個(gè)手機(jī)的拍照系統(tǒng)捕捉細(xì)節(jié)的能力不足。而眾多消費(fèi)者們每天拍照的場(chǎng)景條件千奇百怪五花八門，沒有一種自動(dòng)銳化技術(shù)是放之四海皆準(zhǔn)的，ISP必須能夠自動(dòng)地檢測(cè)識(shí)別場(chǎng)景中的一些特征來決定銳化進(jìn)行到何種程度。這類ISP研發(fā)中的難點(diǎn)反應(yīng)到產(chǎn)品上，就是大家經(jīng)常會(huì)爭(zhēng)論的各家智能手機(jī)拍照系統(tǒng)的“出片風(fēng)格”、“出片質(zhì)量”了。
為什么自動(dòng)駕駛需要ISP？
在當(dāng)前流行的在自動(dòng)駕駛系統(tǒng)構(gòu)架設(shè)計(jì)中，總的來說一般都會(huì)有一個(gè)很強(qiáng)的人工智能系統(tǒng)，去判斷拍照系統(tǒng)傳回的當(dāng)前場(chǎng)景信息，例如當(dāng)前場(chǎng)景存在哪些車輛，行人，障礙物，估計(jì)速度，估計(jì)距離等等。讓這個(gè)人工智能系統(tǒng)要想實(shí)現(xiàn)高度準(zhǔn)確判斷的前提，是拍照系統(tǒng)傳回的當(dāng)前場(chǎng)景信息盡可能準(zhǔn)確無誤。
可以說相比手機(jī)這樣的大眾消費(fèi)品，自動(dòng)駕駛更加需要ISP。因?yàn)閷?duì)于手機(jī)來說，ISP只是決定照片質(zhì)量的好壞，無非是一個(gè)觀感問題，而在高速運(yùn)動(dòng)的車輛上，如果ISP不能準(zhǔn)確地將場(chǎng)景特征暴露給后繼系統(tǒng)部件，導(dǎo)致的結(jié)果就可能會(huì)是災(zāi)難性的。
例如，由于車輛會(huì)處在高速運(yùn)動(dòng)當(dāng)中，所以攝像頭拍攝到的照片往往會(huì)帶有一定的“拖尾”或者“重影”，這對(duì)于圖像處理系統(tǒng)中的后繼算法去識(shí)別物體特征是不利的，因此ISP的重要職責(zé)之一就是減少這種“拖尾”和“重影”。這在ISP當(dāng)中是一個(gè)非常重要的子領(lǐng)域叫做“運(yùn)動(dòng)估計(jì)”。
再例如，如果是在夜間行車，那么由于當(dāng)前攝像頭傳感器技術(shù)的限制，夜間的成像往往會(huì)暴露比日間成像更多的問題，攝像頭傳感器為了捕捉更多的場(chǎng)景細(xì)節(jié)，就不得不延長(zhǎng)曝光時(shí)間，提高進(jìn)光量，但這樣一來又會(huì)帶來明顯的噪點(diǎn)。例如在這組對(duì)比圖片中，左圖經(jīng)過處理后明顯暴露出了更多的場(chǎng)景信息，樹木，草地的細(xì)節(jié)和邊緣都更加清晰銳利，但與此同時(shí)在背景的夜空中，在遠(yuǎn)處的建筑上，都存在著更多的噪點(diǎn)。
再考慮到自動(dòng)駕駛系統(tǒng)中應(yīng)用的電子元器件還有經(jīng)過車規(guī)級(jí)驗(yàn)證，難度又更上一層樓。據(jù)筆者所知，一些車規(guī)級(jí)電子元器件需要耐受125度的工作溫度，而一般大眾消費(fèi)級(jí)市場(chǎng)上的芯片，例如Intel的CPU，只要求100度，接近這個(gè)溫度就會(huì)觸發(fā)過熱保護(hù)，電腦會(huì)自動(dòng)掉電重啟。與此同時(shí)車規(guī)級(jí)芯片對(duì)可靠性也有額外要求，因此可以毫不夸張地說，ISP在整個(gè)自動(dòng)駕駛系統(tǒng)中的地位是至關(guān)重要的，ISP的研發(fā)也是非常具有技術(shù)含量和挑戰(zhàn)性的一個(gè)領(lǐng)域。
達(dá)摩院為什么要自研ISP？
經(jīng)過20年的發(fā)展，阿里從一家電商公司發(fā)展成為一家科技巨頭公司，并且今天已經(jīng)開始扮演全社會(huì)數(shù)字經(jīng)濟(jì)的基礎(chǔ)設(shè)施。今天的阿里不僅在業(yè)務(wù)范圍上進(jìn)行橫向擴(kuò)張，同時(shí)在業(yè)務(wù)深度上也在進(jìn)行縱向擴(kuò)張。所以我們看到過去幾年里，阿里進(jìn)入了芯片等基礎(chǔ)研研究領(lǐng)域，成立了達(dá)摩院，設(shè)立了平頭哥半導(dǎo)體公司，并且在量子計(jì)算等很多前沿的領(lǐng)域展開研究。
自動(dòng)駕駛毫無疑問是未來十年中可能帶來顛覆性變化的賽道，阿里沒有理由缺席，更不要說阿里的很多業(yè)務(wù)場(chǎng)景也需要自動(dòng)化升級(jí)。而頂級(jí)的自動(dòng)駕駛系統(tǒng)，必然是軟件-硬件的配合（人工智能算法 + 傳感器），同樣也有硬件-硬件間的配合（多傳感器融合）。
理想的自動(dòng)駕駛系統(tǒng)需要在復(fù)雜的道路光線環(huán)境/惡劣天氣環(huán)境下仍然可以得到滿足深度學(xué)習(xí)算法所需要的圖像數(shù)據(jù)，這需要算法設(shè)計(jì)和硬件設(shè)計(jì)之間的相互配合，與此同時(shí)，預(yù)知圖像傳感器的曝光時(shí)間極其重要，可以保證雷達(dá)掃描到某一位置時(shí)刻同時(shí)觸發(fā)圖像傳感器曝光，這需要硬件與硬件之間的相互配合。因此達(dá)摩院選擇了自研ISP去追求這一極致。
從目前接觸到的評(píng)測(cè)結(jié)果來看，達(dá)摩院的自研ISP已經(jīng)毫無疑問地躋身業(yè)界一流水平，經(jīng)過自研ISP與深度學(xué)習(xí)算法的互相配合，夜間場(chǎng)景的識(shí)別準(zhǔn)確率提升了十個(gè)百分點(diǎn)。不要小瞧這十個(gè)百分點(diǎn)的提升，這背后有深層算法的創(chuàng)新，對(duì)于提升自動(dòng)駕駛設(shè)備的感知能力有著巨大的提升作用。
阿里的戰(zhàn)略
觀察一家企業(yè)的戰(zhàn)略，需要一個(gè)長(zhǎng)時(shí)段的維度。從這個(gè)角度出發(fā)，阿里自研ISP處理器，可能是阿里“芯”戰(zhàn)略的關(guān)鍵一步。
阿里已經(jīng)先后發(fā)布了自研RISCV CPU，自研AI加速芯片，再加上自研ISP處理器的面世，一顆片上系統(tǒng)芯片（SoC）需要的幾大件都擺到了臺(tái)面上。
所以，現(xiàn)在這幾個(gè)大件已經(jīng)可以很明顯地拼出阿里在芯片戰(zhàn)略領(lǐng)域的初步輪廓：阿里將會(huì)拿出自研的AliSoC，進(jìn)一步地與同樣正在深耕硬件領(lǐng)域的Google，Amazon等國(guó)際頂級(jí)廠商展開更多競(jìng)爭(zhēng)。
十年前的阿里，大眾認(rèn)知里還只有電商淘寶。差不多五年前，大家認(rèn)知里加上了金融（支付寶），拉近到三年前，大家又接納了阿里云計(jì)算。從達(dá)摩院宣布成立到現(xiàn)在短短幾年時(shí)間，阿里又在極度依賴技術(shù)積累的核心硬件領(lǐng)域開始彎道超車，可能用不了幾年，大家又會(huì)接納阿里成了一家成功的芯片公司，一家擁有核心技術(shù)的新經(jīng)濟(jì)基礎(chǔ)設(shè)施公司。
唯一不變的是變化。且待阿里“芯”光燦爛。
核心關(guān)鍵字： 人工智能 汽車交通相關(guān)文章
-
阿里巴巴啟動(dòng)“春雷計(jì)劃2020”，用一切必要行動(dòng)幫助中小企業(yè)共渡難關(guān)
4月7日，阿里巴巴集團(tuán)張勇宣布啟動(dòng)“春雷計(jì)劃2020”，幫助中小企業(yè)共渡難關(guān)。阿里巴巴集團(tuán)董事會(huì)主席兼首席執(zhí)行官張勇發(fā)《春天的戰(zhàn)役》全員信表示，社會(huì)經(jīng)濟(jì)生活受到疫情的影響，正在發(fā)生重大變化?！爸行∑髽I(yè)是社會(huì)經(jīng)濟(jì)的原子細(xì)胞，中小企業(yè)活，則社會(huì)經(jīng)濟(jì)活；中小企業(yè)興，則社會(huì)經(jīng)濟(jì)興。”張勇提到，12年前，阿里巴巴先后推出“烏云”、“狂風(fēng)”、“春雷”三大扶助中小企業(yè)的“援冬”計(jì)劃。今天，在全球經(jīng)濟(jì)和社會(huì)生活因...
2020-04-07 10:17:21 春雷阿里巴巴中小企業(yè) -
西藏阿里地區(qū)改則縣發(fā)生4.4級(jí)地震 震源深度8千米
據(jù)中國(guó)地震臺(tái)網(wǎng)正式測(cè)定：04月04日06時(shí)54分在西藏阿里地區(qū)改則縣（北緯32.78度，東經(jīng)85.50度）發(fā)生4.4級(jí)地震，震源深度8千米。...
2020-04-04 14:08:13 改則縣臺(tái)網(wǎng)震源 -
西藏阿里地區(qū)改則縣發(fā)生3.8級(jí)地震 震源深度7千米
@中國(guó)地震臺(tái)網(wǎng)速報(bào)4月4日消息，中國(guó)地震臺(tái)網(wǎng)正式測(cè)定：04月04日08時(shí)45分在西藏阿里地區(qū)改則縣（北緯32.76度，東經(jīng)85.48度）發(fā)生3.8級(jí)地震，震源深度7千米。另據(jù)@中國(guó)地震臺(tái)網(wǎng)當(dāng)日稍早消息，中國(guó)地震臺(tái)網(wǎng)正式測(cè)定：04月04日06時(shí)54分在西藏阿里地區(qū)改則縣（北緯32.78度，東經(jīng)85.50度）發(fā)生4.4級(jí)地震，震源深度8千米。 原標(biāo)題：西藏阿里地區(qū)改則縣發(fā)生3.8級(jí)地震責(zé)任編輯：李曉靈...
2020-04-04 11:56:22 改則縣震源 -
阿里云智能總裁張建鋒：現(xiàn)代化信息技術(shù)就是國(guó)家提倡的新基建
記者殷曉霞4月2日，由國(guó)務(wù)院國(guó)資委干部教育培訓(xùn)中心、中國(guó)企業(yè)聯(lián)合會(huì)主辦，中國(guó)航天科工集團(tuán)、海爾集團(tuán)、阿里巴巴集團(tuán)協(xié)辦的企業(yè)家高端對(duì)話網(wǎng)絡(luò)活動(dòng)舉辦。圖為阿里云智能總裁、阿里巴巴達(dá)摩院院長(zhǎng)張建鋒。阿里云智能總裁、阿里巴巴達(dá)摩院院長(zhǎng)張建鋒表示，新基建要為企業(yè)服務(wù)，也要為政府服務(wù)。對(duì)企業(yè)服務(wù)就是企業(yè)管理能力、生產(chǎn)經(jīng)營(yíng)、營(yíng)銷都要數(shù)字化。“技術(shù)發(fā)展到今天，像移動(dòng)化技術(shù)、數(shù)字化技術(shù)、云技術(shù)、智能化技術(shù)、區(qū)塊鏈技...
2020-04-04 10:17:05 技術(shù)阿里達(dá)摩 -
王者榮耀4月2日更新：達(dá)摩盾山再調(diào)整
王者榮耀在3月31日更新上線了全新的s19賽季版本之后，今日4月2日又進(jìn)行了一波小更新，本次更新內(nèi)容比較少，主要就是有的英雄之前調(diào)整后不太合適，進(jìn)行了再次的調(diào)整....
2020-04-02 21:08:10 達(dá)摩榮耀進(jìn)行了 -
湖北聯(lián)手阿里巴巴：10億小龍蝦借盒馬出鄂，100場(chǎng)農(nóng)貨銷售上淘寶
摘要：湖北小龍蝦也“復(fù)工”了。網(wǎng)商君湖北小龍蝦也“復(fù)工”了。4月1日，阿里巴巴集團(tuán)宣布，將由旗下盒馬事業(yè)群、數(shù)字農(nóng)業(yè)事業(yè)部牽頭，從湖北采購價(jià)值10億元的小龍蝦，盡全力讓全國(guó)吃貨重新吃上湖北美味。這些小龍蝦由阿里巴巴盒馬事業(yè)群牽頭采購，并從本月下旬起搭乘阿里巴巴數(shù)字農(nóng)業(yè)事業(yè)部的供應(yīng)鏈體系，通過盒馬、淘寶、天貓、聚劃算、餓了么、口碑、大潤(rùn)發(fā)等平臺(tái)，直達(dá)全國(guó)消費(fèi)者的餐桌。阿里巴巴將不斷加大湖北農(nóng)產(chǎn)品銷售...
2020-04-01 16:17:15 湖北阿里巴巴農(nóng)產(chǎn)品 -
加拿大疫情最新消息:加拿大迎來遏制疫情的關(guān)鍵一周 總理特魯多致謝阿里巴巴
加拿大確診病例8591例，正在逼近一萬例，加拿大也要做好準(zhǔn)備了！www.haoz.net配圖加拿大公共衛(wèi)生官員和政府高層提醒國(guó)民，加拿大正迎來遏制新冠肺炎疫情的至關(guān)重要的一個(gè)星期。當(dāng)...
2020-04-01 11:37:35 加拿大肺炎疫情 -
從阿里云、騰訊云，看中國(guó)公有云市場(chǎng)競(jìng)爭(zhēng)格局
圖片來源@視覺中國(guó)文|老鐵先承認(rèn)標(biāo)題是有點(diǎn)標(biāo)題黨，標(biāo)題僅是噱頭重點(diǎn)在后面。在撰寫本文時(shí)，我曾不下三次有過放棄的念頭，原因就在于云計(jì)算的多家分析機(jī)構(gòu)中，關(guān)于市場(chǎng)份額表述有著相當(dāng)大的差別，單一引用一方數(shù)據(jù)很難得出精準(zhǔn)的市場(chǎng)判斷。Canalys最近的報(bào)告披露，2019年中國(guó)公有云規(guī)模達(dá)到107億美元，同比增長(zhǎng)63.7%，其中阿里云仍然位居第一，占據(jù)46.1%的市場(chǎng)份額，騰訊云則為17.3%。以此判定，2...
2020-04-01 08:17:07 億元阿里騰訊 -
阿里發(fā)最嚴(yán)口罩禁令 這些人會(huì)被嚴(yán)懲
在過去的兩個(gè)多月里，口罩成為了最暢銷的商品，有無數(shù)淘寶商家因?yàn)殇N售口罩賺得盆滿缽滿，不過也有些商家因?yàn)檫`反規(guī)定被“永久清退”，甚至是被阿里巴巴移送至司法機(jī)關(guān)。阿里發(fā)最嚴(yán)口罩禁令，這條禁令面向所有賣家。阿里巴巴創(chuàng)始人馬云
2020-03-31 16:58:14 阿里禁令口罩
公告稱，對(duì)涉嫌假冒偽劣、哄抬物價(jià)、虛假宣傳等違規(guī)問題的商品和店鋪，平臺(tái)將從嚴(yán)從重查處打擊，同時(shí)階段性地公示違規(guī)處罰名單。發(fā)現(xiàn)一家就處理一家，發(fā)現(xiàn)一百家就處理一百家，絕對(duì)不會(huì)姑息違... -
新基建加速，20家中央部委數(shù)字化升級(jí)合作阿里云
【獵云網(wǎng)】3月30日?qǐng)?bào)道3月30日消息，阿里云目前正在為20家中央部委提供數(shù)字化技術(shù)支持，包括國(guó)務(wù)院、國(guó)家醫(yī)療保障局、國(guó)家知識(shí)產(chǎn)權(quán)局、國(guó)家應(yīng)急管理部、人力資源和社會(huì)保障部、文化和旅游部、水利部、交通部、國(guó)家統(tǒng)計(jì)局、國(guó)稅總局、海關(guān)總署、中國(guó)氣象局、司法部、廣電總局、中國(guó)科學(xué)院等等。中國(guó)政府采購網(wǎng)站信息顯示，國(guó)務(wù)院國(guó)家政務(wù)服務(wù)平臺(tái)應(yīng)用了阿里云技術(shù)支持。平臺(tái)建設(shè)應(yīng)用阿里云DataWorks-數(shù)據(jù)研發(fā)、阿...
2020-03-30 17:17:07 阿里國(guó)家用了
| 留言與評(píng)論（共有 0 條評(píng)論） |
