AI+漫畫生產，小冰、百度們的新商機?
文 | 智能相對論，作者 | 離離
近年，由于網絡的普及，動漫作品傳播的速度不斷加快，二次元文化的受眾數量不斷上升，影響范圍也越來越廣泛。
如去年完結的日漫《鬼滅之刃》就成功“出圈”，掀起了現象級熱潮。原著漫畫為2020年日本漫畫銷量冠軍，累計發行量突破1億2000萬冊(含電子版)，為第二名的十倍有余。其劇場版動畫電影《鬼滅之刃：無限列車篇》上映后，更是在短時間內突破300億日元票房，并持續刷新日本影史的各項紀錄。
看著日益廣闊的動漫市場，一些廠商開始嘗試利用人工智能來推動漫畫生產，希望能實現漫畫生產的自動化，在提高生產效率的同時減少人力成本。
Made in AI的漫畫
“智能相對論”查到，一般的漫畫創作過程大致可分為三部份: 一是人物形象設計；二是故事編排，包含情節、對話等文學腳本的寫作；三是角色、場景與分鏡配置等漫畫繪制。每位漫畫家都有不同的繪畫風格和敘事方式。
去年，日本鎧俠株式會社(Kioxia Corporation)的研究人員與手冢工作室的藝術團隊合作，利用人工智能深度學習技術完成世界上第一部由人類與AI協作的漫畫作品《PHAEDO》，高度還原了已故知名漫畫家手冢治蟲的漫畫風格。
為了讓人工智能學習手冢的畫風與筆觸，研究團隊收集了十五萬張手冢漫畫手稿，利用圖像識別技術將其分類標記，將角色面容等圖像特征轉換為數據，再利用多個NVIDIA V100 GPU和cuDNN加速的TensorFlow深度學習框架(由StyleGAN編寫)進行訓練和推理。
在角色生成的訓練中，研究團隊還使用了手冢治蟲作品以外的多部不同漫畫的人物臉孔和真實的人臉照片來進行訓練，建立對抗性神經網絡模型StyleGAN，讓其充分學習不同風格、不同角度的漫畫人臉畫風。
再使用遷移學習來整合成千上萬個數據點，從粗糙的輪廓描繪逐漸細化至眼睛、嘴唇等細節，讓AI所繪制的人像與手冢原作更加相似。
在腳本創作方面，研究團隊將《森林大帝》《鐵臂阿童木》和《怪醫黑杰克》等上百個手冢治蟲的漫畫作品分解為多個段落，作為AI“學習”的對象。
分析了這些故事后，AI便能自動生成多個故事大鋼。但這些由AI創作的故事中存在許多邏輯錯誤，且只有五分之一具有意義，并充滿讓人意料之外的情節。
對于AI故事創作的不足，研究團隊還是抱持較為樂觀的態度，將這些另類的想法和飛躍視為手冢治蟲漫畫作品之特色。最后，通過手冢工作室藝術團隊的人工校正，《PHAEDO》的劇本才得以完成。這部作品已發表于日本漫畫雜志《Morning》與鎧俠的項目網站“TEZUKA 2020”。
影視劇改漫AI實現自動化
除了現有的漫畫作品，真人影集也是漫畫的靈感來源之一。近期，來自大連理工大學和香港城市大學的研究團隊提出了一款將視頻自動轉換為靜態漫畫頁面的AI系統，為人工智能圖像生成技術開拓了新的應用道路。
與前陣子在各大社交軟件上流行的，將靜態照片變成動畫的Avatarify相反。這款漫畫生成系統無需用戶手動調整，即可將電視連續劇、電影、卡通等任意種類的影片，自動變成帶有對話框及文字內容的漫畫頁面。
首先，系統會依照每段字幕的時間將視頻分割成多個鏡頭，并藉由分析連續鏡頭的相似度與對話內容，從中提取要轉換成漫畫的關鍵幀畫面。再將選取的關鍵幀源圖像轉換為黑白圖像，執行量化與彩色風格化，造就出“漫畫”風格的圖像。
隨后，根據關鍵幀的興趣區域、重要性等級、彼此間的語義關系和頁面上的面板數量來決定漫畫的分格大小及數量，生成多頁面布局。
研究團隊通過參考漫畫書中對話框形狀的多樣性，使用三種不同的氣泡形狀對應不同情感的語句。并利用一些動漫視頻與相應漫畫作為訓練素材，幫助系統學習識別影片中的聲音、字幕情感與相應的氣泡形狀。
利用文本總結算法，系統可將相關字幕進行合并，確保對話框中的句子不會太長，增強可讀性。再通過發言人物檢測和唇動檢測，將帶有發言內容的對話框放置在所屬人物附近。
該系統現階段依然有一些尚待解決的問題。例如關鍵幀的選擇上，一些畫面的相似度過高，仍有多余畫面；無字幕的視頻，單就語音識別生成的臺詞易出現錯誤。雖然相較于其它方法生成的改漫作品，該系統的反響良好，但總體而言仍處于試驗階段。研究團隊表示，下一步希望能利用文本信息生成漫畫。
AI漫畫家走到哪了
“智能相對論”從《PHAEDO》和AI改漫系統的誕生可見，現階段的人工智能尚未具備獨立完成一部漫畫作品的能力。在文學藝術的創作上，AI尚未成熟；但在漫畫繪制過程中，AI對于畫風與筆觸的模擬可說是“以假亂真”。
在二次元經濟大規模崛起的環境下，中國的動漫產值在近年步步高升，漫畫市場規模也呈現穩定增長。這兩項技術若實現商業化，可讓漫畫家們從枯燥無味的重復勞動中解放，集中心力完成情節、對話設置等藝術原創。不但能加快生產速度，同時也能減少人力成本，可說是具有一定的商業價值。
目前國內部份公司已具備自動制作漫畫所需的人工智能圖像識別、圖像繪制及文本自動生成技術，可說是具有進入此市場的技術基礎。但漫畫自動生成并非只是這些技術的堆疊與排序，現有的商業應用方向似乎也并未覆蓋漫畫創作，還需要特定的數據庫和算法模型加以訓練。
以人工智能生成動漫圖象的技術為例，現在最普遍的商業模式為面向B端，替拍照軟件提供美漫、日漫、3D立體動畫風格的圖片生成服務。基于生成對抗網絡GAN算法，不少公司都推出了頭像改漫、漫畫背景濾鏡等服務，可將現實中的景觀與人像轉變成二次元動漫畫風。
如百度大腦AI開放平臺曾與B612咔嘰美顏相機合作，為用戶提供量身定做的二次元漫畫頭像定制、油畫風格轉換服務。
騰訊光影研究室在QQ小世界、微視App、微博等社交平臺上推出的“王者臉”、“童話臉”等各類AI特效應用，可將照片和直播視頻中的人物立刻變成游戲角色、真人“芭比”或“在逃公主”。
網易游戲《逆水寒》《天諭》的智能捏臉也是基于AI圖象生成技術。玩家上傳一張2D照片后，系統可自動生成相似度超高的3D臉部模型，甚至連發型都能自動生成。
這些基于圖片識別與生成對抗網絡的AI動漫圖象生成技術可將已有的照片轉換為漫畫風格，具有影視改漫自動化的技術基礎。但要像TEZUKA 2020項目那樣“無中生有”固定風格的漫畫作品，似乎還需要一些訓練。
就這點而言，曾“就讀”中央美術學院的小冰或許離AI漫畫家更近一些。“學習”兩百多位著名人類畫家的作品后，小冰可在接收到文本或其他創作刺激后獨立完成原創的命題畫作。不僅曾在中央美術學院美術館舉辦個人畫展，還將這項能力應用于絲巾、服裝等紡織面料及圖案設計，實現商業化。
在故事腳本生成方面，雖然人工智能已具備撰寫近體詩、新詩、新聞稿、廣告文案等各類文體的能力，但目前對智能寫作需求最大、黏性最強的四個市場分別是內容資訊、金融財經分析、數字營銷和行政辦公。
因此，國內已實現商業化的AI寫作產品大多針對營銷、政務等領域，以角色對話推進故事發展的漫畫文稿等藝術創作方面的應用較少。
如阿里發布的“AI智能文案”產品結合淘寶、天貓的海量內容與自然語言算法，聚焦于電商營銷文案，可模擬多種風格、自定義字數并實時學習在線樣本，一秒內可生成兩萬條短標題。
金山WPS智能寫作的訓練數據源于權威媒體與政府公開網站，常用于公文寫作。支持文本自動生成、輔助成搞寫作、智能素材推薦等服務，在政務系統的覆蓋率較高。
“智能相對論”看到，百度智能創作平臺也帶有自動寫作功能，既有針對財經、體育數據的結構化數據寫作，還有智能寫詩、智能春聯等API服務。而小冰框架不僅曾經出版現代詩集，還為萬得資訊、華爾街見聞等公司提供金融摘要自動生成服務。
由此可見，雖然制作漫畫所需的AI技術已發展出較為成熟的商業模式，但這些技術大多被作為單獨的服務或產品分開使用，應用方向也各有不同。比起其他的AI系統，小冰和百度等同時具備文本寫作與繪畫能力的人工智能框架可能較有成為AI漫畫家的潛力，但目前看來，國內公司似乎并未將人工智能大規模應用于漫畫生產，更別說是形成“一條龍”的漫畫自動生成產業鏈。
2015年，中國的漫畫產業進入了高速增長期，并持續保有較高的增長率，在2019年開始進入平穩增長期。據2020年6月發布的《2020微博動漫白皮書》顯示，微博泛二次元用戶同比增長11.4%，連續4年保持增長；54%的動漫用戶是內容付費用戶。
在二次元用戶數量與市場規模不斷擴增的今日，消費者逐漸養成為內容付費的習慣，付費商業模式助于刺激生產，創作者們也不斷探索新的漫畫表現形式。如介于動畫與漫畫之間的動態漫畫、經由用戶觸摸或搖晃設備而推動內容情節發展的互動漫畫。
無論是需要耗費大量人力的靜態漫畫，還是這些制作周期更長、投入成本更高的新形態漫畫，若能在內容生產上降低成本、提高產出效率，不但能讓作者省下重復勞動的時間精力，得以更專注于打磨作品；也能降低漫畫生產門檻，迸發出更多藝術可能。
在“國漫崛起”的現在，使用AI來加快漫畫生產似乎是個不錯的想法。就像參與《Phaedo》項目的科學家松原仁所說的，AI和人類合作畫漫畫是理所當然的未來。（本文首發鈦媒體APP）
更多精彩內容，關注鈦媒體微信號（ID：taimeiti），或者下載鈦媒體App
核心關鍵字： 人工智能 游戲動漫相關文章
-
天津大學計算機科學與技術學院教授、博導王曉飛：5G邊緣智能驅動產業交叉創新
在5G應用方面，可以說邊緣計算和5G是天造地設的一對，如何才能更好地挖掘出適合5G邊緣計算融合的殺手級應用呢？...
2021-04-02 20:48:12 邊緣數據也是 -
“雷布斯”眼中的智能房車，或許只是看上去像房車
小米造車的消息還在科技圈和汽車圈持續發酵，似乎誰都沒想到，首次亮相的竟然會是一臺經過深度改造的智能房車，它也被“雷布斯”稱為小米“第一輛汽車”。兩天前的小米發布會上，雷軍向外界展示了這臺房車的細節，這臺小米房車正是由上汽大通的寬體輕客V90改造而來，屬于標準的自行式C型房車，內部擁有米家智能設施，雷軍表示做這臺車的目的是要為米粉提供最佳的智能用車體驗。從公布的圖片信息來看，“雷布斯”的房車采用的是...
2021-04-02 08:00:03 房車大通小米 -
都在做全屋智能，TCL欲靠產品屏幕間互通取勝
家電廠商們都開始轉變思路，不只做家電單品，還想切入全屋智能，提供硬軟件和云平臺一體的解決方案。TCL在上周舉行的中國家電及消費電子博覽會（AWE2021）上，就展示了其在全屋智能方面的產品。TCL實業控股首席技術官、鴻鵠實驗室總經理孫力接受了鈦媒體在內的媒體專訪時表示，TCL要成為一家平臺+產品公司，既有自主開發的完整的互聯網運營平臺（雷鳥科技），又有豐富的產品矩陣。據其介紹，智能家居產業形態有四...
2021-04-01 07:50:54 產品互聯鴻鵠 -
生物藥品智能生產解決方案提供商“英諾維爾”獲得億元級A輪融資
企查查APP顯示，3月29日，生物藥品智能生產解決方案提供商英諾維爾（英諾維爾智能科技（蘇州）有限公司）宣布完成億元級A輪融資，藥明生物產業基金獨家戰略投資。此次融資所得將加速推進生物藥品綜合化研發分析系統、生物藥品GMP合規生產系統、智能化綜合信息系統、新型耗材的研發、驗證、規模化生產與部署。企查查顯示，英諾維爾成立于2018年7月，定位于細胞生產裝備和解決方案提供商，助推生物藥品的研發與生產，...
2021-03-30 07:51:25 生物藥品諾維 -
AMO智能教育大會 在線報名
鶯飛燕舞，春暖花開，只愿疫去不復來。春節前因疫情而延期的《AMO智能教育大會》，現通知將于【2021年4月13-15日】【杭州歐亞美國際大酒店】舉行。歡迎全國的教育培訓機構的校長老師結伴同學。本次校長大會精準學聯合了阿里巴巴釘釘、云課小鎮、泛亞聯盟、金招集團、慧釘和校寶在線，參會規模更加龐大，嘉賓陣容更加深厚，新增4月13日專場招生引爆全費案、AMO師訓專場、玩轉短視頻做網紅機構。有AMO智能教育...
2021-03-29 21:01:29 在線阿里巴巴大會 -
2021 中國能源技術裝備智能化發展會議 —能源產業工業軟件研討會
關于邀請參加2021中國能源技術裝備智能化發展會議—能源產業工業軟件研討會一期會議的函各有關單位：工業軟件是能源及技術裝備產業智能化發展的重要基礎。為保障能源產業高質量發展，建設“清潔低碳、安全高效”現代能源體系，面向能源產業的各類工業軟件亟需解決各種“卡脖子”問題，實現安全自主高質量發展。為此，中國機械工業聯合會能源互聯網設備與技術分會擬于2021年4月21-23日在成都召開2021中國能源技術...
2021-03-29 08:00:51 能源會議工業 -
雅迪發布冠能2.0系列技術，續航最高240km，補足全場景智能
出行的智能化變革已經來臨，最為明顯的就是在汽車領域，各種新能源、智能化功能的應用層出不窮。但是，對于人們日常生活來說，兩輪電動車的使用頻率卻更加突出。據數據顯示，2019年中國兩輪電動車保有量已經超過3億，甚至超過了同年2.6億的汽車保有量。并且，這個數字在過去的2020年中，還在持續增加。對于這個更加龐大的市場，各家兩輪電動車品牌紛紛加大科技研發力度，在續航、動力以及智能化方面深入布局。近日，作...
2021-03-28 11:54:32 雅迪技術電動車 -
恒大汽車聯合百度、騰訊推出智能網聯系統，恒馳汽車再揭面紗
在數字化浪潮帶動下，無論是造車新勢力還是傳統車企，都將智能化汽車系統作為下一個十年的核心競爭力，深入造車領域的恒大汽車，自然也不會甘于人后。3月25日，恒大汽車在深圳召開了恒馳智能網聯發布會，展示了其在智能座艙、超算力平臺、智能生態圈方面的最新研究成果，尤其是聯手騰訊、百度開發的H-SMARTOS恒馳智能網聯系統，一經推出，再次引發業內強烈關注。據了解，該系統搭載全球首款7納米工藝、業內算力最強的...
2021-03-27 19:51:18 汽車智能車主 -
被濫用的智能攝像頭，惦記越來越值錢的“臉”
圖片來源@視覺中國文|鋅刻度，作者|?楊皓然，編輯|?陳鄧新萬店掌最近的日子不太好過。3月15日，央視3·15晚會曝光了科勒衛浴、寶馬、MaxMara在線下門店安裝攝像頭，違規抓取客人臉部信息的問題。一夜之間，涉事的智能攝像頭品牌“萬店掌”成為了全網熱詞Top1，諸如喜茶、良品鋪子等和萬店掌合作的品牌在互聯網上排著隊發公告跟消費者道歉。而這還沒過幾天，3月23日，“名創優品回應裝萬店掌攝像頭”的新...
2021-03-27 08:49:06 攝像頭消費者智能 -
打破行業邊界，汽車之家發布“智能汽車評價體系”
數十年前，互聯網曾徹底顛覆人類生活方式。而今，智能網聯技術也全面沖擊著傳統汽車領域，我們正經歷著汽車史上最大的變革。在變革的風浪中，汽車產品同質化，同級別產品激烈競爭等等現狀將被打破，以智能化落地為核心的新車型有機會實現彎道超車，市場格局將會重新書寫，人們的出行方式也將產生重大改變。2020年，國家發改委正式印發了《智能汽車創新發展戰略》將智能汽車發展提升至國家戰略高度，隨后政府、協會及各大部委聯...
2021-03-26 23:49:34 汽車智能之家
| 留言與評論（共有 0 條評論） |
