講座主題：視覺-語言相互生成技術
專家姓名：彭宇新
工作單位：北京大學
講座時間：2021年10月20日 14:30-15:30
講座地點：騰訊會議，會議ID：407 121 192
主辦單位：煙臺大學數學與信息科學學院
內容摘要：
隨著深度學習等技術的發展，計算機在圖像分類、對象識別等任務中取得了接近甚至超越人類的成績，但如何賦予人工智能具有突破固定規則的“創意”，使人工智能從“感知智能”邁向“認知智能”是計算機視覺領域的重要任務。視覺-語言相互生成技術旨在使計算機能夠根據用戶給定的輸入進行“聯想”與“創造”，能夠根據圖像、視頻等視覺內容自動生成一段自然語言描述，實現視覺到語言生成；或者根據一段自然語言描述從無到有地自動生成語義一致、內容真實、符合邏輯的圖像、視頻、3D圖形，實現語言到視覺生成。這是人工智能實現 “認知智能”的一項重要任務，在教育、設計、影視、創作等領域具有重要的應用價值。本報告將介紹我們在視覺-語言相互生成技術上的研究工作：在視覺到語言生成上，提出對象感知雙向圖和層次化視覺-語言對齊等方法，通過視頻時空信息建模和語義一致性建模，實現準確的視頻描述生成。在文本到視覺生成上，提出對稱蒸餾網絡等方法，將相關視覺任務中的語義知識遷移至生成任務中，提高圖像與視頻生成的質量。最后展示相關的演示系統。
主講人介紹：
北京大學二級教授、博雅特聘教授、博士生導師、國家杰出青年科學基金獲得者、國家級高層次人才、科技部中青年科技創新領軍人才、863項目首席專家、中國人工智能產業創新聯盟專家委員會主任、中國工程院“人工智能2.0”規劃專家委員會專家、北京圖象圖形學學會副理事長、中國圖象圖形學學會副秘書長。主要研究方向為跨媒體分析與推理、圖像視頻識別與理解、計算機視覺、人工智能。以第一完成人獲2016年北京市技術發明一等獎和2020年中國電子學會科技進步一等獎，2008年獲北京大學寶鋼獎教金優秀獎，2017年獲北京大學教學優秀獎。主持了863、國家自然科學基金等20多個項目，發表論文160多篇，包括ACM/IEEE Trans和CCF A類論文70多篇。多次參加由美國國家標準技術局NIST舉辦的國際評測TRECVID視頻樣例搜索比賽，均獲第一名。主持研發的跨媒體互聯網內容分析與識別系統已經應用于公安部、工信部、國家廣播電視總局等單位。擔任IEEE TCSVT等期刊編委。
