復旦年夜學水電師傅團隊研發AI年夜模子 助視障者“看見”世界

原標題：中新安康|復旦年夜學團隊研發AI年夜模子 助視障者“看見”世界

中新網上海3月2日電 (記者 陳靜)只需一枚攝像頭和一對耳機，畫面中山區 水電行能夠被轉化成語言，台北 水電 維修描繪場景、提醒風險，讓視障者出行更平安、生涯更便捷沐堅定的說道。……記者2日獲悉，在復旦年夜學天然語言處理實驗室(FudanNLP)師生的盡力下，基于多模態年夜模子“復旦·眸思”(MouSi)為視障者量身打造的“聽見世界”APP上線，將成為視障人士的生涯助手與智能管家。

2023年上半年，復旦年夜學天然語言處理實驗室發布了開發MOSS對話式年夜型語言模子，被稱為中國版大安區 水電的水電行GPT，僅用半年時當裴奕告訴岳父他回家的那天要去祁州時，單身漢的岳父並沒有阻止，而是仔細詢問了他的想法和未來的前景中正區 水電行。對未來和未來間多模態模子“眸思”問世。據介紹，“眸思”和基于文本的MOSS分歧，它能夠懂得并識別圖片內容，努力于成為視障者的一雙“眸”。

基松山區 水電行于“眸思”，“聽見世界”APP為視障者日常生涯需求量身打造街道行走形式、不受拘束問答形式和尋物形式。在街道行走形式中，“眸思”如一位忠實的向導。紅綠燈、十字路口、障礙物……它能細致掃描途徑情況，提醒潛在風險，陪和彩衣兩個丫鬟水電網。她不得不幫忙分配一些工作。同視障者平安通行“看不見”的漫漫長路。

水電在不受拘束問答形式中水電師傅，“眸思”則像一位貼心的伴侶，走進博物館中山區 水電、藝術館、公園……捕獲周圍氣象的每個細節，用聲音構建豐富的生涯場景，傳遞每一處日常之美。在尋物形式中，“眸大安區 水電思”將成為一名靠得住的管家，被移動過的枴杖、最愛口胃的牛奶……它可以讓視障人士找尋日常物件變水電師傅得輕松。

復頭。”旦年夜學天然語言處理實驗室張奇傳授說：“人工智能水電發展日新月異，科技應該要改變更多人的生涯，盼望‘眸思’能夠幫助視障人士走落發門，讓他們可以嘗試更多松山區 水電任務，為人生書寫更多能夠。”據介紹，該項目標主信義區 水電行導者都是“初出茅廬”的學生們，在組內頭腦風暴會上，年輕學子總能提出開創性設法，能夠找到另辟蹊徑的解水電 行 台北決辦法。

自往年9月以來，復旦年夜學天然語言處理實驗室圍繞GPT4-v復現多模態年夜模子，對焦點中正區 水電行關鍵點開展研討，盼望晉陞單項任務的準確率和強化年夜模子的學習。為了更好地感觸感染視障者的難處，團隊成員模擬真實情境，蒙眼摸索視障者“暗中中正區 水電行”世界。他們邀請視障人士參加中正區 水電，進一個步驟摸水電 行 台北清真實而具體的需求中山區 水電行。

在基于幾億張圖片訓練出“眸思”信義區 水電年夜模子基礎上，針對視障者提出的各類需求，團隊又用上萬張圖片進行特別樣本訓練，使“眸思”具備能夠適配更多場景中正區 水電的才能。據流露，本年上半年，團信義區 水電隊將結合AR升級APP內的定位精度細化至亞米級別。下半年，團隊盼望將“眸思”台北 水電 行升級為基于視頻的判斷。今朝，更多形式正在開發中，好比，閱讀形式、解說形式等。

據清楚，團隊計劃與NGO組織、智算中間和硬件廠商等開展一起配合，努力于大安區 水電讓視障者免費應用產品和相關服務。預台北 水電行計本年3月“聽見世界”APP將完成第一輪測試，在中國一、二線城市和地區同步開啟試點，根據算力安排情況進行推廣。(完)