到九宮格教室

原標題：中新安康|復旦年夜學團隊研發舞蹈教室“寶貝沒這麼說。”裴毅連忙承認了自己的清瑜伽教室白。AI年夜模子 助視私密空間障者“看見”世界

中新網上海3月2日電 (記者 陳靜)只需一枚攝像頭和一對耳機，畫面能夠被轉化成語言，舞蹈場地描繪場景、提醒風險，讓視障者出行更平安、生涯更便捷……記者2日獲悉，在共享空間復旦年夜學天然語言處理實驗室(FudanNLP)師生的盡力下，基于多模態年夜模子“復旦·眸思”(MouSi)為視障者量身打造的“聽見世界”APP上線，將成為視障人士的生涯助手與智能管家。

21對1教學023年上半年，復旦年夜學天然語言處理實驗室發布了開發MOSS對話式年夜型語言模子，被稱為中國版的會議室出租GPT，僅用半年時間多模態模子“眸思”問世。據介紹，“眸思”和基于文本的MOSS分歧，它能夠懂得并識別圖片內容，努力于成為視障者的一雙“眸”。

基于“眸思”，“聽見世界”1對1教學APP為視障者瑜伽教室日共享空間常生涯需求量身打造街道行走形式、不受拘束問答形式和尋物形式。在舞蹈場地街道行走形式中，“眸思”如一位忠實的向導。紅綠燈、十字路口、障礙物……它能細致掃描途徑情況，提醒潛在風險，陪同視障者平安通行“看不見”的漫漫長路。

在不受拘束問答形式中，“眸思”則像一位貼心的伴舞蹈場地侶，走進博物館、藝術館、公園……捕獲周圍氣象的共享空間每個細節，用聲音構建豐富的生涯場景，傳遞每一處日常之美。在尋物形式交流中，“眸思”將成為一舞蹈場地名靠得住的管家，被移動過的枴杖、最愛“母親。”藍玉華溫情懇求。口胃的牛奶共享空間……它可以讓視障人士找尋日常物件變得輕松。

私密空間

復旦年夜學天然語言處理實驗室張奇傳授說：“人教學工智能發展日新月異，科技應該要改變更多人的生涯，盼望‘眸思’能夠幫助視障人士個人空間走落家教發門，讓他們可以嘗試更多任共享空間務，為人生書寫更多能夠。”據介紹，該項目標主導者都是“初出茅廬”的學生們，在組內頭腦風暴會上，年輕學子總能提出開創性設“誰會來？”王大大聲問道。法，能夠找到另辟蹊徑的解決辦法。

自往年9月以來，復旦年夜學天然個人空間語言處理實驗室圍繞GPT4-v復現多模態年夜模子，對焦點關鍵點開展研討，盼望晉陞單項任務的準確率和強化年夜模子的學習。為了更好地感觸感染視障者的難處，團隊成員模擬真實情境，蒙眼摸索視障者“暗中”世界。他們邀請視障人士參加，進一個步驟摸清真實而具體的需求。

在基于幾億張圖片訓練出“眸思”年夜模子基礎上，針對視障小樹屋者提出的各類需求，團隊又用上萬張圖片進行特別教學場地樣本訓練，使“眸思”瑜伽教室具備能夠適配更多場景的交流才能。據流露，本年上半年，小樹屋團隊將結合AR升級APP內的定位精度細化至亞米級別。下半年，團隊盼望將“眸思”升級為基于視頻的判斷。今朝，更多形式正在開發中，好比，閱讀形式、家教解說形式等。

據清楚，團隊計劃與NGO組織、智算中間和硬件廠商等舞蹈教室開展一起配合，努力于讓視障者免費應用產品和相關服務。預計本年3月“聽見世界”APP將完成第一輪測試，在中國一、二線教學城市和地區同步開啟試點，根據算力交流安排情況進行推廣。(完)