近日，由中國科學(xué)院自動化研究所聯(lián)合武漢人工智能研究院研發(fā)的紫東太初4.0多模態(tài)推理大模型發(fā)布。自2021年首次推出以來，紫東太初已完成4次迭代，實(shí)現(xiàn)了從“純文本思考”“簡單操作帶圖思考”到“細(xì)粒度多模態(tài)語義思考”的躍遷，邁向多模態(tài)深度推理的新階段。

中國科學(xué)院自動化研究所研究員、武漢人工智能研究院院長王金橋介紹，“細(xì)粒度多模態(tài)語義思考”是指大模型能像人一樣主動深度思考，不僅能動態(tài)適應(yīng)和處理更復(fù)雜的任務(wù)，還能在視覺語義層面展現(xiàn)出清晰且可解釋的推理過程，實(shí)現(xiàn)“邊看、邊識、邊思”。

“比如在音頻理解中，用戶對紫東太初說‘我想掛一個(gè)呼吸科的號’，它能自動操作APP并根據(jù)癥狀選擇門診；在視頻理解中，它能對180分鐘的長視頻進(jìn)行片段精準(zhǔn)定位和內(nèi)容總結(jié)。”王金橋說，此外，它還能在真實(shí)場景中通過汽車、機(jī)器人等“動手操作”。

據(jù)了解，紫東太初已在具身智能、低空經(jīng)濟(jì)、智慧醫(yī)療等多個(gè)產(chǎn)業(yè)中實(shí)現(xiàn)布局，為城市基礎(chǔ)設(shè)施與行業(yè)需求提供定制化解決方案。