5 月 13 日消息，在舉辦的 FORCE LINK AI 創(chuàng)新巡展?上海站上，火山引擎發(fā)布了豆包 1.5?視覺深度思考模型（Doubao-1.5-thinking-vision-pro），該模型激活參數(shù)僅 20B，但具備強大的多模態(tài)理解和推理能力，在 60 個公開評測基準中，有 38 個達到業(yè)界最佳表現(xiàn)（SOTA），在視頻理解、視覺推理、GUI Agent 能力等方面均處于第一梯隊。

　　在視頻理解領域，豆包 1.5?視覺深度思考模型支持動態(tài)幀率采樣技術，顯著增強了視頻時序定位能力。結合向量搜索功能，模型能夠精準定位視頻中與文本描述相對應的片段，為視頻內容的深度分析和檢索提供支持。

　　此外，該模型新增了視頻深度思考能力。通過學習數(shù)萬億多模態(tài)標記數(shù)據(jù)，模型積累了廣泛的視覺知識，并借助強化學習技術，大幅提升了視覺推理能力。例如，在復雜的圖形推理任務中，模型能夠自主提出假設、進行推理檢驗，并在發(fā)現(xiàn)與假設不符時，不斷反思并提出新的猜測，直至得出正確答案。

　　值得注意的是，豆包 1.5?視覺深度思考模型還新增了 GUI Agent 能力。憑借強大的 GUI 定位性能，該模型能夠在 PC 端、手機端等多種不同環(huán)境中完成復雜的交互任務。例如，它可對新開發(fā)的 App 功能進行自動化檢測，目前這一功能已在字節(jié)跳動多款 App 產(chǎn)品的開發(fā)測試中進行應用。

　　注：

　　GUIAgent 是一種基于多模態(tài)視覺模型驅動的人工智能系統(tǒng)，能夠自動推理并執(zhí)行 UI 交互，模擬人類用戶的操作，如點擊、輸入、拖拽、讀取界面信息等，以完成人類要求的工作任務。

　　目前，該模型已正式在火山方舟平臺上線。