(資料圖)

消息:在中關(guān)村論壇平行論壇之一的人工智能大模型發(fā)展論壇上，北京智源人工智能研究院推出通用分割模型 SegGPT（Segment Everything In Contex），這是一個利用視覺提示(prompt)完成任意分割任務(wù)的通用視覺模型。

SegGPT 編程客棧是智源通javascript用視覺模型 Painter 的衍生模型，可針對分割一切物體的目標(biāo)做出優(yōu)化。

該模型具備上下文推理能力，訓(xùn)練完成后無需微調(diào)，只需提供示例即可自動推理并完成對應(yīng)分割任務(wù)，包括圖像和視頻中的實例、類別、零部件、輪廓、文本、人臉、醫(yī)學(xué)圖像等。

如下圖所示，標(biāo)注出一個畫面中的彩虹，SegGPT可批量化分割其他畫面中的彩虹。

它的靈活推理能力支持任意數(shù)量的視覺提示。自動視頻分割和追蹤能力以第一幀圖像和對應(yīng)的物體掩碼作為上下文示例，SegGPT 能夠自動對后續(xù)視頻幀進(jìn)行分割，并且可以用掩碼的顏色作為物體的ID，實現(xiàn)自動追蹤。

值得一提的是，此前Meta發(fā)布了其新的基于 AI 的 Segment Anything Model （SAM），該模型具有識別和分離圖像和編程客棧視頻中的特定對象的功能。通過使用SAM，用戶可以通過點擊物體或輸入文字提示選中編輯的物體。

威斯康辛麥迪遜、微軟、港科大等機構(gòu)的研究人員也提出SEEM模型，通過不同的視覺HLxjPk提示和語言提示，一鍵分割圖像、視頻。SEEM模型是一種新型的分割模型，這一模型可以在沒有提示的開放集中執(zhí)行任何分割任務(wù)，比如語義分割、實例分割和全景分割。

另外，南科大發(fā)布視頻分割模型TAM，可輕松追蹤視頻中的任意物體并消除，操作簡單友好。TAM的出現(xiàn)為解決傳統(tǒng)視頻分割模型需要人工標(biāo)記培訓(xùn)數(shù)據(jù)和初始化參與數(shù)據(jù)的問題提供了之前提供，將改變CGI行業(yè)的游戲游戲規(guī)則。