SAM3

최근 Meta에서 발표한 SAM3 라는 모델을 알게되었다.

텍스트나 이미지 프롬프트를 통해 이미지와 영상 속 개념을 자동으로 분할하고 추적할수 있는 기능을 갖추었다고 한다.

 

지금 진행하는 프로젝트에 SAM3를 적용할수 있는지 알아보려고 한다.

사용자가 텍스트 프롬프트를 통해 이미지에서 객체를 탐지 가능하다고 하기때문에 프롬프팅을 잘 만들어야될거같다.

하지만 비정형 데이터같은 형태를 정의하기 모호한 경우는 어떻게 하는지 고민이 앞선다.

 

sam1은 이미지 내 객체를 클릭이나 박스로 직접 지정하여 분할

sam2는 비디오 영역까지 확장된 상호작용 기반 분할
sam3는 텍스트,이미지 기반 개념을 통해 자동분할

 

sam3는 기존 시스템보다 2배이상의 성능 향상을 달성하였다고 한다.

 

sam3는 픽셀 수준의 분할을 뛰어넘어 의미론적 이해를 하여 사람처럼 개념을 인식하고 처리하는 비전 ai로 되어가고 있다고 한다.

 

https://openreview.net/forum?id=r35clVtGzw