ShipSense

안정적으로 조정된 Stable Diffusion을 사용하여 모든 물체에 대해 소량의 합성 이미지 데이터를 보강하는 새로운 방법입니다. ShipSense는 사용자 정의 Stable Diffusion을 사용하여 선박의 사실적인 합성 이미지 데이터를 생성하고畳み込み 신경망(CNN)을 훈련하여 위성 영상에서 선박을 감지하고 위치를 파악했습니다. 또한 이해관계자들이 과잉 어획을 모니터링할 수 있는 데이터 시각화 플랫폼도 구축했습니다. 이 플랫폼을 개선하기 위해 55,000개 이상의 AIS 레이더 기록을 조사하여 의심스러운 어선 활동의 핫스팟을 여러 개 확인했습니다.

사람들은 이전에 과잉 어획을 감지하는 AI 모델을 구축하려고 시도했으나 계층 불균형이 심해 정확도가 떨어졌습니다. 물 위에 있는 선박의 긍정적인 사례는 선박이 없는 물의 부정적인 사례와 비교했을 때 매우 적습니다. 연구자들은 다른 목적으로 합성 데이터를 생성하기 위해 GAN을 사용했습니다. 그러나 괜찮은 GAN을 훈련하려면 약 50,000개의 샘플 이미지가 필요합니다. 가장 큰 위성 선박 데이터 세트에는 약 2,000개의 샘플만 있습니다.

그들은 인기 있는 텍스트-이미지 AI 모델인 Stable Diffusion(SD)을 사용하면 비교적 적은 입력을 기반으로 선박의 무한한 합성 이미지 데이터를 생성할 수 있음을 깨달았습니다. 단 68개의 원본 이미지만 사용하여 매우 사실적인 합성 이미지를 만들 수 있었습니다.