ShipSense

Nuevo método de aumento de datos de imágenes sintéticas de pocos disparos que utiliza Stable Diffusion ajustado para cualquier objeto. ShipSense utilizó Stable Diffusion personalizado para crear datos de imágenes sintéticas realistas de buques y entrenó redes neuronales convolucionales (CNN) para detectar y localizar buques a partir de imágenes satelitales. También construyeron una plataforma de visualización de datos para que las partes interesadas monitorearan la sobrepesca. Para mejorar esta plataforma, identificaron varios puntos críticos de actividad sospechosa de embarcaciones oscuras al investigar más de 55.000 registros de radar AIS.

Aunque la gente ha intentado construir modelos de IA para detectar la sobrepesca anteriormente, la precisión era deficiente debido al alto desequilibrio de clases. Hay pocos ejemplos positivos de barcos en el agua en comparación con los infinitos ejemplos negativos de parches de agua sin barcos. Los investigadores han utilizado GAN para generar datos sintéticos para otros fines. Sin embargo, se necesitan alrededor de 50.000 imágenes de muestra para entrenar una GAN decente. El conjunto de datos de barcos satelitales más grande solo tiene ~2.000 muestras.

Se dieron cuenta de que Stable Diffusion (SD), un popular modelo de IA de texto a imagen, podría reutilizarse para generar datos de imágenes sintéticas ilimitados de barcos en función de relativamente pocas entradas. Pudieron lograr imágenes sintéticas altamente realistas utilizando solo 68 imágenes originales.