ShipSense

Nouvelle méthode d'enrichissement de données d'image synthétique en quelques plans utilisant Fine-tuned Stable Diffusion pour n'importe quel objet. ShipSense a utilisé la diffusion stable personnalisée pour créer des données d'image synthétiques réalistes de navires et a formé des réseaux neuronaux convolutifs (CNN) pour détecter et localiser les navires à partir d'images satellites. Ils ont également construit une plateforme de visualisation de données pour que les parties prenantes puissent surveiller la surpêche. Pour améliorer cette plateforme, ils ont identifié plusieurs points chauds d'activité suspecte de navires obscurs en examinant plus de 55 000 enregistrements radar AIS.

Bien que les gens aient essayé de construire des modèles d'IA pour détecter la surpêche auparavant, la précision était médiocre en raison d'un déséquilibre de classe élevé. Il existe peu d'exemples positifs de navires sur l'eau par rapport aux exemples négatifs infinis de zones d'eau sans navires. Les chercheurs ont utilisé des GAN pour générer des données synthétiques à d'autres fins. Cependant, il faut environ 50 000 images d'échantillon pour entraîner un GAN décent. Le plus grand ensemble de données de navires satellites ne contient que ~ 2 000 échantillons.

Ils ont réalisé que Stable Diffusion (SD), un modèle d'IA texte-image populaire, pouvait être réutilisé pour générer des données d'image synthétiques illimitées de navires basées sur relativement peu d'entrées. Ils ont pu obtenir des images synthétiques très réalistes en utilisant seulement 68 images originales.