ShipSense

Новый метод синтетического дополнения изображений, полученных с помощью Stable Diffusion, для любых объектов. ShipSense использовал пользовательский Stable Diffusion для создания реалистичных синтетических изображений кораблей и обучил сверточные нейронные сети (CNN) для обнаружения и локализации кораблей на спутниковых снимках. Они также создали платформу визуализации данных, которая позволяет заинтересованным сторонам отслеживать чрезмерный вылов рыбы. Чтобы улучшить эту платформу, они выявили несколько точек подозрительной активности темных судов, изучив более 55 000 записей радара AIS.

Хотя люди и раньше пытались создать модели ИИ для обнаружения чрезмерного вылова рыбы, точность была низкой из-за высокого дисбаланса классов. Существует несколько положительных примеров кораблей на воде по сравнению с бесконечными отрицательными примерами участков воды без кораблей. Исследователи использовали GAN для создания синтетических данных для других целей. Однако для обучения приличного GAN требуется около 50 000 образцов изображений. Самый большой набор данных спутниковых кораблей содержит только около 2000 образцов.

Они поняли, что Stable Diffusion (SD), популярная модель ИИ для преобразования текста в изображение, может быть перепрофилирована для создания неограниченного количества синтетических изображений кораблей на основе относительно небольшого количества входных данных. Им удалось получить высокореалистичные синтетические изображения, используя всего 68 исходных изображений.