Это интересно

Учёные заставили нейросеть «расселфить» селфи

Учёные заставили нейросеть «расселфить» селфи

Фронтальные камеры смартфонов позволяют делать относительно качественные фотографии, однако в случае селфи композиция кадра всё равно получается нарушенной. Такие снимки выглядят менее естественно, чем обычные портреты — обычно на них видна вытянутая рука или обе руки, а также используется специфичный ракурс, искажающий фон. Конечно, селфи можно кадрировать, убрав из кадра руки, или исправить композицию в фоторедакторе, однако учёные решили предоставить это компьютерному алгоритму.

За основу новой нейросети был взят алгоритм DensePose, который автоматически определяет позу человека на снимке и затем сравнивает её с остальными позами в базе данных. С помощью метода k-ближайших соседей алгоритм находит естественную позу, наиболее похожую на изначальную по верхней части торса, дорисовывает её и вставляет обратно в кадр. Для обучения нейросети исследователи собрали набор из 23 000 портретных фотографий и 4600 селфи.

После обучения первой части системы, подбирающей необходимую позу, силуэт тела на изображении дорисовывается попиксельно на основе оригинального селфи. Полученные изображения затем сравнили с двумя другими существующими методами, основанными на «круговых» генеративно-состязательных нейросетях CycleGAN. Для этого полученные изображения показывали 20 добровольцам и просили их оценить, насколько натурально они выглядят.

По сравнению с остальными способами добровольцы выбирали новый метод восстановления портретов в 79−82% случаев в зависимости от метода. Тем не менее, у алгоритма всё же имеются некоторые ограничения: он не всегда может подобрать похожую позу и в таких случаях плечи или руки на портрете получаются неестественно узкими. Впрочем, по словам исследователей, такое происходит лишь примерно в 10% случаев.

Источник

Автор: Влад Кулиев
11.08.2020 (19:28)
Зеленые технологии

Лента новостей

Все права защищены © 2005-2020

"Supreme2.Ru" - новости для гиков

Контакты  | Policy  | Map Index

Использование любых материалов, размещенных на сайте, разрешается при условии ссылки на Supreme2.Ru. Для интернет-изданий - обязательна прямая открытая для поисковых систем гиперссылка. Ссылка должна быть размещена в независимости от полного либо частичного использования материалов. Материалы в рубрике "Новости партнеров" публикуются на правах рекламы.