Что такое" семантическая сегментация "по сравнению с" сегментацией "и"маркировкой сцены"?

Я прочитал много статей об обнаружении объектов, распознавании объектов, сегментации объектов, сегментации изображений и семантической сегментации изображений, и вот мои выводы, которые могут быть неверными:

распознавание объектов: в данном изображении вы должны обнаружить все объекты (ограниченный класс объектов зависит от вашего набора данных), локализовать их с помощью ограничивающего поля и метки, которая ограничивает поле с меткой. На рисунке ниже вы увидите простой вывод состояния арт-объекта узнавание.

обнаружение объектов: это похоже на распознавание объектов, но в этой задаче у вас есть только два класса классификации объектов, что означает ограничительные рамки объектов и ограничительные рамки без объектов. Например, обнаружение автомобиля: вы должны обнаружить все автомобили в данном изображении с их ограничивающими коробками.

сегментация объектов: как и распознавание объектов, вы узнаете все объекты в изображении, но ваш вывод должен показать это объект классификации пикселей изображения.

сегментация изображения: в сегментации изображения вы будете сегментировать области изображения. ваш вывод не будет помечать сегменты и область изображения, которые соответствуют друг другу, должны быть в одном сегменте. Извлечение супер пикселей из изображения является примером этой задачи или сегментации переднего плана-фона.

семантическая сегментация: в семантической сегментации вы должны пометить каждый пиксель с классом объектов (автомобиль, человек, собака, ...) и не-объекты (вода, небо, Дорога,...). Другими словами, в семантической сегментации вы будете помечать каждую область изображения.

Я думаю, что пиксельная и пиксельная маркировка в основном одинакова, это может быть сегментация изображения или семантическая сегментация. Я ответил на ваш вопрос этой ссылке как то же самое.

предыдущие ответы очень здорово, я хотел бы отметить еще несколько дополнений:

Сегментирование Объекта

одна из причин, по которой это вышло из моды в исследовательском сообществе, заключается в том, что это проблематично неопределенно. Сегментация объектов обычно означает просто нахождение одного или небольшого количества объектов в изображении и проведение границы вокруг них, и для большинства целей вы все еще можете предположить, что это означает это. Тем не менее, это также началось быть использованным для обозначения сегментации сгустков, которые может быть объектами, сегментация объектов на фоне (в настоящее время чаще называют вычитанием фона или сегментацией фона или обнаружением переднего плана), и даже в некоторых случаях используется взаимозаменяемо с распознаванием объектов с помощью ограничивающих полей (это быстро прекратилось с появлением глубоких нейросетевых подходов к распознаванию объектов, но предварительно распознавание объектов также может означать просто маркировку все изображение с объектом в нем).

что делает "сегментацию ""семантической"?

Simpy, каждому сегменту или в случае глубоких методов каждому пикселю дается метка класса на основе категории. Сегментация вообще - это просто разделение изображения по какому-то правилу. Meanshift сегментация, например, с очень высокого уровня делит данные в соответствии с изменениями энергии изображения. график резать на основе сегментация аналогично не изучается, а непосредственно выводится из свойств каждого изображения отдельно от остальных. Более поздние методы (основанные на нейронной сети) используют пиксели, которые помечены, чтобы научиться идентифицировать локальные объекты, связанные с определенными классами, а затем классифицировать каждый пиксель на основе того, какой класс имеет наибольшую уверенность для этого пикселя. Таким образом," маркировка пикселей "на самом деле является более честным именем для задачи, а компонент" сегментация " является эмерджентным.

Экземпляр Сегментация

возможно, самое сложное, актуальное и оригинальное значение сегментации объектов, "сегментация экземпляра" означает сегментацию отдельных объектов в сцене, независимо от того, являются ли они одним и тем же типом. Однако одна из причин, по которой это так трудно, заключается в том, что с точки зрения видения (и в некотором смысле философской) то, что делает "объектный" экземпляр не совсем ясным. Части тела предметы? Должен такие "части-объекты" вообще сегментируются алгоритмом сегментации экземпляра? Они должны быть только, если рассматривать их отдельно от всего? Как насчет составных объектов, если две вещи четко примыкают друг к другу, но разделимы, - это один или два объекта (является ли камень, приклеенный к вершине палки, топором, молотком или просто палкой и камнем, если они не сделаны должным образом?). Кроме того, неясно, как различать экземпляры. Является ли воля отдельным экземпляром от других стен, к которым она прикреплена? Какой порядок следует примеры будут учитываться? Как они появляются? Близость к точке обзора? Несмотря на эти трудности, сегментация объектов по-прежнему имеет большое значение, потому что, как люди, мы постоянно взаимодействуем с объектами, независимо от их "метки класса" (используя случайные объекты вокруг вас в качестве весов бумаги, сидя на вещах, которые не являются стульями), и поэтому некоторые наборы данных пытаются решить эту проблему, но основная причина, по которой этой проблеме пока не уделяется много внимания, заключается в том, что она недостаточно хороша определенный.

разбор сцены / маркировка сцены

разбор сцены-это строго сегментационный подход к маркировке сцены, который также имеет некоторые собственные проблемы неопределенности. Исторически маркировка сцены означала разделение всей "сцены" (изображения) на сегменты и предоставление им всем метки класса. Однако он также использовался для предоставления меток классов областям изображения без явного их сегментирования. В отношении сегментация, "семантическая сегментация"не подразумевает разделение всей сцены. Для семантической сегментации алгоритм предназначен для сегментации только объектов, которые он знает, и будет наказан своей функцией потери для маркировки пикселей, которые не имеют метки. Например, набор данных MS-COCO-это набор данных для семантической сегментации, в котором сегментированы только некоторые объекты.