笔者在SDWebUI中看到了蒙版的功能,想来这应该是基于语义分割或实例分割模型实现的。
#1. 语义分割 Semantic Segmentation
与目标检测对矩形框赋予类别不同,
语义分割对整幅图的每个像素赋予类别(的确是每个像素都具备自己的分类,形成整体是后期的处理)。如下图所示:

#2. 实例分割 Instance Segmentation
语义分割仅关心某个像素属于哪个类,
实例分割则关心每个像素属于哪个类的哪个实例。
(实例即实例化类后的对象)

#3. 应用场景
语义分割最为人所知的场景是汽车的自动驾驶:
还有直播的背景虚化:
