Segment Anything插件，忘了PS吧，AI一键换背景

常用Photoshop的小伙伴都要面对一个头痛的现实：更换画面中的某个要素，太费事了。

要么小心翼翼的选中，一点点擦掉，再放入新的素材；要么使用所谓的魔术绳索插件，来进行替换。

无论是哪种方式，都无法非常完美的实现，最终还是要靠细致的手工活来处理。

随着大模型的快速迭代，如今这个工作可以交给AI来解决。

Meta（原Facebook）公司发布了一组开源大模型，可以识别、分割画面里的任何物体（Anything），有创作者基于这个大模型做了一个stable diffsion的插件，叫“万物皆可分”（Segment Anything）。

主要功能就是利用AI大模型，鼠标轻轻一点，就可以分割出画面里的某些元素，然后再结合stable diffsion的绘画功能，实现部分元素的替代。

先看一个最简单的效果对比。

在花海里奔跑的女孩：

这是一张用AI生成的图片，

模型：sdxl_counterfeitxl_v10

提示词：

A girl is waving her hands vigorously in the air. She is wearing sandals and a white dress, her skirt swaying in the wind. Colorful petals are dancing in the air. There are many flowers around. The sky is clear blue with summer clouds., masterpiece, best quality

使用Segment Anything，可以简单几个鼠标操作，把原来的花海变成了玫瑰花：

妙不可言。

一、Segment Anything的安装

这个插件的安装包括两个步骤。

1、安装地址

扩展--从网址安装，输入以下地址：

https://gitcode.net/ranting8323/sd-webui-segment-anything.git

注意！！！！安装完成后不要急着重启启动器，先把模型下载并安装好后再启动，否则启动器会报错。

2、安装模型

（1）Meta大模型（SAM模型）

https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h_4b8939.pth

https://dl.fbaipublicfiles.com/segment_anything/sam_vit_l_0b3195.pth

https://dl.fbaipublicfiles.com/segment_anything/sam_vit_b_01ec64.pth

三个模型只需要下载一个即可，区别是体积越大，识别越精准。推荐下载最大的第一个，2.56G。

模型安装地址：

extensions\sd-webui-segment-anything\models\sam

（2）GroundingDINO 模型

https://huggingface.co/ShilongLiu/GroundingDINO/resolve/main/groundingdino_swinb_cogcoor.pth

https://huggingface.co/ShilongLiu/GroundingDINO/resolve/main/groundingdino_swint_ogc.pth

两个模型均需要下载，

模型安装地址：

extensions\sd-webui-segment-anything\models\grounding-dino

三、Segment Anything的使用

上述模型安装完毕后，重启启动器。

可以在WebUI界面看到Segment Anything，模型安装正确的话，可以看到SAM模型的名称。

Segment Anything使用很简单，通常在图生图（强调！）界面使用。

（1）上传需要替换元素的图片

（2）左键点击需要替换的元素，会显示出一个黑点

如图，我想要替换两边的花海，就分别在两边各点一个黑点。

右键点击会出现红点，意思是反向选择，大多数情况下，使用左键即可。

（3）点击预览（Preview Segmentation）

插件会自动生成三张识别好的图片，一般是从轻到重的顺序，本次识别，我觉得第三张比较好。如果仍然不够完美，可以增加黑点、红点的方式，来进行更加精准的选择。

（4）选择要使用的自动识别的画面

三张画面的排序分别是0、1、2，第三张也就是2

同时选中：Copy to Inpaint Upload & img2img ControlNet Inpainting

（5）在局部重绘上传原图，并输入要替换的内容的提示词：flower sea,red_rose

重绘区域选择蒙版，修改步数和重绘幅度（0.5左右为佳）。

点击生成：

可以看到，画面其他要素没有发生变化的情况下，重绘后背景变成了美丽的玫瑰花海。

继续修改了一下提示词，变成了海滩。