技术实例

在 “模型” 选项卡中，单击 “majicMIX realistic麦橘写实” 模型，如图 7-18 所示，将其设置为 “Stable Diffusion模型”。

Figure 2. 图7-18

设置 “外挂VAE模型” 为 None（无），并在 “文生图” 选项卡中输入中文提示词 “1女孩，黑色头发，微笑，T恤，白皮肤，阳光充足，蓝天，云，有风的” 后，按 Enter 键则可以生成对应的英文 “1girl,black hair,smile,t-shirt,white_skin,sunniness,blue_sky,cloud,wind,”，如图 7-19 所示。

在反向词文本框内输入 “正常质量，最差质量，低质量，低分辨率”，按 Enter 键，即可将其翻译为英文 “normal quality,worstquality,low quality,lowres,”，并提高这些提示词的权重均为 2，如图 7-20 所示。

Figure 3. 图7-19

Figure 4. 图7-20

在 “生成” 选项卡中，设置 “迭代步数（Steps）” 为 30、“宽度” 为 500、“高度” 为 700，如图 7-21 所示。

Figure 5. 图7-21

在 ADetailer 卷展栏中，勾选 “启用After Detailer” 复选框，如图 7-22 所示。

Figure 6. 图7-22

在 AnimateDiff 卷展栏中，设置 “动画模型” 为 “mm_sd_v15_v2.ckpt”、“Saveformat（保持格式）” 为 GIF、MP4 和 PNG，勾选 “启用AnimateDiff” 复选框，设置 “总帧数” 为 16，如图 7-23 所示。

Figure 7. 图7-23

设置完成后，单击 “生成” 按钮，如图 7-24 所示，即可开始动画的绘制制作。

Figure 8. 图7-24

本实例最终绘制完成后的动画单帧图像效果如图 7-25 所示。保存出来的 GIF 文件和 MP4 文件如图 7-26 所示。

Figure 9. 图7-25

Figure 10. 图7-26

在 “模型” 选项卡中，单击 “Atomix” 模型，如图 7-28 所示，将其设置为 “StableDiffusion模型”。

Figure 12. 图7-28

设置 “外挂VAE模型” 为 None（无），并输入中文提示词 “1女孩，黑色眼睛，黑色头发，短发，上半身，白色衬衣，红色领带，街道，蓝天，云，有风的，0：睁眼睛，8：闭眼睛，16：闭眼睛，24：睁眼睛，微笑” 后，按 Enter 键则可以生成对应的英文“1girl,black eyes,blackhair,short hair,upper_body,white shirt,red_tie,street,blue_sky,cloud,wind,0: open youreyes,8: close your eyes,16: close your eyes,24: open your eyes,smile,”，并对其进行分段设置，如图 7-29 所示。

Figure 13. 图7-29

在反向词文本框内输入 “正常质量，最差质量，低质量，低分辨率”，按 Enter 键，即可将其翻译为英文 “normal quality,worstquality,low quality,lowres,”，并提高这些反向提示词的权重，如图 7-30 所示。

Figure 14. 图7-30

在 “生成” 选项卡中，设置“迭代步数（Steps）”为30、“宽度”为512、“高度”为768，如图 7-31 所示。

Figure 15. 图7-31

在 ADetailer 卷展栏中，勾选 “启用After Detailer” 复选框，设置 “After Detailer模型” 为 “face_yolov8n.pt”，如图 7-32 所示。

在 AnimateDiff 卷展栏中，设置 “动画模型” 为 “mm_sd_v15_v2.ckpt”、“Saveformat（保持格式）” 为 GIF、MP4 和 PNG，勾选 “启用AnimateDiff” 复选框，设置 “总帧数” 为32、“闭环” 为N，如图 7-33 所示。

Figure 16. 图7-32

Figure 17. 图7-33

设置完成后，即可生成动画，最终 Stable Diffusion 会连续绘制 32 幅图像，如图 7-34 所示。

Figure 18. 图7-34

本实例最终绘制完成后的动画单帧图像效果如图 7-35 所示。

Figure 19. 图7-35

在 “模型” 选项卡中，单击 “RealCartoon-Pixar” 模型，如图 7-37 所示，将其设置为 “Stable Diffusion模型”。

设置 “外挂VAE模型” 为 None（无），并输入中文提示词 “1女孩，黑色头发，马尾辫，白色T恤，蓝色裤子，运动鞋，河流，石头，背对镜头，最好质量，走路，森林，不拿任何东西，侧脸” 后，按 Enter 键则可以生成对应的英文 “1girl,black hair,ponytail,white t-shirt,blue_pants,sneakers,river,stone,back to camera,best quality,walking,forest,do not take anything,sideface,”，并提高提示词 “不拿任何东西” 的权重，如图 7-38 所示。

Figure 21. 图7-38

在反向词文本框内输入 “正常质量，最差质量，低质量，低分辨率，面向镜头，正脸”，按 Enter 键，即可将其翻译为英文 “normal quality,worstquality,low quality,lowres,facing thecamera,face up,”，并提高 “最差质量，低质量，低分辨率” 的权重，如图 7-39 所示。

Figure 22. 图7-39

在 “生成” 选项卡中，设置 “迭代步数（Steps）” 为 30、“宽度” 为 800、“高度” 为 450，如图 7-40 所示。

Figure 23. 图7-40

在 ADetailer 卷展栏中，勾选 “启用After Detailer” 复选框，如图 7-41 所示。

Figure 24. 图7-41

在 AnimateDiff 卷展栏中，设置 “动画模型” 为 “mm_sd_v15_v2.ckpt”、“Saveformat（保持格式）” 为 GIF、MP4 和 PNG，勾选 “启用AnimateDiff” 复选框，设置 “闭环” 为 N、“上下文单批数量” 为 20，并上传一个 “行走.mp4” 视频文件，如图 7-42 所示。

Figure 25. 图7-42

展开 ControlNet 卷展栏，在 “ControlNet单元0” 选项卡中，勾选 “启用” 和 “完美像素模式” 复选框，设置 “控制类型” 为 “OpenPose（姿态）”，如图 7-43 所示。

Figure 26. 图7-43

在 “ControlNet单元1” 选项卡中，勾选 “启用” 和 “完美像素模式” 复选框，设置 “控制类型” 为 “Lineart（线稿）”、“控制权重” 为 0.6，如图 7-44 所示。

Figure 27. 图7-44

设置完成后，单击 “生成” 按钮，即可根据上传的视频重新生成动画效果，如图 7-45 所示。

Figure 28. 图7-45

本实例最终绘制完成后的动画单帧图像效果如图 7-46 所示。

Figure 29. 图7-46

在 “模型” 选项卡中，单击 “DreamShaper” 模型，如图 7-48 所示，将其设置为 “Stable Diffusion模型”。

Figure 31. 图7-48

设置 “外挂VAE模型” 为 None（无），并在 “文生图” 选项卡中输入中文提示词 “一辆在公路上行驶的红色跑车，森林，蓝天，云，运动模糊” 后，按 Enter 键则可以生成对应的英文 “ared sports car driving on the road,forest,blue_sky,cloud,motion_blur,”，如图 7-49 所示。

Figure 32. 图7-49

在 Lora 选项卡中，单击 “v2_lora_PanLeft” 模型，如图 7-50 所示。

Figure 33. 图7-50

设置完成后，可以看到该 Lora 模型会出现在正向提示词文本框中，将 “v2_lora_PanLeft” Lora 模型的权重设置为 0.7，如图 7-51 所示。

Figure 34. 图7-51

在反向词文本框内输入 “正常质量，最差质量，低质量，低分辨率”，按 Enter 键，即可将其翻译为英文 “normal quality,worstquality,low quality,lowres,”，并提高这些提示词的权重均为 2，如图 7-52 所示。

Figure 35. 图7-52

在 “生成” 选项卡中，设置 “迭代步数（Steps）” 为 30、“宽度” 为 800、“高度” 为 450，如图 7-53 所示。

在 AnimateDiff 卷展栏中，设置 “动画模型” 为 “mm_sd_v15_v2.ckpt”、“Saveformat（保持格式）” 为 GIF、MP4 和 PNG，勾选 “启用AnimateDiff” 复选框，设置 “总帧数” 为 16、“闭环” 为 N，如图 7-54 所示。

本实例最终绘制完成后的动画单帧图像效果如图 7-55 所示。

Figure 36. 图7-53

Figure 37. 图7-54

Figure 38. 图7-55

在 “模型” 选项卡中，单击 “儿童绘本插画MOMO” 模型，如图 7-57 所示，将其设置为 “Stable Diffusion模型”。

Figure 40. 图7-57

设置 “外挂VAE模型” 为 None（无），并在 “文生图” 选项卡中输入中文提示词 “木屋，花园，树，多彩的花，蓝天，云” 后，按 Enter 键则可以生成对应的英文 “log_cabin,gaden,tree,colorful flowers,blue_sky,cloud,”，如图 7-58 所示。

Figure 41. 图7-58

在反向词文本框内输入 “水印，签名”，按 Enter 键，即可将其翻译为英文 “watermark,signature,”，并提高这些反向提示词的权重，如图 7-59 所示。

Figure 42. 图7-59

在 “生成” 选项卡中，设置 “迭代步数（Steps）” 为35、“宽度” 为800、“高度” 为450、“总批次数” 为4，如图 7-60 所示。

Figure 43. 图7-60

设置完成后，绘制出来的效果如图 7-61 所示，可以看到这些图像的效果基本符合之前所输入的提示词。

Figure 44. 图7-61

在 “提示词” 选项卡中，将生成该画面的正向英文提示词复制并粘贴至 “提示词” 文本框中如图 7-62 所示位置处，使得在第0帧位置处，视频动画为一个有木屋的花园场景。

Figure 45. 图7-62

在 “文生图” 选项卡中删除之前的提示词，重新输入中文提示词 “公交车，街道，山脉，树，房子，蓝天，云” 后，按 Enter 键则可以生成对应的英文 “bus,street,mountain,tree,house,blue_sky,cloud,”，如图 7-63 所示。

Figure 46. 图7-63

设置完成后，绘制出来的效果如图 7-64 所示，可以看到这些图像的效果基本符合之前所输入的提示词，这样我们就对视频动画里后来出现的街道场景效果有了一个大概的了解。

Figure 47. 图7-64

在 “提示词” 选项卡中，将生成该画面的正向英文提示词复制并粘贴至 “提示词” 文本框中如图 7-65 所示位置处，使得在第 60 帧位置处，视频动画为一个有公交车的街道场景。

Figure 48. 图7-65

在 “提示词” 选项卡中，将 “文生图” 选项卡中的英文反向提示词复制并粘贴至 “反向提示词” 文本框中，如图 7-66 所示。

Figure 49. 图7-66

在 “运行” 选项卡中，设置 “迭代步数” 为35、“宽度” 为800、“高度” 为450，如图 7-67 所示。

Figure 50. 图7-67

在 “关键帧” 选项卡中，设置 “动画模式” 为 3D、“边界处理模式” 为 “覆盖”、“最大帧数” 为 120，如图 7-68 所示。

Figure 51. 图7-68

在 “运动” 选项卡中，设置 “平移Z” 为 “0∶(0)”、“3D翻转Y” 为 “0∶(1)”，如图 7-69 所示。

Figure 52. 图7-69

单击 “生成” 按钮，如图 7-70 所示，即可开始根据我们的提示词生成视频动画。

Figure 53. 图7-70

本实例生成的动画视频效果如图 7-71 所示。

Figure 54. 图7-71

在 “绘世-启动器” 主页面上，单击 “图生图（单图）” 按钮，如图 7-72 所示。

Figure 55. 图7-72

在弹出的 img2img-images 文件夹中，即可看到一个新的文件夹，这里包含 Mp4 格式的视频以及该动画的序列帧图像，如图 7-73 所示。

Figure 56. 图7-73

在 “模型” 选项卡中，单击 “Atomix” 模型，如图 7-75 所示，将其设置为 “StableDiffusion模型”。

Figure 58. 图7-75

设置 “外挂VAE模型” 为 None（无），并在 “文生图” 选项卡中输入中文提示词 “1女孩，黑色头发，长发，波浪头发，红色格子衬衣，蓝色领带，上半身，街道”后，按 Enter 键则可以生成对应的英文 “1girl,black hair,long hair,wavy hair,red plaidshirt,blue_necktie,upper_body,street,”，如图 7-76 所示。

Figure 59. 图7-76

在反向词文本框内输入 “正常质量，最差质量，低质量，低分辨率”，按 Enter 键，即可将其翻译为英文 “normal quality,worstquality,low quality,lowres,”，并提高这些反向提示词的权重，如图 7-77 所示。

Figure 60. 图7-77

在 “生成” 选项卡中，设置 “迭代步数（Steps）” 为35、“宽度”为512、“高度”为768、“总批次数”为4，如图 7-78 所示。

Figure 61. 图7-78

在 ADetailer 卷展栏中，勾选 “启用After Detailer” 复选框，如图 7-79 所示。

Figure 62. 图7-79

设置完成后，绘制出来的效果如图 7-80 所示，可以看到这些图像的效果基本符合之前所输入的提示词，我们可以选择其中一张满意的图像作为 AI 视频动画的第一帧图像。

Figure 63. 图7-80

在 “提示词” 选项卡中，将生成该画面的正向英文提示词和反向提示词分别复制并粘贴至 “正向提示词” 文本框和 “反向提示词” 文本框中，如图 7-81 所示。

Figure 64. 图7-81

在 “文生图” 选项卡中删除之前的提示词，重新输入中文提示词 “睁眼睛，闭眼睛，睁眼睛，微笑，微笑，树，多彩的花，花园” 后，按 Enter 键则可以生成对应的英文 “open youreyes,close your eyes,open your eyes,smile,smile,tree,colorful flowers,gaden,”，如图 7-82 所示。

Figure 65. 图7-82

在 “提示词” 选项卡中，将生成的正向英文提示词分别复制并粘贴至 “提示词” 文本框中如图 7-83 所示位置处，控制角色在不同的时间段内的面部表情及角色的背景变化。

在 “初始化” 选项卡中，勾选 “启用初始化” 复选框，设置 “强度” 为 1，并将之前生成的较为满意的角色图像上传至 “初始化图像输入框” 内，使得其作为该视频动画的第 1 帧，如图 7-84 所示。

在 “运行” 选项卡中，设置 “迭代步数” 为40、“宽度”为512、“高度”为768，勾选“面部修复”复选框，如图7-85所示。

在 “关键帧” 选项卡中，设置“动画模式”为3D、“边界处理模式”为“覆盖”、“强度调度计划”为“0∶(0.8)”，如图 7-86 所示。

在 “运动” 选项卡中，设置 “平移Z” 为 “0∶(-0.5)”，如图 7-87 所示。

Figure 66. 图7-83

Figure 67. 图7-84

Figure 68. 图7-85

Figure 69. 图7-86

Figure 70. 图7-87

单击 “生成” 按钮，如图 7-88 所示，即可开始根据我们的提示词生成视频动画。

Figure 71. 图7-88

本实例生成的动画视频效果如图 7-89 所示。

Figure 72. 图7-89