背景阐述
随着 AIGC 的迅速崛起,AI 广告图像生成变为现实。在“uc 头条广告推广”进程中,与传统的画图方式相比,AI 作图效率更高,既能节省成本,又能显著增加广告图的多样性。
当前,市面上的多数图像生成模型均基于 diffusion 技术,开源方面的典型代表是 stable diffusion 模型。该模型因出片快速、画质出色而备受广大创作者青睐,不过由于其生成未实现本地化、可控性及稳定性欠佳等因素,距离产品化尚有差距。
AIGC 的工作重点在于以扩散模型作为核心生成引擎,融合多种技术构建成图像生成的流水线,以保障产出高品质、能够直接用于“uc 头条广告推广”的广告图像。
stable diffusion 基础架构
思路规划
AI 制图的出现近乎彻底革新了原有的制图技术,对众多插画师、原画师和设计师的发展方向产生了影响。AIGC 具备高效、自动化的特性,但缺少人工介入,生成的效果难以掌控。
AIGC 在对传统制图工艺技术进行研究和学习后,提出了 AI 制图的生产流程,主要涵盖两个阶段:自动制图和质量筛选。
AI 与传统制图:广告图生产流程
1. 批量生成
其中,自动制图以 Stable Diffusion 模型的生成能力为核心,主要由以下三部分构成:
① 图像预处理 ②训练扩散模型 ③搭建出图流程
前置组件
- 首先,依据输入的文案要求,映射至不同生产流水线,构建后续的任务队列与调度流程。
- 其次,解析、筛选、泛化提示词,保证生成内容处于模型支持的范畴。
- 最后,将解析好的提示词及其他输入(如有,比如图片、视频等)写入生成队列,等待生成。
扩散模型
扩散模型是生成能力的核心动力,通过对模型的训练与改造,能够增强其生成能力。对模型的影响主要包含:①数据训练 ②模型改造两种方式
- 数据训练:通过收集图像、prompt pair 对,增强模型在特定数据领域的能力,例如:收集场景类图文对,生成更具本土化的场景类图像(乡村、街道、健身房等)
- 模型改造:
– 微调网络结构,如:dreambooth 微调网络,学习电商实体,在推理阶段可通过 prompt 控制产出多种风格的电商产品图像
– 增加子网络,如:lora 学习子网络,学习人物实体,推理阶段可通过 prompt 控制产出不同发式、衣着、姿态、场景的人物图像
后置组件
图像生成完毕后,还需围绕模型产出构建后处理流程,以弥补模型的能力不足,提升出图率。模型后置组件主要有以下几种:
- 二次处理:对已有的图像进行元素组合、画风变换、背景变换等。
- 图像裁剪:调整图像尺寸,以适应不同业务场景的需求。
- 要素编辑:对已有图片进行文字编辑、添加 logo、水印等操作。
2. 质量筛选
即便模型已经进行了定制化的优化训练,其出图的成功率依然较低,所以需要对批量产出的图片素材进行质量筛选,当下主要依靠人工筛选,后续规划包含三个阶段。
- 模型初筛:运用通用风险模型、目标检测模型等检测图像问题。
- 图像优化:使用商业价值模型评估图像质量,获取商业价值较高的图像集合优先使用。
- 人工抽审:借助审核、物料标注人力对最终集合进行复审、抽审,以确保图像的可用性。
2 本站部分内容来源于网络,仅供学习与参考,如有侵权,请联系网站管理员删除
3 本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报
4 精准获客感谢您的访问!希望本站内容对您有所帮助!
暂无评论内容