发掘和利用:细粒度层次化网络的文本到图像生成 |
| |
引用本文: | 申恒涛,赵启轲,朱俊臣,高联丽,陈岱渊,宋井宽.发掘和利用:细粒度层次化网络的文本到图像生成[J].中国科技论文,2023(3):238-244. |
| |
作者姓名: | 申恒涛 赵启轲 朱俊臣 高联丽 陈岱渊 宋井宽 |
| |
作者单位: | 1. 电子科技大学计算机科学与工程学院;2. 之江实验室 |
| |
摘 要: | 针对现有文本到图像生成(text-to-image synthesis, T2I)方法采用冗余的阶段性网络结构,同时缺乏对文本特性有效利用从而影响网络完全收敛的问题,提出了一种细粒度的层次化生成对抗网络(generative adversarial networks, GAN)。该网络利用多维度文本特征提取器充分地“发掘”(explore)文本语义特征;通过堆叠层次化模块,即空间仿射生成模块和累加结合模块,更好地“利用”(exploit)主干网络的生成性能。在3个基准数据集上的实验充分表明,所提方法在量化指标和可视化效果方面均显著领先于现有方法。实现代码已经公开在https://github.com/qikizh/EE-GAN。
|
关 键 词: | 跨模态生成 文本到图像生成 生成对抗网络 层次化网络 多维度文本特征提取器 |
|
|