用Python生成会跳舞的美女

导语

表妹心疼我，为了逗我开心，教我用Python制作会跳舞的美女。作为新时代的活雷锋，在这里分享给大家。

开发工具

Python版本：3.6.4

相关模块：

torch0.4.1模块；
torchvision0.2.2模块；
opencv-python模块；
argparse模块；
numpy模块；
以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

(PS：CUDA环境配置请自行Google教程。)

原理简介

这里我们利用VAE的原理来生成会跳舞的小姐姐呗。先简单介绍一下理论知识，要说VAE，就得先谈谈自动编码器，自动编码器最开始用于数据压缩，其原理图十分简单直观：

在模型训练时，输入图片首先通过一个编码器(现在当然是神经网络啦)将输入数据降维到一个code，接着将code输入到解码器(当然还是神经网络啦)生成一个与输入相同大小的图片，网络的优化目标就是使得输入编码器的图片与解码器输出的图片尽可能相似。 当模型训练完之后，我们就可以拿出这个解码器，随机传入一些code作为它的输入，来生成一些差不多的图片。但是这种做法存在一个问题，就是编码器生成的code包含了原图信息，因此，我们就无法自己构造一些随机的code来作为解码器输入从而生成任意图片(必须是现有图片过了编码器之后生成的code作为输入)。为了解决这个问题，VAE就诞生啦~VAE的全称是：

Variational Autoencoder 即变分自编码器

说起来，它的原理图也十分简单：

与自编码器唯一不同就是在训练过程中对code也进行了约束，使得code满足某种分布(譬如正态分布)。这样的话，模型训练完之后，我们只需要随机生成一个满足该分布的code，就可以拿来作为解码器的输入，从而生成任意图片啦~ 一般地，我们用均方损失函数保证原图和生成图相似，用KL损失函数来保证code满足我们所要求的分布。均方损失大家肯定知道，KL散度的定义这里我也不想过多地去介绍，贴下 * 上定义的公式吧：

P和Q是在同一个概率空间上定义的离散概率分布。 同时，为了方便计算KL散度，VAE引入了一个trick，叫：

reparameterization

以正态分布为例子，就是现在不直接预测code了，而是预测code的均值和方差，有了均值向量和方差向量，恢复code是很方便的(用标准正态分布乘以方差再加个均值就行了)。

再回过头来，我们现在要用VAE来生成会跳舞的小姐姐，无非就是先找到一个训练数据集，这里我找了个Youtube上的视频作为数据集：

https://www.youtube.com/watch?v=NdSqAAT28v0

然后根据VAE的原理构造一个编码和解码网络，用两个损失函数作为约束训练网络就行啦。代码就不一个个贴了，写起来很简单的，贴上来倒感觉有点麻烦，有需要的直接在公众号后台回复“dancenet”即可获取。简单说下代码使用方式吧，模型训练运行train.py文件即可，命令格式为：

python train.py --videopath xxx.mp4

模型测试运行demo.py文件即可，命令格式为：

python demo.py --mode random/fromtrain --checkpointspath xxx.pth --outputpath xxx.avi

这里模式的含义是code随机生成/从训练集中提取一些图片的code作为输入。

效果展示

随机生成code模式作为输入：

数据集中挑选图片过编码器获得code作为输入：

好了，我的分享到此结束了。

来源：https://blog.csdn.net/Java_bx/article/details/122515918