要點:
1. 谷歌研究團隊提出了一種名為UFOGen的擴散模型變種,只需要一步就能生成高質量的圖片。
2. UFOGen通過改變生成器的參數化方式和重構損失函數的計算方式,理論上可以實現一步生成。
3. UFOGen的生成器和判別器都是由Stable Diffusion模型初始化,這樣可以最大限度地利用Stable Diffusion的內部信息。
站長之家(ChinaZ.com)11月20日 消息:近年來,擴散模型在視覺創作領域的應用不斷增加,但是生成速度一直是一個問題。然而,隨著技術的進步,UFOGen模型的出現解決了這個問題,它只需要一步就能生成高質量的圖片。通過改變生成器的參數化方式和重構損失函數的計算方式,UFOGen實現了一步生成的目標。
論文地址:https://arxiv.org/pdf/2311.09257.pdf
之前對擴散模型生成速度的研究主要集中在兩個方向,一方面是利用更少的離散步數求解擴散模型的採樣ODE,另一方面是利用知識蒸餾的方法將採樣路徑壓縮到更小的步數。然而,谷歌的研究團隊在UFOGen模型中採用了一種全新的思路,通過改變生成器的參數化方式和重構損失函數的計算方式來實現一步生成的目標。
UFOGen模型是在擴散模型和GAN混合模型的基礎上發展而來的。擴散模型假設降噪分布是一個簡單的高斯分布,但這種假設只在降噪步長趨於0時成立,導致生成速度很慢。而UFOGen模型通過使用帶條件的GAN來模擬降噪分布,取較大的降噪步長來減少步數,從而提高了生成速度。