研究人員嘗試用穩(wěn)定擴散方法壓縮圖像 結果竟然優(yōu)于JPEG
上周,瑞士軟件工程師Matthias Bühlmann發(fā)現(xiàn) —— 流行的圖像合成模型“Stable Diffusion”,可實現(xiàn)較現(xiàn)有的JPEG或WebP格式更高的位圖圖像壓縮比、且視覺偽影也更少。
本文引用地址:http://m.butianyuan.cn/article/202209/438702.htm即便如此,Stable Diffusion也不是那么完美。作為一種AI圖像合成模型,其通常根據文本描述(所謂的“提示”)而生成圖像。
用鋸齒彩塊來描繪的圖像壓縮概念
AI模型通過研究從互聯(lián)網上提取的數(shù)百萬張圖像來學習這種能力,在訓練過程中,模型在圖像和相關詞之間建立了統(tǒng)計關聯(lián)。然后對每張圖像的關鍵信息添加更小的“表示”和賦予“權重”,后者代表了AI圖像模型所掌握的數(shù)學值。
當穩(wěn)定擴散分析、并將圖像“壓縮”為權重形式時,它們就處在了所謂的“潛在空間”中:它們以一種模糊潛力的形式存在,且能夠在解碼時于圖像中復現(xiàn)。
這項研究中用到的Stable Diffusion 1.4,其權重文件大小約為4GB —— 代表了該AI模型掌握的數(shù)億張圖像的知識。
使用穩(wěn)定擴散壓縮圖像的示例
盡管大多數(shù)人使用了帶文本提示的穩(wěn)定擴散,但Bühlmann還是斬斷了文本編碼器、而是強制通過穩(wěn)定擴散圖像編碼器來處理。
該過程將低精度的512×512圖像、轉換為更高精度的64×64潛在圖像空間表示。此時圖像存在的數(shù)據量較原始文件小得多,但仍可將之解碼擴展回512×512圖像、并獲得相當良好的結果。
測試期間,Bühlmann發(fā)現(xiàn)使用穩(wěn)定擴散壓縮的新圖像,可在更高的壓縮比(更小的文件大?。┫?,主觀上看起來較JPEG或WebP更佳。
以這張美洲鴕的照片為例,其原始文件大小為768KB 。盡管JPEG/WebP格式分別可壓縮到5.68和5.71KB,但穩(wěn)定擴散方法可進一步壓縮到4.98KB 。
與對照的圖像壓縮格式相比,穩(wěn)定擴散似乎具有更多可分辨的細節(jié)、以及明顯更少的壓縮偽影。
不過Bühlmann也指出了現(xiàn)階段的一個很大局限性:它不太適合面容或文本,且在某些情況下會讓解碼圖像中的細節(jié)特征產生“幻象”。
這些特征可能在源圖像中并不存在,更別提解碼需要動用高達4GB的穩(wěn)定擴散權重文件、以及額外的解碼時間。
即便如此,這種非常規(guī)穩(wěn)定擴散用例,還是較實際的解決方案更加有趣,甚至有望開辟圖像合成模型的未來新用途。
評論