UVit2DModel

Модель U-ViT представляет собой UNet на основе vision transformer (ViT). Эта модель объединяет элементы ViT (рассматривает все входные данные, такие как время, условия и зашумленные патчи изображения, в качестве токенов) и UNet (длинные skip-соединения между поверхностными и глубокими слоями). Skip-соединение важно для предсказания пиксельных признаков. Перед финальным выводом применяется дополнительный свёрточный блок 3x3 для улучшения качества изображения.

Аннотация из статьи:

В настоящее время применение диффузионных моделей в пиксельном пространстве изображений высокого разрешения затруднено. Вместо этого существующие подходы фокусируются на диффузии в пространствах меньшей размерности (латентная диффузия) или используют несколько уровней супер-разрешения генерации, называемых каскадами. Недостатком этих подходов является добавление дополнительной сложности в диффузионный фреймворк. Данная статья направлена на улучшение денуайзинговой диффузии для изображений высокого разрешения при сохранении максимально простой модели. Статья сосредоточена на исследовательском вопросе: как обучить стандартные модели денуайзинговой диффузии на изображениях высокого разрешения и при этом получить производительность, сопоставимую с альтернативными подходами? Четыре основных вывода: 1) расписание шума должно быть скорректировано для изображений высокого разрешения, 2) достаточно масштабировать только определённую часть архитектуры, 3) dropout следует добавлять в конкретных местах архитектуры, и 4) даунсемплинг является эффективной стратегией для избежания карт признаков высокого разрешения. Сочетая эти простые, но эффективные техники, мы достигли наилучших результатов в генерации изображений среди диффузионных моделей без модификаторов выборки на ImageNet.

UVit2DModel

UVit2DConvEmbed

UVitBlock

ConvNextBlock

ConvMlmLayer

Update on GitHub