【論文・文献メモ】Enhanced Deep Residual Networks for Single Image Super-Resolution【EDSR】
はじめに
大雑把に読んだ際のメモとなっているのでMDSRや実験内容についてなど端折っている部分が多いです．
また，Google翻訳に頼りまくっている&知識不足による誤りがある可能性がかなり大きいです．
論文
[1707.02921] Enhanced Deep Residual Networks for Single Image Super-Resolution
概要
一枚の低解像度画像から高解像度画像を生成する単画像超解像手法についての論文．
NTIRE2017 Super-Resolution Challengeで優勝した手法．
従来のResNet構造の不要なモジュールを排除して最適化をおこなった．
特定のスケールの超解像を行うEDSRと単一モデルで様々な高解像度画像を生成するMDSRを提案．
関連研究
- 多くの深層学習による超解像では入力画像はネットワークに入力する前にバイキュービック補間によってアップサンプリングされる
- 補間されたものを入力するのではなくネットワークの最後にアップサンプリングモジュールを使用することもできる
- 特徴サイズが減少するため計算量を削減できる
- しかし，VDSRのように単一のフレームワークでマルチスケールの問題に対処できない
- 本研究ではマルチスケール学習の計算効率のジレンマを解決する
- 一般的な画像修復には損失関数にMSE，L2 lossが用いられている
手法
- より単純なResNet構造による拡張バージョンを提案
- 元のネットワークより計算効率が向上
Residual blocks
SRResNetはResNetを利用することに成功したが，より良いResNet構造を採用することによってさらに性能を向上させる
- batch normalization layersを削除
- batch normalization layersはネットワークから範囲の柔軟性を取り除いてしまう
- GPU使用量を減らせる
- 畳み込み層の後にスケーリングレイヤーを設置
- 多数のフィルタを使用する場合に学習を大幅に安定させる
- SRResNetと同様に外側にReLU活性化層を持たない
シングルスケールのモデル(EDSR)
- モデルのパフォーマンスを向上させる最も簡単な方法はパラメータを増やすこと
- B:層の数，F:特徴チャンネルの数
- O(BF2)パラメータでおおよそO(BF)メモリを消費するのでBの代わりにFを増やすとモデル容量を最大にできる
- あるレベル以上の特徴マップの数を増やすと学習が不安定になる
- residual scalingを0.1で採用することで解決
- ベースラインモデルではF=64しかないためスケーリングレイヤがない
- 最終的なモデルではB=32，F=256，スケーリング係数0.1とした
マルチスケールのモデル(MDSR)
参考
www.slideshare.net
