失礼します。

黒っぽい画像になるのは過学習ではなく、Content lossの影響の可能性はないでしょうか?

色の情報は与えていないため、様々な色を取り得る部分は、どのような色の画像に対してもContent lossを小さくするような色が選択されているという可能性です。

その場合、着色ネットワークに色情報を補完する乱数を加え、Content lossは生成画像を線画に戻すようなネットワークで処理したあと計算するようにすると改善すると考えています。