やはり発光がノイズの原因ですね。

この映りこみ用の発光オブジェクトが無ければかなりノイズが無くなります。
必要以上に発光を強くしないよう気をつけないといけない。
が、それを見極めるのがまた大変ですね。
光源の強さと発光の数値の関係はどうなってるのか検証してみたいですが、これがまた手間かかりそうですね・・・。