上の話とちょっと違いますが

「IBLとHDRI画像を使うと現実と同じライティングができる」
なんて書いてるのを見かけることもあるので信じてる人もいそうですが
IBLってのは、まず距離の情報を持ってないですよね。
そのため、「木の枝の隙間から太陽の光がのぞいてる」ような画像をIBLとして使っても
枝の影が地面に描かれるようなことは無いですね。
また、「暗い部屋の奥にライトがある」というようなシーンをパノラマレンダリング、または現実にパノラマ写真にして
IBLとして使っても、部屋の奥側が明るく、手前側が暗くレンダリングされることは無いですね
どの位置も満遍なくライティングされてしまうはずです。(IBLの方式によって違うようですが)
もっとわかりやすい例を言うと、ビルに囲まれた野外シーンのIBL用画像を作ろうとしたとしましょう
現実では位置によっては太陽が見えて、別の位置ではビルに遮られて太陽が見えなかったりするわけですが、
そういう背景画像を作ることは不可能ですね。
それだけでも、いろいろ矛盾が出てくるのがわかりますね。