Shadeは複数のマテリアルの合成というのはできないです。

ホワイト(ブラック)キーマスクがありますがこれは2階調のみなので
滑らかにグラデーションでマテリアルが変化するようなのは無理ですね。
マットというのもありますが、これは1マテリアル内のレイヤーを合成するものです。
マットを駆使すれば、本来マテリアルの合成でやる様なほとんどのことはできます。
(グラデーションでなければキーマスクでもできます)
マテリアルの合成に強いソフトのサンプルに使われてるような
水玉模様から岩のようなバンブを覗かせて、さらにそこからを宝石のような透明物を覗かせるなんてこともできるでしょう。
できないのは何かというと、マットはマップ属性なのでマップの使えないパラメータには使えないってことです。
光沢の大きさ、屈折率、荒さ、異法性反射などですね。
とくにShadeは荒さの数値を反射と透過で共有してるので、すべてのレイヤーの反射&透過に同じ荒さがかかってしまう
(キーマスクで事足りるならできますが)
私が思うにShadeレンダラーはマットやキーマスクのようなことができるならなら
それくらいのことできると思うんですよね。Shadeのブラウザで実現する方法が思いつかなかっただけじゃないんでしょうか。
そんなわけで私が考えてみました。
マップの属性に「マスク」というのを作るのです。
そのマップでブラウザの上階層か下階層のマテリアルが覗くようにすればいい。かんたんです。
CALLISTOのコンポジョイントのような複雑なものは必要ないです。
キーマスクはそのまま流用できますしね。
イーフロの人見てたらご検討ください。