では、ハッシュコリジョンが発生するリスクがあるため、MD５を利用したDe-dupe製品の信頼性は低いのでしょうか？

実際、２の１２８通りというのどのぐらいの数でしょう。 計算すると３４０ｘ１０の３６乗。

・１０の１２乗 ： テラ （これはよく耳にする単位ですね。）

・１０の１５乗： ペタ （データセンター規模で時々聞く単位です。）

・１０の１８乗： エクサ（数の単位として経験したことはありません。）

・１０の２１乗： ゼタ

・１０の２４乗： ヨタ

調べた範囲でこれ以上の単位の言葉が出てきませんでした。

１ブロックを１Byteで区切ったとしても、３４０エクサバイトの２乗でMD５のハッシュキーは飽和します。

JDSFが愛読するSearchStorage.comのStorage Magazine の記事によれば、「格納データが９５エクサバイトより少ない環境であれば、ハッシュコリジョン発生の確率は小数点５０桁以下」といわれています。

実際のブロックサイズは数KB～数百KBとなっており、ハッシュ方式も１２８ビットのMD5から２５６ビットのSHA-1が主流になってきているので、ハッシュコリジョン発生によるデータのロストの確立はさらに低いものとなっています。

それでも、やっぱり１００％でなければダメでしょうか。ディスクやテープや、各ソフトウェアも１００%はないと思います。

極端に高い数値は、毎回フルバックアップを行なっているデータ量を基準に計算されているものもあります。データの保持の仕方としては、フルのデータを管理するため間違いではないのですが、通常のバックアップ運用で毎日フルバックアップを実施しているケースは特殊なデータ状況での運用であるケースが多いでしょう。たいてい、週末にフルバックアップを取り、毎日は差分バックアップを行なっていることと思います。日々の差分バックアップで取得するデータがどれぐらい重複排除されるかが実際の運用効果を表していると考えられます。

どのような想定で計算されているかによって、値は大きく変わります。