مفهوم Data Deduplication

منظور از Data Deduplication (که در بسیاری از مقالات آن را با نام مختصر Dedupe هم خواهید دید) کاهش حجم دیتا به واسطه در نظر نگرفتن و حذف مواردی که در یک سری اطلاعات ذخیره شده تکرار شده‌اند می‌باشد. هدف از این کار هم کاملا مشخص است. کاهش حجم دیتا که هم می‌تواند از نظر میزان دیسک‌ها و تجهیزات مورد نیاز مفید باشد و هم اینکه انتقال اطلاعات (به خصوص در بسترهایی کند مانند WAN) با سرعت بیشتری انجام شود. به یک مثال ساده در این خصوص دقت کنید. فرض کنید یک نامه الکترونیکی با یک ضمیمه ۱ مگابایتی را برای صد نفر فرستاده اید. خوب این به معنای هدر رفتن صد مگابایت فضا روی سرور پست الکترونیکی است. اما اگر به جای این کار، نامه را برای همه و ضمیمه را فقط برای یک نفر بفرستیم کافیست. در این حالت تنها لازم است یک لینک یا اشاره گر (Pointer) یه آن ضمیمه یک مگابایتی را برای ۹۹ نفر دیگر ارسال کنیم). این فناوری بیشتر برای اطلاعات آرشیو و نسخ پشتیبان استفاده می‌شده اما این روزها بکارگیری آن برای فضای ذخیره‌سازی اصلی یا همان Primary Storage هم به شدت مورد توجه قرار گرفته است.: