Итак, ваши данные у нас. Но мы хотим их удалить

В сегодняшней статье публикуем мнение Дэйва Картрайта о том, почему долгое хранение устаревших данных — плохая идея. Оригинал читайте на сайте The Register.

Итак, ваши данные у нас. Но мы хотим их удалить.
Серьезно. Нам нужно свободное место.

Хранилища данных — это больная тема как для ИТ-специалистов, так и для финансовых управленцев. Для ИТ это в первую очередь вопрос наличия свободного места: его и так никогда не хватает, а пользователи его все тратят и тратят. Для финансовых департаментов это вопрос денег: бесконечная череда ИТ-специалистов просит выделить средства на очередное устройство для хранения данных, потому что их объем растет с такой скоростью, которую раньше мало кто мог бы предсказать.

Минимальный срок хранения

Обычно какой-нибудь закон или договор обязывает нас хранить данные как минимум в течение нескольких месяцев или лет. Например, налоговые органы заставляют хранить ключевую финансовую информацию до шести-семи лет, а если вы — провайдер, предоставляющий клиентам послепродажное обслуживание, вам, скорее всего, надо держать у себя данные, пока не истечет срок действия договора.

Разобраться с минимальными сроками хранения для каждого типа данных — задача нетривиальная, но выполнимая. Все эти сроки так или иначе прописаны в нормативных актах и/или в договорах с клиентами.

Максимальный срок хранения

А вот с чем у людей действительно возникает проблема, так это с удалением данных, которые хранились достаточно долго и никому уже не нужны. В конце концов, лежат они на столе и никому не мешают, разве что место занимают. Да и это не проблема: когда на столе не останется места, можно просто выбросить самые старые папки. А уж если эти данные в электронном виде, тогда кого это вообще волнует? Современные накопители легко вмещают в себя терабайты информации. К тому же, всегда можно докупить новые.

Эм… нет.

Всегда руководствуйтесь следующим принципом: если хранить данные, то только по очень веской причине — то есть либо они нужны вам для бизнеса, либо вы обязаны не удалять их в течение какого-то времени согласно договору или нормативному акту. Например, если вы — домовладелец, и у вас есть арендаторы, уже 20 лет снимающие у вас жилье, хранить их данные имеет смысл. Но разумно ли беречь информацию о людях, с которыми вы уже 10 лет не контактировали? Вряд ли. Не стоит оставлять данные «на всякий случай».

Приведем немного утрированный пример. Представьте, что в 2005 году вы заплатили кому-то за сомнительный список из миллиона email-ов и отправили им спам для продвижения вашего нового классного онлайн-магазина (заметка для юных читателей: спам в те годы работал неплохо — миллион таких email-ов стоил всего ничего, но мог принести 20-30 тысяч ответов). А теперь представьте, что в 2017 году появляется закон, который запрещает хранить у себя адреса электронной почты без разрешения их владельцев. И если эти данные все еще у вас, вы не отделаетесь фразой «Мы забыли, что они у нас есть». Так что, когда у вас нет больше достаточных оснований для хранения информации, удалите ее. Окончательно и бесповоротно.

Временные данные

Как это ни парадоксально, но удаление устаревшей информации на самом деле не освободит вам много места: объем данных образца 2017 года не сравнится с объемом данных пятилетней давности. Так что удаление устаревшей информации — это в первую очередь защита от возможного судебного преследования или постыдных разоблачений (раз уж мы живем в век неограниченного доступа к информации). А вот временные данные — это совсем другое дело, они занимают очень много места в хранилищах.

Временные данные — это все те временные файлы, которые мы создаем, но не удаляем. Например, система А экспортирует данные в систему C посредством системы B, которая эти данные каким-то образом преобразовывает. Нередко скрипт преобразования написан таким образом, что он принимает входные данные и создает выходные, но не «убирает за собой» то, что в середине. А эти промежуточные данные могут быть очень объемными — иногда гораздо объемнее входных и выходных, потому что такие скрипты часто работают по принципу: распаковать — преобразовать — сжать.

Так что удаляйте мусор. Он незаметно для вас занимает много места в хранилищах, при том что эта проблема чаще всего решается очень просто: разрабатывайте скрипты таким образом, чтобы папки для хранения временных файлов регулярно очищались.

Правильная организация данных

Вернемся к информации, которую хранить действительно нужно. Следующий шаг — это правильная организация этой информации. Убедитесь, что программное обеспечение, которое вы используете для хранения и архивации данных, умеет их удалять. Мы привыкли к тому, что программы для резервного копирования данных еженедельно делают полное резервное копирование, ежедневно — инкрементное, и возможно, ежемесячно — снимок файловой системы. Но кто из нас хоть раз пытался настроить программу так, чтобы она автоматически удаляла снимок за декабрь 2013 сразу после создания снимка за январь 2015? Наверное, процентов 10, да и то вряд ли.

И сейчас мы говорим только про бэкапы — их довольно просто удалять по расписанию. А как насчет приложений? Возьмем, к примеру, систему управления информацией о клиентах. Умеет ли она удалять контактную информацию о клиентах, которую не использовали, скажем, в течение трех лет? Если нет, возможно, стоит задуматься об альтернативе или разработать решение на базе ее API, которое дало бы вам такую возможность.

Подводя итог

Когда речь заходит о хранении данных, нам часто говорят очевидные вещи: «Убедитесь, что данные хранятся достаточно долго, чтобы соответствовать требованиям законодательства и использоваться по назначению».

Но в конце предложения так часто не хватает «…и избавляйтесь от них, когда хранить их дальше не имеет смысла».

Источник: TheRegister