Доступен инструмент для анонимизации баз данных nxs-data-anonymizer 1.6.0

07.06.2024 09:54

Опубликован nxs-data-anonymizer 1.6.0 - инструмент для анонимизации дампа баз данных PostgreSQL и MySQL/MariaDB/Percona. Инструмент написан на языке Go и выпускается под лицензией Apache License 2.0.

Утилита поддерживает анонимизацию данных на основе шаблонов и функций библиотеки Sprig. Nxs-data-anonymizer можно использовать через неименованные каналы (pipe) в командной строке для перенаправления дампа из исходной БД непосредственно в целевую БД с необходимыми преобразованиями. Есть возможность работать со значениями "null" через функцию в фильтрах. Реализована команда -l/--log-format, позволяющая выбрать формат логирования (json или plain). Процесс анонимизации может быть индексирован - через указанные промежутки выводятся данные о прогрессе выполнения операции. Благодаря внешним командам через добавление в значение столбца "type: command" можно задавать значение полей.

В новой версии добавлена функция, позволяющая активировать режим безопасной работы nxs-data-anonymizer, при котором все явно не описанные данные будут исключены из результирующего дампа. В зависимости от типа сущностей в настройках безопасности инструмент анонимизирует столбцы для таблиц с правилами, описанными в разделе filters. Если таблица не содержит никаких правил, данные все равно будут в безопасности, так как анонимайзер не включит их в результирующий дамп.

Оригинальная информация в колонках появится в выводе только в том случае, если в security.exceptions.tables будет указано имя таблицы. Таким образом, динамично развивающиеся проекты с часто изменяемой структурой БД будут защищены даже в случае, если разработчик забудет скорректировать файл конфигурации анонимайзера.

исправить +3 +/–

Автор новости: nixys

Лицензия: CC BY 3.0

Короткая ссылка: https://opennet.ru/61330-anonymizer

Ключевые слова: anonymizer, database

При перепечатке указание ссылки на opennet.ru обязательно

Обсуждение (12)

1.1, Аноним (1), 10:49, 07/06/2024 [ответить] [﹢﹢﹢] [ · · · ]	+1 +/–
Объясните в двух слова, зачем?

2.2, WE (?), 10:50, 07/06/2024 [^] [^^] [^^^] [ответить]	+2 +/–
Разработчикам слепок сделать без ПД.

2.4, Аноним (4), 10:51, 07/06/2024 [^] [^^] [^^^] [ответить]	+/–
Чтобы можно было передать данные аналитикам, которые могут считать разную статистику, но не передавать конкретные персональные данные (привязанные к реальным людям, адресам, компаниям).

3.6, Аноним (6), 11:35, 07/06/2024 [^] [^^] [^^^] [ответить]	+/–
Однако просчёт статистики при широком разнообразии набора вполне себе аппроксимируется к конкретным источникам.

3.7, КО (?), 11:52, 07/06/2024 [^] [^^] [^^^] [ответить]	+/–
Ну и что им останется анализировать тогда, лол

4.9, Аноним (-), 12:22, 07/06/2024 [^] [^^] [^^^] [ответить]	+/–
> Ну и что им останется анализировать тогда, лол В смысле? Они просто выдадут результат вида "у нас тут три кластера, первый и второй можно разбить на 2 когорты каждый" А ты потом можешь сопоставить свои ключи с анонимизированными

2.5, Аноним (5), 10:57, 07/06/2024 [^] [^^] [^^^] [ответить]	+/–
Торговать собранными данными. Как еще ты покажешь, что они у тебя есть в структурированном виде? Организовывать их обработку так, чтобы рядовой сотрудник не мог их скопировать и продать. Частный случай - предоставление слепка базы программистам для нужд разработки.

2.8, Аноним (8), 12:17, 07/06/2024 [^] [^^] [^^^] [ответить]	+/–
Чтобы не давать продовые данные подрядчику, не?

2.12, Бывалый Смузихлёб (ok), 13:50, 07/06/2024 [^] [^^] [^^^] [ответить]	+/–
чтобы можно было сливать данные пользователей направо и налево, но, притом, быть формально чистым перед законом Не бывает такой анонимности, при которой можно отследить конкретного типа. Да, паспортные данные замылены. Но совершенно конкретно указан город, район и ЖК и то, в чём тип обычно ходит( предпочитаемые тона ), на какой этаж обычно поднимается и сколько идёт от лифта до своей двери и как долго её открывает. Вроде бы, косвенные данные, а вроде бы, не так уж и много конкретных типов обитает на районе, а по дверям и замкам - так есть есть разница, открывать один полуборотный или два и двухоборотных. А уж если речь о фиолетовом пальто и зелёных носках, то ответов даже больше чем вопросов

1.3, Анонистм (?), 10:50, 07/06/2024 [ответить] [﹢﹢﹢] [ · · · ]	+/–
С mydumper до сих не работает, только с mysqldump?

1.10, Аноним (10), 12:25, 07/06/2024 [ответить] [﹢﹢﹢] [ · · · ]	+/–
А можно что-то такое же, но чтоб с json работало?

2.11, Аноним (-), 12:38, 07/06/2024 [^] [^^] [^^^] [ответить]	+/–
> А можно что-то такое же, но чтоб с json работало? Ты не пробовал гуглить? Первые же результаты github.com/bemindinteractive/json-anonymizer github.com/vectranetworks/anonym

Добавить комментарий

Текст: