forum.opennet.ru - "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизации баз данных" (32)

"Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизации баз данных"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизации баз данных"	+/–
Сообщение от opennews (??), 24-Июл-23, 12:11
Состоялся релиз nxs-data-anonymizer 1.0.0 — инструмента для анонимизации дампа баз данных PostgreSQL и MySQL. Инструмент написан на языке Go и выпускается под лицензией Apache License 2.0... Подробнее: https://www.opennet.dev/opennews/art.shtml?num=59486
Ответить \| Правка \| Cообщить модератору

Оглавление

а зачем выкладывать дамп с персональными данными это незаконно во многих юрисди, Аноним (1), 12:11 , 24-Июл-23, (1)

Для внутреней разработки и тестовых развертываний Чувствительные данные надо , pashev.ru (?), 12:25 , 24-Июл-23, (2) +7

Чувствительные данные не надо хранить Уж сколько раз и крупные корпорации и банк, keydon (ok), 18:50 , 24-Июл-23, (15) +1

Ты опоздал родиться Века на два как минимум , _ (??), 21:08 , 24-Июл-23, (17) +1
И как вы без хранения данных предлагаете привязать юзера к его мед карте, к прим, BeLord (ok), 09:57 , 25-Июл-23, (21) +1

Для какой-то обработки они тебе никогда не нужны Все равно внутри оперируешь пр, rshadow (ok), 19:16 , 25-Июл-23, (22) –1

который будет ими торговать, ровно как сейчас это и происходит, вот вырисовывает, gg (??), 09:30 , 26-Июл-23, (23) –1

В этом плане мне больше нравится если бы вход везде был через госуслуги Государ, rshadow (ok), 09:46 , 26-Июл-23, (24)

Для каких-то вещей типа медицины уже давно через госулуги доступ, а само ПО в за, BeLord (ok), 09:32 , 27-Июл-23, (29)

Через гугл, ПДн, ай молодца 152-ФЗ стоит почитать для разнообразия , BeLord (ok), 09:33 , 27-Июл-23, (30)

Примерно также как делали это столетие или примерно также как это делает биткойн, keydon (ok), 11:42 , 26-Июл-23, (26)

На самом деле, эта штука бесполезна Я рекомендую в каждом конкретном случае дел, pashev.ru (?), 12:30 , 24-Июл-23, (4)

Понятное дело, что никто лучше вас самих вашу БД не знает Скажу больше - если в, Виктор (??), 13:37 , 24-Июл-23, (6) +2

Ага, учить новый язык шаблоны и прочую святотень вместо уже хорошо известного SQ, pashev.ru (?), 17:02 , 24-Июл-23, (12) +1

1 Берётся ежедневный бэкап дамп 2 Импортируется на отдельном сервере 3 На э, pashev.ru (?), 17:11 , 24-Июл-23, (13)

Это всё заодно и является проверкой адекватности бэкапов Разумеется, легко авто, pashev.ru (?), 17:14 , 24-Июл-23, (14)

Я конечно и сам так делал Но вообще говоря есть разные сценарии и требования И е, keydon (ok), 18:58 , 24-Июл-23, (16)

продолжу нет проблем - нет продаж - нет денег , WE (?), 07:39 , 25-Июл-23, (20)

А я в принципе и так лежу и ничего не делаю , keydon (ok), 11:38 , 26-Июл-23, (25)

Да какой авк Я же написал 8212 работать с базой данных, скл , pashev.ru (?), 09:35 , 27-Июл-23, (31)

А следующий этап этап зашаблонить этот скл и оформить в виде плагина и вот он, т, keydon (ok), 16:12 , 27-Июл-23, (33)

Анонимизация на языке GO google с нами , Аноним (5), 13:24 , 24-Июл-23, (5)

Единственная связь с Google там - прокси, задаваемый через переменную окружения , Василий Топоров (?), 13:49 , 24-Июл-23, (7)

Там же вроде ещё и телеметрия в утилитах, или она не по-умолчанию , Аноним (9), 15:43 , 24-Июл-23, (9)

Это как Типо, по конкретному адресу и с конкретными кредами подключаюсь к хз к, Бывалый смузихлёб (?), 14:07 , 24-Июл-23, (8)

Тебе это не надо Это для компУтерЩикаФФФ , _ (??), 21:22 , 24-Июл-23, (18) –1

Для компУтерЩикаФФФ - вот вам Ыкзампель export PGPASSWORD password pg_dump, _ (??), 21:24 , 24-Июл-23, (19)

awk sed, небось, дешевле бы стоил , пох. (?), 17:11 , 03-Авг-23, (34)

Оxocпадя, eгэшники ввыросли mysqldump bazadata 124 gpg -c bazadata g, pavlinux (ok), 14:07 , 26-Июл-23, (27) –2

И что вы этим хотели сказать Что умеете хранить данные БД в шифрованном виде Т, Виктор (??), 08:46 , 27-Июл-23, (28)

Скрыто модератором, ivan_erohin (?), 10:00 , 27-Июл-23, (32) +1

Скрыто модератором, пох. (?), 17:13 , 03-Авг-23, (35)

Сообщения [Сортировка по времени | RSS]

1. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от Аноним (1), 24-Июл-23, 12:11

а зачем выкладывать дамп с персональными данными? это незаконно во многих юрисдикциях. Вы доверите какой-то проге свою юридическую безопасность?

Ответить | Правка | Наверх | Cообщить модератору

2. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +7 +/–

Сообщение от pashev.ru (?), 24-Июл-23, 12:25

Для внутреней разработки и тестовых развертываний. Чувствительные данные надо «замазывать».

Ответить | Правка | Наверх | Cообщить модератору

15. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +1 +/–

Сообщение от keydon (ok), 24-Июл-23, 18:50

Чувствительные данные не надо хранить.
Уж сколько раз и крупные корпорации и банки и правительственные конторы утекали.
Но нет, надо же чтобы были подписки (а значит и номера карт), обращение по имени (а значит ФИО), геотаргетинг (а значит адрес) и прочее "для вашего удобства" (на самом деле нет, чтобы можно было использовать базу для маркетинга).
В большинстве случаев ничего из этого не нужно.
Покупки с адресом можно делать и анонимно, достаточно показать пользователю id заказа. Соотнести любую информацию с ним можно по адресу или по номеру кредитной карты (которая сама по себе гораздо менее чувствительна).
Но конечно бесконечное количество глупых законов и маркетолухов не дадут этого сделать.

Ответить | Правка | Наверх | Cообщить модератору

17. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +1 +/–

Сообщение от _ (??), 24-Июл-23, 21:08

>Чувствительные данные не надо хранить.
Ты опоздал родиться. Века на два как минимум :)

Ответить | Правка | Наверх | Cообщить модератору

21. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +1 +/–

Сообщение от BeLord (ok), 25-Июл-23, 09:57

И как вы без хранения данных предлагаете привязать юзера к его мед.карте, к примеру?-)))

Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

22. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." –1 +/–

Сообщение от rshadow (ok), 25-Июл-23, 19:16

Для какой-то обработки они тебе никогда не нужны. Все равно внутри оперируешь просто id-шниками.
Если, например, надо ФИО написать в карточке, то тут надо хранить пары id-фио в отдельной базе/сервисе (более строго защищенных) или вообще отдать на хранение провайдеру идентификации (google, vk id и т.д., через что он у вас там логинится) и ходить за ними когда надо. Для этого собственно oauth со скоупами и придумали.

Ответить | Правка | Наверх | Cообщить модератору

23. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." –1 +/–

Сообщение от gg (??), 26-Июл-23, 09:30

> на хранение провайдеру идентификации (google
который будет ими торговать, ровно как сейчас это и происходит, вот вырисовывается выбор, хранить номер карты в базе вордпреса местной областной больнички, где админчик получает 45к наруки или у дяди билли среди миллионов таких же как ты, а уж дядя билли и нейросеть купит, и обучит, и найдет способ тебе чтото продать, а если не сам, то третьим лицам продаст..
Собственно с этой точки точки зрения разницы нет, сольют базу злодеи через дыру, или купят у барыги, вопрос в качестве материала, уж не будет админчик за 45к ее валидировать и поддерживать в актуальном состоянии годами, а барыга будет.
Вопрос только в том, что Дядям, очень не хочется иметь дел с админчиками, поэтому и пишутся законы о защите, которые вынуждают и тебя и админчика идти к барыгам, которые эту инфу по первому челчку запакуют и отправят этим Дядям.
Вот лично я, предпочел бы админчика, и вордпресс, куда я могу зайти и поменять себе и номер карты и фамилию, и телефон, и пусть звонят туда мошенники и пытаются там выудить денег.
а вот с барыгами такой фокус уже не проканает

Ответить | Правка | Наверх | Cообщить модератору

24. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от rshadow (ok), 26-Июл-23, 09:46

В этом плане мне больше нравится если бы вход везде был через госуслуги. Государство все равно о тебе и так все знает. Ну по крайней мере для легальных сайтов почему бы и нет. Конечно на википедию таким образом уже было бы не зайти ))
Ну либо вариант хранить самому. Наверно для каких-то чувствительных вещей вида медицины было бы неплохо делать так. Главное чтобы этим занимался эксперт а не доморощенный админ. Везде все утекает, но вопрос скорее чтобы цена не была уж слишком дешевой.

Ответить | Правка | Наверх | Cообщить модератору

29. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от BeLord (ok), 27-Июл-23, 09:32

> В этом плане мне больше нравится если бы вход везде был через
> госуслуги. Государство все равно о тебе и так все знает. Ну
> по крайней мере для легальных сайтов почему бы и нет. Конечно
> на википедию таким образом уже было бы не зайти ))
> Ну либо вариант хранить самому. Наверно для каких-то чувствительных вещей вида медицины
> было бы неплохо делать так. Главное чтобы этим занимался эксперт а
> не доморощенный админ. Везде все утекает, но вопрос скорее чтобы цена
> не была уж слишком дешевой.
Для каких-то вещей типа медицины уже давно через госулуги доступ, а само ПО в защищенных ЦОД. Хранить данные самому крайне дорого и особого смысла в этом нет.

Ответить | Правка | Наверх | Cообщить модератору

30. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от BeLord (ok), 27-Июл-23, 09:33

> Для какой-то обработки они тебе никогда не нужны. Все равно внутри оперируешь
> просто id-шниками.
> Если, например, надо ФИО написать в карточке, то тут надо хранить пары
> id-фио в отдельной базе/сервисе (более строго защищенных) или вообще отдать на
> хранение провайдеру идентификации (google, vk id и т.д., через что он
> у вас там логинится) и ходить за ними когда надо. Для
> этого собственно oauth со скоупами и придумали.
Через гугл, ПДн, ай молодца. 152-ФЗ стоит почитать для разнообразия.

Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

26. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от keydon (ok), 26-Июл-23, 11:42

> И как вы без хранения данных предлагаете привязать юзера к его мед.карте,
> к примеру?-)))
Примерно также как делали это столетие или примерно также как это делает биткойн - по корешку и обложки медкарты (айдишнику), которая вообще говоря может быть и без фамилии и имени (просто такой вот хэш приняли в медучреждении).

Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору

4. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от pashev.ru (?), 24-Июл-23, 12:30

На самом деле, эта штука бесполезна. Я рекомендую в каждом конкретном случае делать это самостоятельно, хоть на Баше, потому что никто, кроме вас не знает вашу БД. Думаю, этот прожект и вырос из такой самоделки, но для других он бесполезен.

Ответить | Правка | Наверх | Cообщить модератору

6. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +2 +/–

Сообщение от Виктор (??), 24-Июл-23, 13:37

Понятное дело, что никто лучше вас самих вашу БД не знает. Скажу больше - если вы не знаете свою БД, то и пользоваться этим инструментом вы не сможете, так как он магию за вас не сделает и не определит самостоятельно где лежат чувствительные данные для вашего бизнеса и как их нужно изменить. Его задача заключается в том, чтобы максимально упростить работу по изменению этих самых данных, чтоб, как вы сказали, не сидеть и не сочинять скрипты на баше, заниматься их отладкой и поддержкой, а просто написать конфиг, где даже знания SQL не нужны.

Ответить | Правка | Наверх | Cообщить модератору

12. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +1 +/–

Сообщение от pashev.ru (?), 24-Июл-23, 17:02

> том, чтобы максимально упростить работу по изменению этих самых данных, чтоб,
> как вы сказали, не сидеть и не сочинять скрипты на баше,
> заниматься их отладкой и поддержкой, а просто написать конфиг, где даже
> знания SQL не нужны.
Ага, учить новый язык шаблоны и прочую святотень вместо уже хорошо известного SQL.

Ответить | Правка | Наверх | Cообщить модератору

13. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от pashev.ru (?), 24-Июл-23, 17:11

1. Берётся ежедневный бэкап (дамп).
2. Импортируется на отдельном сервере.
3. На этом сервере прогоняется запросы на чистку/изменение данных.
4. Делается дамп, раздаётся разработчикам или/и импортируется в тестовое окружение.
Пункты 3 и 4 могут быть посложнее, например разработчикам удобнее дамп поменьше.

Ответить | Правка | Наверх | Cообщить модератору

14. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от pashev.ru (?), 24-Июл-23, 17:14

Это всё заодно и является проверкой адекватности бэкапов )
Разумеется, легко автоматизируется.

Ответить | Правка | Наверх | Cообщить модератору

16. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от keydon (ok), 24-Июл-23, 18:58

Я конечно и сам так делал.
Но вообще говоря есть разные сценарии и требования.
И если где-то достаточно через awk заменить все даты рождения 3 января 2009 года, то где-то для тестирования и верификации нужны разные даты. А еще есть имена, адреса и т.д..
Но в идеале конечно лучше просто не работать ни с какими чувствительными данными. Нет данных - нет проблем.

Ответить | Правка | Наверх | Cообщить модератору

20. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от WE (?), 25-Июл-23, 07:39

продолжу. нет проблем - нет продаж - нет денег.

Ответить | Правка | Наверх | Cообщить модератору

25. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от keydon (ok), 26-Июл-23, 11:38

> продолжу. нет проблем - нет продаж - нет денег.
"А я в принципе и так лежу и ничего не делаю"

Ответить | Правка | Наверх | Cообщить модератору

31. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от pashev.ru (?), 27-Июл-23, 09:35

Да какой авк? Я же написал — работать с базой данных, скл.

Ответить | Правка | К родителю #16 | Наверх | Cообщить модератору

33. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от keydon (ok), 27-Июл-23, 16:12

> Да какой авк? Я же написал — работать с базой данных, скл.
А следующий этап этап зашаблонить этот скл и оформить в виде плагина и вот он, такой же инструмент для анонимизации, только заточенный на одну компанию и самим дебажить.

Ответить | Правка | Наверх | Cообщить модератору

5. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от Аноним (5), 24-Июл-23, 13:24

Анонимизация на языке GO! :)
google с нами :)

Ответить | Правка | Наверх | Cообщить модератору

7. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от Василий Топоров (?), 24-Июл-23, 13:49

Единственная связь с Google там - прокси, задаваемый через переменную окружения GOPROXY (и через неё же и отключаемый). Но это свойство вашей установки Go, а не конкретного софта.

Ответить | Правка | Наверх | Cообщить модератору

9. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от Аноним (9), 24-Июл-23, 15:43

Там же вроде ещё и телеметрия в утилитах, или она не по-умолчанию?

Ответить | Правка | Наверх | Cообщить модератору

8. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от Бывалый смузихлёб (?), 24-Июл-23, 14:07

> для анонимизации дампа баз данных
Это как ? Типо, по конкретному адресу и с конкретными кредами подключаюсь к хз кому ради хз чего ?

Ответить | Правка | Наверх | Cообщить модератору

18. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." –1 +/–

Сообщение от _ (??), 24-Июл-23, 21:22

Тебе это не надо. Это для компУтерЩикаФФФ" :)

Ответить | Правка | Наверх | Cообщить модератору

19. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от _ (??), 24-Июл-23, 21:24

Для компУтерЩикаФФФ" :)  - вот вам Ыкзампель:
export PGPASSWORD=password; pg_dump -U postgres prod | /path/to/nxs-data-anonymizer -t pgsql -c /path/to/nxs-data-anonymizer.conf | psql -U postgres dev
Сам это юзать не буду, у нас спецтулза для этого закуплена за тЫЩЩи нФФти :)))

Ответить | Правка | Наверх | Cообщить модератору

34. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от пох. (?), 03-Авг-23, 17:11

> Сам это юзать не буду, у нас спецтулза для этого закуплена за тЫЩЩи нФФти :)))
awk ?
sed, небось, дешевле бы стоил...

Ответить | Правка | Наверх | Cообщить модератору

27. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." –2 +/–

Сообщение от pavlinux (ok), 26-Июл-23, 14:07

Оxocпадя, eгэшники ввыросли.
$ mysqldump bazadata | gpg  -c > ~/bazadata.gpg

> Возможность удаления таблиц и строк из анонимизированного дампа;
Ну давайте, расскажите как удалить "известную строку" и неизвестного дампа? (без временной деанонимизации)

Ответить | Правка | Наверх | Cообщить модератору

28. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..." +/–

Сообщение от Виктор (??), 27-Июл-23, 08:46

> Оxocпадя, eгэшники ввыросли.
> $ mysqldump bazadata | gpg  -c > ~/bazadata.gpg
И что вы этим хотели сказать? Что умеете хранить данные БД в шифрованном виде? Так здесь речь как бы не про это. Как мне это должно помочь залить на dev-стенд БД без чувствительных данных с прода?
> Ну давайте, расскажите как удалить "известную строку" и неизвестного дампа? (без временной деанонимизации)
Вы хорошо прочитали описание тулзы и что здесь подразумевается под словом анонимизация? На всякий случай оставлю это тут - тулза затирает именно данные, а не саму структуру БД. Поэтому что вас смущает в исходном утверждении непонятно от слова совсем.

Ответить | Правка | Наверх | Cообщить модератору

32. Скрыто модератором +1 +/–

Сообщение от ivan_erohin (?), 27-Июл-23, 10:00

> | gpg  -c
добавьте пару человеко-дней на возню с pinentry, gpg-agent, несовместимость версий gpg 1 и 2 и т.д.

Ответить | Правка | Наверх | Cообщить модератору

35. Скрыто модератором +/–

Сообщение от пох. (?), 03-Авг-23, 17:13

> добавьте пару человеко-дней на возню с pinentry, gpg-agent, несовместимость версий gpg
> 1 и 2 и т.д.
зачем, тут же не сказано что он это еще и расшифровывать собирается. mission accomplished, чо.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
Сообщение от Аноним (1), 24-Июл-23, 12:11
а зачем выкладывать дамп с персональными данными? это незаконно во многих юрисдикциях. Вы доверите какой-то проге свою юридическую безопасность?
Ответить \| Правка \| Наверх \| Cообщить модератору


	2. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+7 +/–
	Сообщение от pashev.ru (?), 24-Июл-23, 12:25
	Для внутреней разработки и тестовых развертываний. Чувствительные данные надо «замазывать».
	Ответить \| Правка \| Наверх \| Cообщить модератору


	15. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+1 +/–
	Сообщение от keydon (ok), 24-Июл-23, 18:50
	Чувствительные данные не надо хранить. Уж сколько раз и крупные корпорации и банки и правительственные конторы утекали. Но нет, надо же чтобы были подписки (а значит и номера карт), обращение по имени (а значит ФИО), геотаргетинг (а значит адрес) и прочее "для вашего удобства" (на самом деле нет, чтобы можно было использовать базу для маркетинга). В большинстве случаев ничего из этого не нужно. Покупки с адресом можно делать и анонимно, достаточно показать пользователю id заказа. Соотнести любую информацию с ним можно по адресу или по номеру кредитной карты (которая сама по себе гораздо менее чувствительна). Но конечно бесконечное количество глупых законов и маркетолухов не дадут этого сделать.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	17. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+1 +/–
	Сообщение от _ (??), 24-Июл-23, 21:08
	>Чувствительные данные не надо хранить. Ты опоздал родиться. Века на два как минимум :)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	21. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+1 +/–
	Сообщение от BeLord (ok), 25-Июл-23, 09:57
	И как вы без хранения данных предлагаете привязать юзера к его мед.карте, к примеру?-)))
	Ответить \| Правка \| К родителю #15 \| Наверх \| Cообщить модератору


	22. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	–1 +/–
	Сообщение от rshadow (ok), 25-Июл-23, 19:16
	Для какой-то обработки они тебе никогда не нужны. Все равно внутри оперируешь просто id-шниками. Если, например, надо ФИО написать в карточке, то тут надо хранить пары id-фио в отдельной базе/сервисе (более строго защищенных) или вообще отдать на хранение провайдеру идентификации (google, vk id и т.д., через что он у вас там логинится) и ходить за ними когда надо. Для этого собственно oauth со скоупами и придумали.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	23. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	–1 +/–
	Сообщение от gg (??), 26-Июл-23, 09:30
	> на хранение провайдеру идентификации (google который будет ими торговать, ровно как сейчас это и происходит, вот вырисовывается выбор, хранить номер карты в базе вордпреса местной областной больнички, где админчик получает 45к наруки или у дяди билли среди миллионов таких же как ты, а уж дядя билли и нейросеть купит, и обучит, и найдет способ тебе чтото продать, а если не сам, то третьим лицам продаст.. Собственно с этой точки точки зрения разницы нет, сольют базу злодеи через дыру, или купят у барыги, вопрос в качестве материала, уж не будет админчик за 45к ее валидировать и поддерживать в актуальном состоянии годами, а барыга будет. Вопрос только в том, что Дядям, очень не хочется иметь дел с админчиками, поэтому и пишутся законы о защите, которые вынуждают и тебя и админчика идти к барыгам, которые эту инфу по первому челчку запакуют и отправят этим Дядям. Вот лично я, предпочел бы админчика, и вордпресс, куда я могу зайти и поменять себе и номер карты и фамилию, и телефон, и пусть звонят туда мошенники и пытаются там выудить денег. а вот с барыгами такой фокус уже не проканает
	Ответить \| Правка \| Наверх \| Cообщить модератору


	24. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
	Сообщение от rshadow (ok), 26-Июл-23, 09:46
	В этом плане мне больше нравится если бы вход везде был через госуслуги. Государство все равно о тебе и так все знает. Ну по крайней мере для легальных сайтов почему бы и нет. Конечно на википедию таким образом уже было бы не зайти )) Ну либо вариант хранить самому. Наверно для каких-то чувствительных вещей вида медицины было бы неплохо делать так. Главное чтобы этим занимался эксперт а не доморощенный админ. Везде все утекает, но вопрос скорее чтобы цена не была уж слишком дешевой.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	29. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
	Сообщение от BeLord (ok), 27-Июл-23, 09:32
	> В этом плане мне больше нравится если бы вход везде был через > госуслуги. Государство все равно о тебе и так все знает. Ну > по крайней мере для легальных сайтов почему бы и нет. Конечно > на википедию таким образом уже было бы не зайти )) > Ну либо вариант хранить самому. Наверно для каких-то чувствительных вещей вида медицины > было бы неплохо делать так. Главное чтобы этим занимался эксперт а > не доморощенный админ. Везде все утекает, но вопрос скорее чтобы цена > не была уж слишком дешевой. Для каких-то вещей типа медицины уже давно через госулуги доступ, а само ПО в защищенных ЦОД. Хранить данные самому крайне дорого и особого смысла в этом нет.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	30. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
	Сообщение от BeLord (ok), 27-Июл-23, 09:33
	> Для какой-то обработки они тебе никогда не нужны. Все равно внутри оперируешь > просто id-шниками. > Если, например, надо ФИО написать в карточке, то тут надо хранить пары > id-фио в отдельной базе/сервисе (более строго защищенных) или вообще отдать на > хранение провайдеру идентификации (google, vk id и т.д., через что он > у вас там логинится) и ходить за ними когда надо. Для > этого собственно oauth со скоупами и придумали. Через гугл, ПДн, ай молодца. 152-ФЗ стоит почитать для разнообразия.
	Ответить \| Правка \| К родителю #22 \| Наверх \| Cообщить модератору


	26. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
	Сообщение от keydon (ok), 26-Июл-23, 11:42
	> И как вы без хранения данных предлагаете привязать юзера к его мед.карте, > к примеру?-))) Примерно также как делали это столетие или примерно также как это делает биткойн - по корешку и обложки медкарты (айдишнику), которая вообще говоря может быть и без фамилии и имени (просто такой вот хэш приняли в медучреждении).
	Ответить \| Правка \| К родителю #21 \| Наверх \| Cообщить модератору

4. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
Сообщение от pashev.ru (?), 24-Июл-23, 12:30
На самом деле, эта штука бесполезна. Я рекомендую в каждом конкретном случае делать это самостоятельно, хоть на Баше, потому что никто, кроме вас не знает вашу БД. Думаю, этот прожект и вырос из такой самоделки, но для других он бесполезен.
Ответить \| Правка \| Наверх \| Cообщить модератору


	6. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+2 +/–
	Сообщение от Виктор (??), 24-Июл-23, 13:37
	Понятное дело, что никто лучше вас самих вашу БД не знает. Скажу больше - если вы не знаете свою БД, то и пользоваться этим инструментом вы не сможете, так как он магию за вас не сделает и не определит самостоятельно где лежат чувствительные данные для вашего бизнеса и как их нужно изменить. Его задача заключается в том, чтобы максимально упростить работу по изменению этих самых данных, чтоб, как вы сказали, не сидеть и не сочинять скрипты на баше, заниматься их отладкой и поддержкой, а просто написать конфиг, где даже знания SQL не нужны.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	12. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+1 +/–
	Сообщение от pashev.ru (?), 24-Июл-23, 17:02
	> том, чтобы максимально упростить работу по изменению этих самых данных, чтоб, > как вы сказали, не сидеть и не сочинять скрипты на баше, > заниматься их отладкой и поддержкой, а просто написать конфиг, где даже > знания SQL не нужны. Ага, учить новый язык шаблоны и прочую святотень вместо уже хорошо известного SQL.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	13. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
	Сообщение от pashev.ru (?), 24-Июл-23, 17:11
	1. Берётся ежедневный бэкап (дамп). 2. Импортируется на отдельном сервере. 3. На этом сервере прогоняется запросы на чистку/изменение данных. 4. Делается дамп, раздаётся разработчикам или/и импортируется в тестовое окружение. Пункты 3 и 4 могут быть посложнее, например разработчикам удобнее дамп поменьше.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	14. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
	Сообщение от pashev.ru (?), 24-Июл-23, 17:14
	Это всё заодно и является проверкой адекватности бэкапов ) Разумеется, легко автоматизируется.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	16. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
	Сообщение от keydon (ok), 24-Июл-23, 18:58
	Я конечно и сам так делал. Но вообще говоря есть разные сценарии и требования. И если где-то достаточно через awk заменить все даты рождения 3 января 2009 года, то где-то для тестирования и верификации нужны разные даты. А еще есть имена, адреса и т.д.. Но в идеале конечно лучше просто не работать ни с какими чувствительными данными. Нет данных - нет проблем.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	20. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
	Сообщение от WE (?), 25-Июл-23, 07:39
	продолжу. нет проблем - нет продаж - нет денег.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	25. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
	Сообщение от keydon (ok), 26-Июл-23, 11:38
	> продолжу. нет проблем - нет продаж - нет денег. "А я в принципе и так лежу и ничего не делаю"
	Ответить \| Правка \| Наверх \| Cообщить модератору


	31. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
	Сообщение от pashev.ru (?), 27-Июл-23, 09:35
	Да какой авк? Я же написал — работать с базой данных, скл.
	Ответить \| Правка \| К родителю #16 \| Наверх \| Cообщить модератору


	33. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
	Сообщение от keydon (ok), 27-Июл-23, 16:12
	> Да какой авк? Я же написал — работать с базой данных, скл. А следующий этап этап зашаблонить этот скл и оформить в виде плагина и вот он, такой же инструмент для анонимизации, только заточенный на одну компанию и самим дебажить.
	Ответить \| Правка \| Наверх \| Cообщить модератору

5. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
Сообщение от Аноним (5), 24-Июл-23, 13:24
Анонимизация на языке GO! :) google с нами :)
Ответить \| Правка \| Наверх \| Cообщить модератору


	7. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
	Сообщение от Василий Топоров (?), 24-Июл-23, 13:49
	Единственная связь с Google там - прокси, задаваемый через переменную окружения GOPROXY (и через неё же и отключаемый). Но это свойство вашей установки Go, а не конкретного софта.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	9. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
	Сообщение от Аноним (9), 24-Июл-23, 15:43
	Там же вроде ещё и телеметрия в утилитах, или она не по-умолчанию?
	Ответить \| Правка \| Наверх \| Cообщить модератору

8. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
Сообщение от Бывалый смузихлёб (?), 24-Июл-23, 14:07
> для анонимизации дампа баз данных Это как ? Типо, по конкретному адресу и с конкретными кредами подключаюсь к хз кому ради хз чего ?
Ответить \| Правка \| Наверх \| Cообщить модератору


	18. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	–1 +/–
	Сообщение от _ (??), 24-Июл-23, 21:22
	Тебе это не надо. Это для компУтерЩикаФФФ" :)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	19. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
	Сообщение от _ (??), 24-Июл-23, 21:24
	Для компУтерЩикаФФФ" :) - вот вам Ыкзампель: export PGPASSWORD=password; pg_dump -U postgres prod \| /path/to/nxs-data-anonymizer -t pgsql -c /path/to/nxs-data-anonymizer.conf \| psql -U postgres dev Сам это юзать не буду, у нас спецтулза для этого закуплена за тЫЩЩи нФФти :)))
	Ответить \| Правка \| Наверх \| Cообщить модератору


	34. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
	Сообщение от пох. (?), 03-Авг-23, 17:11
	> Сам это юзать не буду, у нас спецтулза для этого закуплена за тЫЩЩи нФФти :))) awk ? sed, небось, дешевле бы стоил...
	Ответить \| Правка \| Наверх \| Cообщить модератору

27. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	–2 +/–
Сообщение от pavlinux (ok), 26-Июл-23, 14:07
Оxocпадя, eгэшники ввыросли. $ mysqldump bazadata \| gpg -c > ~/bazadata.gpg > Возможность удаления таблиц и строк из анонимизированного дампа; Ну давайте, расскажите как удалить "известную строку" и неизвестного дампа? (без временной деанонимизации)
Ответить \| Правка \| Наверх \| Cообщить модератору


	28. "Релиз nxs-data-anonymizer 1.0.0, инструмента для анонимизаци..."	+/–
	Сообщение от Виктор (??), 27-Июл-23, 08:46
	> Оxocпадя, eгэшники ввыросли. > $ mysqldump bazadata \| gpg -c > ~/bazadata.gpg И что вы этим хотели сказать? Что умеете хранить данные БД в шифрованном виде? Так здесь речь как бы не про это. Как мне это должно помочь залить на dev-стенд БД без чувствительных данных с прода? > Ну давайте, расскажите как удалить "известную строку" и неизвестного дампа? (без временной деанонимизации) Вы хорошо прочитали описание тулзы и что здесь подразумевается под словом анонимизация? На всякий случай оставлю это тут - тулза затирает именно данные, а не саму структуру БД. Поэтому что вас смущает в исходном утверждении непонятно от слова совсем.
	Ответить \| Правка \| Наверх \| Cообщить модератору