PROSTO24 о прозрачности измерения точности детекции ПДн

В сфере защиты данных, когда разработчики заявляют о «точности детекции 99%», ключевым становится вопрос о методике этих измерений. Без четкого описания процесса, подобные цифры могут вводить в заблуждение, поскольку «99%» может означать как высокоточный показатель F1 на внешнем бенчмарке, так и просто факт обнаружения «чего-то» в подавляющем большинстве сообщений. Разница между этими интерпретациями критична и может выражаться в реальных утечках конфиденциальной информации.

Команда разработчиков Pigard, прокси-сервера для маскировки персональных данных (ПДн) перед их передачей в большие языковые модели (LLM), представила свою комплексную методику измерения точности. Этот подход включает использование внешних бенчмарков, создание собственной «золотой» выборки данных и тщательный анализ ошибок. Цель — обеспечить прозрачность и предоставить честные метрики, включая те, которые могут быть неудобными. Методика разработана таким образом, чтобы ее можно было воспроизвести для оценки любого вендора, включая самих разработчиков Pigard.

Открытый детектор ПДн для русского текста: PII-Guard

Проблема попадания персональных данных в языковые модели является актуальной. Пользователи и компании часто отправляют рабочие тексты, которые могут содержать имена, номера телефонов, паспортные данные и другую чувствительную информацию. Это создает значительные риски утечек.

Для противодействия этим угрозам компании разрабатывают сложные системы маскировки ПДн, которые передают моделям уже обезличенные тексты. Однако такой подход имеет свои недостатки, поскольку обезличенные ответы модели могут нарушать рабочие сценарии. В связи с этим, современные требования к системам маскировки изменились. Теперь от них ожидается не только сокрытие данных, но и способность восстанавливать их в ответах модели, которая работала с деперсонализированным текстом.

Андрей Иванов, NLP-исследователь из R&D-лаборатории red_mad_robot, подробно описал процесс создания такой системы, получившей название PII-Guard. Результаты работы доступны в открытом репозитории. В статье он представил метрики, полученные на различных датасетах, и сравнил их с показателями других доступных решений. Это демонстрирует стремление к открытости и способствует развитию более надежных инструментов для работы с чувствительными данными.