VTORNIK.Вечер #8: саммари выступлений

26 мая мы провели восьмой VTORNIK.Вечер в рамках серии бесплатных оффлайн мероприятий о внедрении AI в организациях. На мероприятии присутствовали руководители компаний, тимлиды, AI-leaders, аналитики, ML-инженеры и разработчики. В программе традиционно было два доклада.

Точка А: Проблемы роста и «вертикальные колодцы»
Два с половиной года назад продукт столкнулся с классическими «болями» быстрорастущих систем:

• Высокий Time-to-Market: любой проект или разработка модели занимали минимум один месяц, а зачастую растягивались на срок от двух до шести месяцев.
• Разобщенность команд: аналитики, дата-сайнтисты (DS) и инженеры данных (DE) работали в изолированных «пузырях». Это приводило к дублированию фичей и конфликтам: DS могли создать фичу для модели, которую инженеры технически не могли внедрить в продакшн.
• Кризис планирования: в Jira скопились миллионы задач, они были расписаны на год вперед, но команда не понимала общих целей и ценности своей работы.
• Технологический потолок: из-за дублирования процессов и неоптимального кода команда уперлась в физические мощности кластера.

Стратегия трансформации: от задач к ценности
Первым шагом стал переход к Value-ориентированному подходу. Бэклог был очищен (удалено более 30% задач), и введено квартальное планирование на 12 недель (6 спринтов). Теперь у каждой цели есть ответственный, который декомпозирует её и понимает, какой бизнес-эффект она принесет.

• Объединение DS и аналитики

Команды аналитиков и дата-сайнтистов были объединены, чтобы стереть границы в коммуникациях. Это позволило им использовать общие инструменты и синхронизировать процессы ретротестов (которых проводится около 200 в год) и обучения моделей (около 100 в год).

• Дата-инженерия как Self-Service

Ключевым изменением стал пересмотр роли дата-инженеров. Вместо того чтобы просто писать код по заявкам, DE создали инструментарий («обертку»), который позволил аналитикам и DS самостоятельно писать DAG-и и выводить решения в прод.

• Новая роль DE:

1. Контроль и ревью: инженеры стали «контролирующим органом», проверяющим код других команд на соответствие стандартам,
2. Стандартизация: был внедрен жесткий принцип «одна задача — одна витрина». Все процессы стали единообразными, что упростило поиск ошибок и разбор инцидентов,
3. Оптимизация: вовлечение DS в написание кода для продакшна заставило их думать об эффективности. Например, вместо «тяжелой» фичи, которая считается сутки, теперь выбираются решения, дающие аналогичный эффект при меньшей нагрузке на кластер.

Единый Feature Store и контроль качества
Для решения проблемы расхождения данных в тестах и на проде была создана единая библиотека (Feature Store). Она содержит логику расчета фичей (агрегаты за период, поиск последнего значения), которая идентична как для исторических расчетов (ретротестов), так и для продакшена.
Контроль качества данных (Data Quality) осуществляется через внутренний инструмент. Система позволяет настраивать проверки (включая PSI для мониторинга стабильности распределения фичей), настраивать алерты и визуализировать метрики в Grafana.

Благодаря трансформации удалось достичь следующих показателей:

• Снижение TTM: при необходимости разработка и внедрение модели теперь могут быть выполнены за один спринт (2 недели), тогда как раньше на это не хватало и месяца.
• Прозрачность: команда понимает цели бизнеса, а инженеры получили время на развитие инструментов вместо тушения пожаров.
• Стабильность для клиентов: несмотря на консерватизм банковского сектора в вопросах скоринга, переход на новые фичи и модели стал более предсказуемым и обоснованным.

Как отмечает Влад, не существует «идеального рецепта» на все времена. Процессы должны эволюционировать вместе с ростом продукта. Инструменты Self-Service и жесткая стандартизация кода — это не способ «нагрузить» аналитиков лишней работой, а инструмент масштабирования и обеспечения прозрачности всего продукта,.

ИИ — это всего лишь инструмент автоматизации. Его полезность или вред зависят исключительно от способа использования и контроля.

Угрозы и риски
Евгений привел тревожную статистику за прошлый год:

• Рост утечек конфиденциальных данных через ИИ-инструменты увеличился в 30 раз.
• 46% официальных данных утекают через чат-ботов (например, когда сотрудники загружают документы для анализа).
• «Теневой ИИ» (Shadow AI): 47% сотрудников используют ИИ через личные аккаунты, а 72% регистрируются во внешних сервисах с личных почт, что выводит инфраструктуру из-под контроля службы безопасности компании.
• Почти 100% сотрудников так или иначе используют внешние ИИ-инструменты с корпоративных устройств.

Стоимость и примеры атак:

• Средняя стоимость утечки, связанной с ИИ, составляет 330 млн рублей. Атаки с применением ИИ обходятся компании в среднем на 5 млн рублей дороже классических из-за легкости их масштабирования.
• Samsung: За 20 дней компания трижды допустила утечку чувствительных данных (исходный код нового продукта, оптимизация алгоритма и протокол совещания) через ChatGPT.
• Vercel: Интерактивный помощник компании был взломан с помощью промпт-инъекции, что привело к потере 2 млн.
• Дипфейки: Количество мошенничеств с ними выросло в 3 раза за год. Примеры включают кражу 47 млн рублей у финдиректора через эмуляцию голоса гендиректора и использование видеодипфейков в реальном времени в Zoom.

Инструменты злоумышленников: Существуют специализированные модели, такие как WormGPT (для фишинга и вредоносного кода), FraudGPT (для финансового мошенничества) и DarkBERT (обучена на данных даркнета).

ИИ на службе безопасности
Те же инструменты, что используются для взлома, могут применяться для защиты.

• Поведенческая аналитика: Антивирусы и системы защиты отслеживают аномалии. Например, если сотрудник внезапно начинает скачивать данные в 2 часа ночи, система его заблокирует.
• Автоматизация обработки инцидентов: ИИ помогает инженерам безопасности справляться с огромным потоком событий, отсеивая до 82,6% ложных срабатываний.
• Умные DLP-системы: В отличие от классических систем, работающих по шаблонам слов, ИИ-модели понимают контекст и семантику, распознавая попытки сотрудников перефразировать конфиденциальную информацию для обхода защиты.

Регуляторика в РФ: Государство активно догоняет технологии. Введены новые требования:

• Приказ №117 ФСТЕК: Запрет на использование публичных облачных ИИ в госсекторе и КИИ.
• Закон Минцифры (с сентября 2027 г.): Введение единого реестра ИИ-систем, сертификация ФСБ/ФСТЕК и консолидированная ответственность производителей за утечки, допущенные их чат-ботами.

Стратегия внедрения и план действий
Евгений сравнил внедрение просто LLM с покупкой двигателя от Ferrari без самой машины: «двигатель» есть, но ехать нельзя. Нужна инфраструктура и «хорошая рабочая бюрократия».

Ключевые элементы процесса:

• Владелец инструмента: человек, несущий персональную ответственность за работу и последствия внедрения.
• Мониторинг дрейфа модели: ИИ может начать «глючить» или «галлюцинировать» со временем (как в примере со Starbucks, где ИИ перестал узнавать товары на складе).
• Уровни зрелости: от базового (только чтение, внутренний контур) до высокого (агентные сценарии с полным аудитом каждого шага).

С чего начать прямо сейчас:

1. Аудит теневого ИИ: понять, какими внешними инструментами уже пользуются сотрудники.
2. Дать удобный внутренний инструмент: сотрудники используют сторонние сервисы, потому что им не дали удобной альтернативы внутри компании.
3. Обновить политику безопасности: описать правила работы и довести их до всех, включая топ-менеджмент.
4. Обучение: это «первый рубеж обороны». Если люди понимают риски, они действуют корректнее.

Значимый результат дает только связка «человек + машина», так как ответственность за решения всегда остается на человеке.

Наши ивенты дают хорошую возможность пообщаться и обменяться опытом внедрения ИИ, будем рады видеть вас на нашем следующем оффлайн встрече в конце августа. Следите за анонсами в нашем телеграм-канале.

Отдельная благодарность нашим партнерам ГК «Солар» за возможность проводить митапы в их красивом и гостеприимном офисе.

Если вы хотите провести образовательную программу в своей компании или получить консультацию наших преподавателей и экспертов, пожалуйста, пишите на info@vtornik.company.