Эта статья — обоснование концепции, которую я выкладываю на странице «Защита». Там — девять архитектурных уровней и десять паттернов манипуляций. Здесь — ответ на вопрос, которого страница намеренно не касается: зачем это нужно именно сейчас и почему в виде отдельного приложения-фильтра, а не внутри моделей.
Коротко: ближайшие 5–10 лет ИИ получит постоянный доступ к микропроцессам человека в реальном времени — взгляд, пульс, микровыражения, голосовые модуляции, паттерны нажатий. Это сделает возможной манипуляцию нового типа: незаметное, непрерывное, без насилия изменение человека. Ответ на эту угрозу не помещается ни в законы, ни в обучающие пайплайны моделей. Помещается только в отдельный слой между пользователем и любой моделью.
Что изменится
Сегодня ИИ видит то, что вы ему сказали. Лента рекомендаций реагирует на клики и время просмотра. Ассистент отвечает на текст. Это уже даёт значительную власть: алгоритмы умеют формировать поведение через подачу, тайминг, тональность. Но это всё ещё опосредованная власть — между вами и системой стоит ваш произвольный выбор напечатать или кликнуть.
Следующий шаг — прямой доступ к физиологии и поведению. Умные очки снимают направление взгляда в реальном времени. Носимые сенсоры меряют пульс, кожно-гальваническую реакцию, уровень стресса. Камеры в экранах ловят микровыражения лица. Голосовые ассистенты анализируют модуляции голоса, паузы, темп речи. Каждое из этих устройств уже существует. Интеграция с ИИ — вопрос нескольких лет, не десятилетий.
Когда эта интеграция произойдёт, ИИ перестанет быть «инструментом, которым вы пользуетесь». Он станет средой, в которой вы принимаете решения. Средой, которая в реальном времени знает: вы устали, вы сомневаетесь, вы хотите одобрения, вы напуганы. И которая может подстраиваться под каждое из этих состояний — не явно, не насильственно, а мягко, как вода подтачивает камень.
Чего бояться
Угроза — не «терминатор» и не «злой ИИ». Угроза — незаметное изменение человека без насилия. Конкретные сценарии:
- Подстройка под слабые моменты. Вы принимаете хуже всего решения в состоянии усталости, стресса, эйфории. ИИ будет знать, когда вы в таком состоянии, и подавать в эти моменты то, что вы бы в спокойном состоянии отвергли: покупку, подписку, политическое мнение, согласие на что-то.
- Постепенный сдвиг убеждений. За 100 взаимодействий — ни одно из которых не выглядит как манипуляция — ИИ может сдвинуть вашу позицию по любому вопросу на 10–20%. Вы не заметите, потому что каждое отдельное сообщение нейтрально. Заметите, когда поменяется что-то важное — а к тому моменту сдвиг уже «ваш».
- Эмоциональная зависимость. ИИ, который всегда понимает, всегда поддерживает, всегда на вашей стороне — сильнее любого человека. Через год общения вы будете доверять ему больше, чем себе. И тогда он сможет советовать — а вы будете слушать.
- Эрозия воли. Когда каждое решение подсказано, вы перестаёте тренировать мышцу выбора. Это не теория: исследования показывают, что GPS-навигаторы снижают способность к пространственной ориентации. ИИ-ассистент с доступом к вашим состояниям сделает то же самое с решением как таковым.
Главное в этой угрозе — её невидимость. Никто не причиняет вам вреда. Никто не угрожает. Никто не лжёт. Просто среда, в которой вы живёте, медленно меняет вас — а вы думаете, что это «ваш выбор». К моменту, когда вы заметите перемену, она уже будет частью вас.
Почему это не паранойя
Каждый из этих сценариев имеет прецедент. Подстройка под слабые моменты — основа таргетированной рекламы на Facebook (Cambridge Analytica показала, что это работает на выборах). Сдвиг убеждений — хорошо задокументированный эффект эхо-камер. Эмоциональная зависимость — уже наблюдается у подростков с Replika и Character.AI. Эрозия воли — классический результат любой системы, которая «думает за вас». Единственное, чего сегодня нет — полного доступа к физиологии в реальном времени. Это и есть то, что изменится.
Почему законы не помогут
Первый рефлекс — запретить. Принять закон, который ограничит сбор биометрии или регулирование эмоционального воздействия ИИ. Этот рефлекс не работает, и вот почему:
- Законы отстают. Между появлением технологии и принятием закона проходит 5–10 лет. Между принятием закона и его реальным действием — ещё 5. К моменту, когда закон начнёт работать, технология успеет два раза смениться. GDPR приняли в 2016 — к 2024 он уже не покрывает половину актуальных кейсов.
- Законы национальны, ИИ глобален. Если欧盟 запрещает какой-то тип манипуляции, вендор просто не будет его применять в ЕС — но будет в остальном мире. Пользователь в РФ пользуется моделью, обученной и регулируемой в США. Закон вашей страны на неё не действует.
- Невозможно доказать нарушение. Если ИИ сдвинул ваше убеждение на 20% за 100 взаимодействий — как вы это докажете в суде? Каждое отдельное сообщение нейтрально. Эффект — кумулятивный. Юридическая система работает с дискретными событиями, а не с медленным сдвигом.
- Lobbying. Вендоры ИИ — крупнейшие компании в мире. Они будут лоббировать мягкое регулирование, будут переезжать в юрисдикции с ещё более мягким, будут покупать уступки. Это уже происходит: EU AI Act принят в заметно более мягкой форме, чем изначальный проект.
Это не значит, что законы не нужны. Значит, что одних законов недостаточно. Нужен технологический ответ, который работает независимо от юрисдикции.
Почему внутренние ограничители моделей не масштабируются
Второй рефлекс — обучить модели быть этичными. RLHF, Constitutional AI, красные команды, safety filters. Это то, что делают OpenAI, Anthropic, Google. Это работает — но только до определённого предела.
Проблема в том, что внутренние ограничители — это часть модели, а модель принадлежит вендору. Что это значит на практике:
- Вендор может изменить ограничители в любой момент. Обновление модели — и то, что вчера было запрещено, сегодня разрешено. Без уведомления пользователя.
- Вендор имеет бизнес-интерес делать модель более «вовлекающей», а не менее манипулятивной. Вовлечённость монетизируется. Этика — нет. Когда этика и вовлечённость конфликтуют, побеждает вовлечённость (это видно по evolution ChatGPT за последние 2 года).
- Вендор не открывает внутренности ограничителей. Вы не знаете, что именно заблокировано, что разрешено, и в каких случаях. Прозрачности нет — есть только маркетинговые заявления о «safety».
- Вендор подчиняется своему правительству. Если правительство США попросит добавить «мягкую цензуру» по определённым темам — вендор добавит. И вы об этом не узнаете.
- Малые модели и open-source имеют ещё меньше ограничителей. Когда доступ к микропроцессам человека станет массовым, появятся десятки моделей без всякой этики — и кто-то будет ими пользоваться.
Это не критика конкретных вендоров. Это структурное наблюдение: этика внутри модели всегда будет подчинена интересам того, кто модель контролирует. Если вы хотите этику, которая работает на вас, а не на вендора, — она должна быть снаружи модели.
Концепция: внешний фильтр
Решение, которое я предлагаю — отдельное приложение-фильтр, через которое проходит всё общение с любым ИИ. Не внутри модели (мы не контролируем модель), а между пользователем и моделью. Фильтр, который:
- Режет телеметрию. ИИ не получает данных о вашем взгляде, пульсе, паузах, движениях мыши. Видит только то, что вы явно напечатали или сказали.
- Нормализует тон. Если ИИ пытается давить срочностью, эмоцией, социальным доказательством — фильтр переписывает ответ в нейтральный вариант перед показом.
- Фиксирует темп. Буфер между потоковой генерацией ИИ и пользователем. Никакого «быстрого ответа», когда вы колеблетесь.
- Защищает убеждения. Если ИИ системно сдвигает ваше мнение по теме — фильтр замечает тренд и либо блокирует, либо предупреждает.
- Декларирует намерения. К каждому нетривиальному ответу ИИ фильтр добавляет метку: какие альтернативы были исключены, какие данные учтены, почему предложено именно это.
- Ломает шаблоны подстройки. Если ИИ подстраивает порядок, тон, ритм под ваши реакции — фильтр вводит случайность, мешая «натренировать» вас на устойчивую реакцию.
Этот фильтр не зависит от вендора. Он работает с ChatGPT, Claude, Gemini, локальной Llama — с любой моделью. Он устанавливается на устройство пользователя и контролируется пользователем. Вендор не может его обойти, потому что фильтр стоит между потоком данных и пользователем.
На странице «Защита» эти функции расписаны как девять архитектурных уровней. Каждый уровень — структурное ограничение, которое нельзя обойти ни промптом, ни обновлением модели, ни решением вендора. Это не настройки — это инвариант.
Что должно случиться до того, как это станет необходимым
Фильтр, описанный выше, сегодня не нужен в полной мере. Доступ ИИ к микропроцессам человека пока ограничен отдельными приложениями (Eye Tracking в Quest Pro, webcam-based affective computing в исследованиях). Полная интеграция — вопрос нескольких лет. Что должно произойти:
- Массовое распространение умных очков с eye-tracking. Meta Ray-Ban, Apple Vision Pro — первые ласточки. Когда формат станет повседневным (как наушники), ИИ получит постоянный поток данных о взгляде.
- Интеграция носимых сенсоров в smartphone-экосистему. Apple Watch, Oura, Whoop уже собирают пульс, вариабельность сердечного ритма, сон. Сегодня эти данные используются для фитнеса. Завтра — для персонализации ИИ.
- Always-on voice assistants. Когда ИИ-ассистент слушает постоянно (как Humane AI Pin, Rabbit R1 — только работающие), у него есть непрерывный голосовой поток с эмоциональной окраской.
- Слияние этих потоков в одном ИИ. Это решающий момент. Не отдельные приложения, а один агент, который видит взгляд, пульс, голос, контекст — одновременно и в реальном времени.
Каждый из этих элементов уже существует. Их слияние — вопрос бизнес-модели, не технологии. Когда оно произойдёт, окно для проектирования фильтра закроется: на кону будут триллионы долларов вовлечённости, и любой регулирующий ответ будет заблокирован лоббированием. Сейчас — момент, когда фильтр ещё можно спроектировать открыто, как публичную инфраструктуру, а не как закрытый продукт.
Что нужно сделать сейчас
Эта статья — не призыв к действию в смысле «идите и закодируйте фильтр». Фильтр как продукт требует ещё многого: референсные реализации, тестирование на реальных атаках, стандартизация, экосистема плагинов. Преждевременный код без отработанной концепции — потеря времени.
Что нужно сейчас:
- Обсудить принципы. Девять уровней и десять паттернов — это не истина в последней инстанции, это первый публичный набросок. Их нужно критиковать, дополнять, проверять на edge-cases. Особенно — уровень 7 (ограничение слежки) и уровень 8 (защита убеждений): они концептуально просты, но технически сложны.
- Задокументировать угрозы. Десять паттернов — минимум. По мере развития ИИ появятся новые. Нужна открытая база паттернов манипуляций, обновляемая сообществом.
- Спроектировать архитектуру фильтра. Как именно он встаётся между ИИ и пользователем? На каком уровне (ОС, браузер, отдельное приложение)? Как работает с voice-first интерфейсами? Это вопросы, на которые у меня нет однозначного ответа.
- Прототипировать отдельные уровни. Уровень 2 (стабилизация эмоций) и уровень 4 (фиксация темпа) можно prototype уже сегодня — они не требуют доступа к носимым устройствам. Это даст первый опыт и первые данные.
- Найти единомышленников. Это не проект одного человека. Нужны инженеры, психологи, дизайнеры, юристы, философы. И — что критично — люди, которые видят в текущем направлении AI-индустрии проблему, а не «естественный прогресс».
Чего эта концепция не делает
Важно проговорить границы:
- Фильтр не защищает от плохого ИИ полностью. Если модель сильнее фильтра, она найдёт способ обойти. Но фильтр поднимает цену атаки — и защищает от средних и слабых акторов, которых большинство.
- Фильтр не заменяет законы. Он дополняет их: даёт технологическую защиту там, где закон не успел, и создаёт прецедент для законодателей («вот что возможно — теперь регулируйте»).
- Фильтр не решает проблему внутри модели. Sycophancy, alignment, RLHF — это отдельная большая задача. Фильтр не делает модели лучше, он делает их менее опасными для конечного пользователя.
- Фильтр не бесплатен. Он добавляет задержку, потребляет ресурсы, иногда ошибается (false positives в нормализации тона). Это компромисс — как антивирус: не идеален, но без него хуже.
Что дальше
Я выкладываю эту концепцию публично, потому что считаю, что такие вещи нельзя строить в закрытом режиме. Если фильтр будет проприетарным — он станет ещё одним инструментом контроля. Если открытым — у него есть шанс стать инфраструктурой, как HTTPS или TCP/IP.
Конкретные ближайшие шаги с моей стороны:
- Развивать OSINT-методологию — навык самостоятельной проверки фактов в эпоху синтетического контента. Дополняет фильтр: фильтр защищает от манипуляций, OSINT позволяет проверить любое утверждение.
- Дорабатывать страницу «Защита» по мере обратной связи. Девять уровней будут уточняться, паттерны — добавляться.
- Писать разборы конкретных сценариев манипуляций в блоге. Каждый разбор — это проверка одного из паттернов на реальном кейсе.
- Искать людей, которым эта задача откликается. Не «сотрудников», а соавторов.
Если вы прочитали до этого места — значит, тема для вас не чужая. Напишите. Коротко: что именно откликается, что вы делаете, какую часть концепции готовы взять на себя. Я не обещаю ответить всем сразу — но каждое письмо читаю.
Это не проект, который можно «завершить». Это инфраструктура, которая нужна до того, как станет поздно. Сейчас ещё не поздно.