Нажал не на ту кнопку – и ты преступник, или Кому выгоден социальный рейтинг?

Век высоких технологий постоянно преподносит нам что-то новое. Но нельзя сказать, что общество воспринимает все эти новшества с восторгом. Сейчас главные опасения многих людей связаны с активным развитием искусственного интеллекта (ИИ), который постепенно может вытеснить человека из целого ряда профессий. Вызывают озабоченность и последствия тотальной цифровизации.

Добровольно-принудительно?

Мы настолько привыкли к использованию Интернета, разного рода гаджетов, электронных госуслуг и аккаунтов в цифровых сервисах (социальные сети, интернет-банкинг, маркетплейсы и др.), что исчезни всё это в один момент - многие просто потеряют смысл жизни. Одни считают цифровизацию хорошим делом, отмечая, что с ней жизнь человека стала более лёгкой и комфортной, высвободилось много свободного времени. Другие же убеждены, что слишком активное внедрение цифровизации убивает привычные и традиционные для человека социальные и культурные связи, люди перестают встречаться, проводить совместно время, так как «умные» гаджеты вытесняют живое человеческое общение.

У каждой стороны своя правда, но в данном случае неоспоримым является тот факт, что всеми этими услугами, сервисами или гаджетами мы пользуемся сами, без чьего-либо принуждения. Хотим - пользуемся, не хотим – удаляем профиль в соцсетях, аккаунт в Телеграм, Инстаграм или в другом приложении, меняем андроид на кнопочный мобильный или вообще отказываемся от средства связи. В данном случае мы принимаем решение.

Но следует заметить, что параллельно с вышеописанной, развивается и другая цифровизация, которая совсем от нас не зависит. Например, введение системы идентификационного кода для каждого человека, взятие отпечатков пальцев, сканирование сетчатки глаз решило сразу много проблем, стоявших ранее перед государствами: если человек уже взят на учёт, он никак не сможет раствориться, спрятаться. Введение различных реестров, автоматизированных систем учёта взносов социального страхования, налоговых выплат позволяет отслеживать финансовую сторону жизни налогоплательщика. Установка камер видеонаблюдения на дорогах, в госучреждениях, магазинах и многих общественных местах даёт возможность повсеместно следить за передвижениями гражданина. За нами следят и через электронные системы платежей, и через камеры мобильных телефонов и так далее.

Искусственный интеллект вместо учителя

Уже сегодня в учебных заведениях ряда стран вводят цифровые образовательные траектории, цифровые портфолио обучающихся, а ИИ привлекают для разработки этих образовательных траекторий учеников.

В России, например, Минобразования и науки намерено ввести эти так называемые образовательные траектории, общий озвучиваемый смысл которых примерно такой: все дети разные, поэтому к каждому нужен свой персональный подход, и более того, свои персональные предметы для изучения. То есть не нужно всех детей учить одинаково.

Комментируя инициативу Росминобразования, журналист, общественный деятель, руководитель проекта «На распутье.ру» Андрей Афанасьев отметил, что во всех официальных заявлениях индивидуальная траектория преподносится как какое-то абсолютное и непререкаемое благо.

– Это якобы делается для того, чтобы раскрыть все индивидуальные способности конкретного ученика, – говорит А. Афанасьев. – Для многих родителей сама идея такого индивидуального обучения ребёнка звучит довольно заманчиво. Но на самом деле то, что предлагается под видом таких траекторий, не имеет никакого отношения к персонализированному обучению. Это схема, по которой педагоги формируют судьбу и будущее ребёнка. Причём только по определённому сценарию, прописанному заранее составителями этих траекторий. Если бы это делали только учителя, это ещё полбеды, но во всех обсуждениях индивидуальных образовательных траекторий речь идёт об искусственном интеллекте, который и будет определять эти самые траектории. То есть путь обучения ребёнка будет определять не учитель, а какая-то программа. Причём написанная по неизвестным широкой публике алгоритмам.

С 1 марта 2022 года в РФ начала действовать программа «Технологии искусственного интеллекта в образовании». Проект предполагает, что некая программа, исходя из тех характеристик, которые она будет считывать с ребёнка, будет определять те материалы, по которым ему нужно учиться. И речь идёт не только об учебном процессе.

Например, в пункте «Технологии компьютерного зрения» напрямую говорится о том, что в классе будет установлено постоянное видеонаблюдение для предотвращения конфликтных ситуаций между обучающимися. В документе это звучит так: «распознавание в режиме реального времени видеоряда и оценки психоэмоционального состояния обучающихся в классе, идентификации паттернов нестабильного психоэмоционального состояния».

По мнению А. Афанасьева, речь идёт о системе распознавания эмоций, которую уже обкатали во многих школах Перми и Москвы, и она доказала свою полную бесполезность.

– Я лично разговаривал с людьми, которые непосредственно имели возможность пользоваться такой системой. Никакой пользы от неё нет. А те данные, которые она выдаёт об учениках, никак не соотносятся с реальностью, – утверждает руководитель проекта «На распутье.ру».

Еще один пункт посвящен тому, что система сама будет определять для педагога учебный план ребёнку, разрабатывать задания, исходя из его «больших данных».

– Зачем тогда нужен учитель? – вопрошает А. Афанасьев. – А учителя может вообще не быть. Так и прописано: «Совокупность описываемых технологий искусственного интеллекта может использоваться для автономного обучения без вмешательства педагогического работника посредством искусственного интеллекта-репетитора». Таким образом, некая система будет собирать с ребёнка абсолютно все данные, в том числе и поведенческие. И на основе этих данных определять его будущее, его судьбу! На основе алгоритмов, прописанных неизвестно кем и неизвестно для чего!

Афанасьев подводит к мысли, что это, по сути, является полным аналогом социального рейтинга – системы, где поведение и поступки человека напрямую влияют на возможность получения им каких-то социальных благ.

– Если ученик с первого класса учится хорошо, примерно себя ведёт (а в этой системе поведение учитывается даже больше, чем знания), то система, а не педагог, будет его вести по условной положительной траектории, где задания будут постепенно усложняться, а условный рейтинг расти, – объясняет свою точку зрения А. Афанасьев. – Если же ученик с первого класса начнёт допускать какие-то недочёты (прежде всего в поведении), то система поведёт его по совершенно другой траектории, где, наоборот, задания будут уже попроще, а на выходе он получит то, что нельзя уже в полной мере назвать образованием. При этом в процессе система и там и там будет отбрасывать ненужные, по её мнению, предметы. Но в итоге два ученика, отличник и двоечник, к концу учёбы в такой системе станут людьми одной кнопки, с той лишь разницей, что это будут немного разные кнопки, заточенные под разные функции. И эти выпускники смогут работать только в той сфере, которую им выберет программа, потому что других знаний для других профессий у них просто не будет. Это и есть главное отличие предлагаемой системы от классического образования, которое давало полный базовый пакет знаний во всех сферах. И к концу школы ребёнок уже мог выбрать, куда идти дальше учиться или работать и кем стать. В этой же системе такой возможности уже не будет. Выпускник сможет пойти только туда, куда ему укажет программа.

В системе образования Республики Молдова ещё нет таких активных движений по введению индивидуальных траекторий, но чиновники Министерства образования уже не один год говорят о том, что школьников и студентов нужно обучать под интересы бизнеса. Получивших среднее образование молодых людей призывают поступать в колледжи на рабочие специальности, объясняя, что не всем следует идти в вузы, так как стране не нужно такое количество специалистов с высшим образованием. А слово «образование» всё чаще заменяют словом «компетенция». То есть нужен человек не образованный, а умеющий выполнять какую-то одну функцию, компетенцию, исходя из потребностей работодателя.

Из передачи того же Андрея Афанасьева, выяснилось, что в России собираются заводить и цифровой профиль, куда будет собираться вся информация на каждого гражданина, начиная с рождения и на протяжении всей его жизни. Сначала планируется реализовать пилотный проект в 15 регионах, а потом распространить уже его на всю страну. Предполагается, что этот цифровой профиль будет влиять на обучение школьников и на их поступление в вузы.

Китайский вариант тотального контроля граждан

Эта система очень напоминает кредитно-социальный рейтинг, действующий сейчас в Китае. Там с 2021 года активно внедряется комплексная система социального рейтинга, которая оценивает физических и юридических лиц на основе сбора и анализа данных. Система предусматривает рейтинг от 1 до 1000 баллов или буквенную градацию от А до D. Соцрейтинг – это «процесс оценки деятельности человека в режиме реального времени на базе технологий искусственного интеллекта (ИИ)». То есть, это такое виртуальное досье на каждого человека, куда вносится вся собираемая о нём информация.

В Китае данные на людей собираются из трёх основных сфер: 1) отношения с государством (насколько своевременно гражданин перечисляет налоги и оплачивает счета, погашает кредиты, имеет ли правонарушения и т. д.); 2) поведение в обществе (нарушает или нет правила дорожного движения, выполняет ли норму по рождаемости (количеству детей в семье), честен ли в профессиональной деятельности, ответственный ли у него подход в образовании и т. д.); 3) жизнь в цифровом пространстве (как человек ведёт себя в виртуальном пространстве – культура общения с другими пользователями, надёжность и качество размещаемой им информации, анализ потребительских запросов при использовании цифровых платформ и покупок в интернет-магазинах). На основе имеющихся данных каждого человека ранжируют по категориям – благонадёжный, образцовый или неблагонадёжный. В зависимости от присвоенной категории человек имеет доступ к тем или иным услугам.

В числе прочего люди с низким рейтингом не могут претендовать на замещение широкого перечня вакансий, получать кредиты, покупать билеты на некоторые виды транспорта, а также пользоваться многими общественными благами и льготами.

Эксперты говорят, что в таких системах кнута и пряника, как социальный рейтинг или вариативное обучение, серьёзный недостаток ещё и в том, что наша жизнь так устроена, что поводов для наказания всегда гораздо больше, чем для поощрения. Соответственно, людей, которые по такой системе будут скатываться вниз, всегда будет больше. Ведь на каждом следующем уровне у них будут отбираться какие-то права и возможности, без которых ещё сложнее выплыть. Так же и в образовании. Если в начальной школе программа поведёт учащегося по низшей траектории, то он уже никогда не догонит отличников. У него просто не будет нужных для этого знаний.

А ещё невольно возникает вопрос, а что если в системе произойдёт сбой, и все баллы человека будут уничтожены, что тогда? А тогда, без сомнения, из уважаемого члена общества гражданин моментально может превратиться в изгоя. И объяснить программе, что это ошибка, невозможно. Так же и с образованием, убеждён руководитель проекта «На распутье.ру» Андрей Афанасьев. Ученика, которого искусственный интеллект сочтёт неспособным (по своим, никому не известным параметрам), такая система автоматически выкинет на обочину жизни.

Вопрос общественной дискуссии

«Светит» ли нам в ближайшее время введение такого процесса оценки деятельности граждан Молдовы, как социальный рейтинг, журналист портала Noi.md попросила прокомментировать председателя Ассоциации IT-компаний Молдовы, эксперта в области IT-технологий Вячеслава Кунева. По мнению собеседника, введение социального рейтинга в нашей стране неизбежно.

– Нужно понимать, что в том или ином виде социальный рейтинг либо существует, либо точно появится позже, дальше лишь вопрос в том, в каком виде и какой степени жёсткости он будет, – рассуждает эксперт. – Сейчас наиболее жёстким является китайский вариант социального рейтинга, при этом он очень спокойно воспринимается китайским обществом. А всё потому, что он полностью соответствует их ментальным традициям конфуцианства. Китайцам плохо тогда, когда о них что-то знают плохое другие люди. При потере баллов в социальном рейтинге, когда человек делает что-то социально неприемлемое, происходит потеря лица. У китайцев это хорошо работает, и они понимают почему. Поэтому население спокойно восприняло введение соцрейтинга. Но в то же время это чрезвычайно жёсткий контроль, и такой жёсткий контроль интересен всем правительствам. Каждое правительство, каким бы оно ни было, хочет жёстко контролировать своих граждан, и чем больше, тем лучше. Дальше это сталкивается уже с тем, как на это реагирует конкретное общество. Одно общество, как китайское, спокойно это воспринимает, а, например, воспитанное на либеральных традициях может воспротивиться, показав, что им это не нравится. В дальнейшем мы будем наблюдать, какие общества и как на это отреагируют, и в каком объёме правительства это разрешат. Но то, что это будет везде, без вариантов.

В. Кунев говорит, что в молдавском обществе пока наблюдаются отдельные варианты цифрового контроля. А контроль над нами всеми установили, как только всех граждан оцифровали. На сегодняшний день государству известны все задолженности человека, уплатил он штрафы или нет. Если гражданин Молдовы не заплатил штраф, у него могут возникнуть проблемы на границе при намерении выехать из страны в отпуск или отправиться в командировку. Одно время грозились не выпускать за рубеж и за долги по коммунальным услугам.

– У нас в Молдове уже сейчас всё готово к внедрению элементов социального рейтинга, а дальше государство будет делать это всё больше и больше, потому что ему это очень удобно, – продолжает Вячеслав Кунев. – Естественно, что всё это будет упаковываться в общественно приемлемую оболочку, типа что это нужно для безопасности и так далее и тому подобное. В принципе, в этом есть разумное зерно, потому что чем сложнее система, а мы берём социум как систему, тем сложнее ею управлять. И когда у вас очень сложная система, завязанная на том, чтобы был Интернет, электричество и так далее, вы понимаете, что, не дай Бог, если какой-то теракт произойдёт, то могут быть катастрофические последствия. Значит, необходимы какие-то очень сложные системы контроля, чтобы предупреждать такие вещи. Согласно существующему закону, система управления всегда должна быть сложней, чем объект, которым управляют. Поскольку наше общество усложняется с точки зрения технологий, то и технологии, которые соответственно управляют обществом, должны быть всё более и более сложными. С одной стороны, понятно, что это необходимо, потому что иначе мы будем просто пропускать людей, которые могут совершать террористические акты или ещё что-то с катастрофическими последствиями. А с другой стороны, нужен баланс, нужно определить, где проходит та грань. И правильно то общество, где ведутся дискуссии по этому поводу и определяется, что в рамках социального рейтинга считается хорошим, а что плохим; с какой скоростью мы это согласны применять. Даже если у нас есть технологические возможности сделать, как в Китае, необходимо обсудить – мы это делаем так же или оставляем гражданам какие-то свободы? Это должен быть вопрос общественной дискуссии, поэтому единственное, что можно сделать, - запускать обсуждения на эту тему, чтобы люди максимально понимали, какой у нас тип социального рейтинга. Любой способ контроля граждан через какие-то его цифровые следы, цифровые действия – это вариант социального рейтинга. И мы просто должны дискутировать о том, какой поступок и насколько должен или не должен влиять на социальный рейтинг; какие баллы социального рейтинга каким поражениям в правах должны соответствовать и так далее. То есть, должна быть общественная дискуссия.

По мнению директора Общества независимых оценщиков (SEI RM) Дмитрия Тэрэбуркэ, не профессионала в этой области, но активного гражданина своей страны, внедрение социального рейтинга и цифрового поля нам не только не нужно, но и опасно.

– Вы можете внезапно проснуться бандитом только потому, что ошиблись кнопкой, такие методы требуют определённой высокой культуры и равномерного развития общества, – считает Д. Тэрэбуркэ. – Когда один – за Восток, другой – за Запад, один – уже не молдаванин, другой – ещё не румын, какой социальный рейтинг? У нас тюрем не хватит на неугодных, нет стандартов развития общества. Одному можно крыть отборным матом в прямом эфире и сморкаться на могилы предков, второму выписывают штраф по полной за празднование Дня Победы. В крайнем случае социальный рейтинг – это цель, но не действие. А лучше пусть у всех будет, а у нас нет – такая фишка свободы, высокий православный уровень доверия к людям.

Проблемы гарантированы

При подробном изучении вопроса социального рейтинга выяснилось, что ряд экспертов сходятся во мнении о том, что введение концепции социального рейтинга может спровоцировать ряд проблем, среди которых:

– непрозрачность правил и алгоритмов, на основе которых система социального рейтинга будет давать оценки поведению человека;

– никто не будет застрахован от социального деранкинга (понижение звания, категории);

– система социального рейтинга может иметь большое количество звеньев (из-за низкого рейтинга человек может не получить запрашиваемую должность, так как не позволит «цифровой надсмотрщик», а значит, будут ограничиваться фундаментальные права человека о праве выбора, о праве свободно распоряжаться своей жизнью);

– цифровая дискриминация человека (помимо Конституции и действующего законодательства, появится цифровой свод законов, цифровой процессуальный Кодекс: первые гарантируют определённые права, а вторые могут дискриминировать людей без совершения ими противоправных действий по действующим правовым актам);

– система социального рейтинга ведёт к социальной дестабилизации (недовольство граждан может вылиться в акции протеста, а кто-то за умеренную плату захочет улучшить свой рейтинг).

Евросоюз запретит использование ИИ-систем «высокого риска»

Кстати, в Евросоюзе, на который постоянно ориентируются наши власти, намерены ввести барьер для социального рейтинга, так как руководящие структуры ЕС на ранней стадии увидели риски его внедрения. Еще два года назад Еврокомиссия высказалась за запрет на внедрение технологий ИИ, которые используются для «массового наблюдения, применяемого в обобщённом виде ко всем физическим лицам без каких-либо различий». К незаконным отнесены такие методы наблюдения, как «мониторинг и отслеживание физических лиц в цифровой или физической среде, а также автоматическое агрегирование и анализ персональных данных из различных источников».

В планах Евросоюза полностью запретить использование ИИ-систем «высокого риска», в категорию которого попали технологии ИИ в роботизированной хирургии, ИИ в программном обеспечении для найма сотрудников, ИИ для проверки документов и верификации доказательств (в судопроизводстве), а также ИИ для оценки кредитного рейтинга граждан — первичного элемента всей системы социального рейтинга. Более того, в пояснении к документу Еврокомиссии отмечается, что сама суть соцрейтинга и использование ИИ в «приложениях, которые манипулируют поведением человека, чтобы обойти его волю», являются неприемлемыми.

Таким образом, введение всех вышеназванных технологий и процессов требуют грамотного подхода. Как отметил выше В. Кунев, нужны дискуссии с обществом, необходимо не просто внедрять по примеру других стран, а важно учитывать менталитет общества. Тот же Вячеслав Кунев, например, рассуждая с точки зрения общества в целом, о феномене ИИ, отметил, что, давая ИИ слишком много компетенций, мы перестанем его контролировать, и не будем понимать, по какой логике он предлагает нам те или иные решения, и к чему это может привести. Поэтому и в данном случае тоже важно дискутировать с обществом: в случае, если мы запускаем ИИ, на какие области жизнедеятельности мы согласны, чтобы он влиял, а на какие нет и каким видом. Но нельзя занимать позицию страуса, который прячет голову в песок. Это нужно изучать и об этом следует говорить. Проблема в том, что у нас не возникает общественной дискуссии по таким критически важным вопросам для общества в целом.

Предлагаем начать…

Лидия Чебан