Калифорния добавляет ограждения в медицинские чаты на базе искусственного интеллекта

Регулирование поведения ИИ, а не теории ИИ

Новые законы, СБ 243 и АВ 489разделяют общее предположение: системы ИИ будут сталкиваться с пограничными случаями. Эксперты и законодатели видят проблемы с функциональностью, из-за которых разговоры будут уходить в сторону, а пользователи будут задавать эмоциональные, медицинские или важные вопросы в контекстах, для решения которых система не была предназначена.

Статическая политика, написанная несколько месяцев назад, не будет охватывать все сценарии. Таким образом, вместо того, чтобы запрещать диалоговый ИИ, подход Калифорнии является прагматичным. Если система искусственного интеллекта влияет на решения или устанавливает эмоциональные отношения с пользователями, она должна иметь гарантии, которые будут действовать в процессе производства, а не только в документации. И это та область, к которой многие организации наименее подготовлены.

AB 489: Когда ИИ звучит как врач

AB 489 фокусируется на другом риске: системах искусственного интеллекта, которые подразумевают наличие медицинских знаний, но на самом деле их не имеют. Многие чат-боты, занимающиеся вопросами здоровья и благополучия, прямо не заявляют, что являются врачами. Вместо этого они полагаются на тон, терминологию или дизайнерские решения, которые кажутся клиническими и авторитетными. Для пользователей эти различия часто невидимы или неразборчивы.

С 1 января AB 489 запрещает системам искусственного интеллекта использовать названия, язык или другие представления, предполагающие наличие лицензированной медицинской экспертизы, если только эта экспертиза действительно не задействована.

Описание результатов как «на уровне врача» или «под руководством врача» без фактического обоснования может представлять собой нарушение. Даже небольшие намеки, которые могут ввести пользователей в заблуждение, могут расцениваться как нарушения, при этом правоприменение распространяется на профессиональные лицензионные советы. Для команд, создающих искусственный интеллект, ориентированный на пациентов или связанный со здоровьем, это создает знакомую инженерную задачу: разработка технологии, которая находится на тонкой грани между информативностью и полезностью и авторитетностью. И теперь, под номером AB 489, эта линия имеет значение.

ОБНАРУЖИТЬ: Вот четыре тенденции в области технологий искусственного интеллекта, за которыми стоит следить в 2026 году.

ШБ 243: Когда чат-бот становится компаньоном

SB 243, подписанный в октябре 2025 года, нацелен на то, что законодатели называют «компаньонным искусственным интеллектом», или системами, предназначенными для привлечения пользователей с течением времени, а не для ответа на один транзакционный вопрос. Эти системы могут чувствовать настойчивый, отзывчивый и эмоционально настроенный. Со временем пользователи могут перестать воспринимать их как инструменты и начать относиться к ним как к присутствию. Именно этот риск пытается устранить SB 243.

Закон устанавливает три основных ожидания.

Во-первых, раскрытие информации об ИИ должно быть непрерывным, а не косметическим. Если бы разумный человек мог поверить, что он взаимодействует с человеком, система должна четко указать, что это ИИне один раз, а неоднократно во время длительных разговоров. В отношении несовершеннолетних закон идет еще дальше, требуя частых напоминаний и поощрения делать перерывы, явно стремясь прервать погружение до того, как оно перерастет в зависимость.

Во-вторых, закон предполагает, что некоторые разговоры станут серьезными. Когда пользователи выражают суицидальные мысли или намерение причинить себе вред, системы должны распознать этот сдвиг и вмешаться. Это означает прекращение вредных разговорных моделей, запуск заранее определенных ответов и направление пользователей к реальной кризисной поддержке. Эти протоколы должны быть задокументированы, реализованы на практике и о них необходимо сообщать посредством обязательного раскрытия информации.

В-третьих, подотчетность не заканчивается на старте. Начиная с 2027 года операторы должны сообщать, как часто срабатывают эти меры безопасности и как они работают на практике. SB 243 также вводит частное право на иск, что значительно повышает ставки для систем, которые выходят из строя под давлением.

Посыл этого управления ясен: благих намерений недостаточно, если ИИ говорит неправильные вещи в неподходящий момент.

Нажмите на баннер ниже подписаться на ЗдоровьеТехеженедельный информационный бюллетень.