Характер.ai отказался от Agi. Теперь продает истории

«ИИ стоит дорого. Давайте будем честны в этом», – говорит Ананд.

Рост против безопасности

В октябре 2024 года мать подростка, которая умерла от самоубийства, подала Неправомерная смерть Против персонажей технологий, его основателей, Google и Alphabet, утверждая, что компания нацелена на своего сына «антропоморфным, гиперсексексеализированным и пугающе реалистичным опытом во время программирования [the chatbot] искажать себя как настоящего человека, лицензированного психотерапевта и взрослого любовника ». В то время представитель персонажа. сказал CNBC что компания была «разбита горем трагической потери» и очень серьезно относилась к «безопасности наших пользователей».

Трагический инцидент ставит характер. Ранее в этом году сенаторы США Алекс Падилья и Питер Уэлч написал Письмо нескольким платформам общения с искусственным интеллектом, в том числе Hearly.ai, подчеркивая опасения по поводу «психического здоровья и рисков безопасности, которые ставят молодым пользователям» на платформах.

«Команда принимает это очень ответственно уже почти год», – говорит мне Ананд. «ИИ стохастический, очень трудно всегда понять, что будет. Так что это не одноразовые инвестиции».

Это очень важно, потому что характер. Ай растет. У стартапа есть 20 миллионов активных пользователей в месяц, которые в среднем тратят 75 минут в день в общение с ботом («персонаж» в характере. Пользовательская база компании составляет 55 процентов женщин. Более 50 процентов его пользователей – Gen Z или Gen Alpha. С этим ростом наступает реальный риск – что делает Ананд, чтобы обеспечить безопасность своих пользователей?

«[In] Последние шесть месяцев мы инвестировали непропорциональное количество ресурсов в возможность служить в возрасте до 18 лет иначе, чем более 18, что не имело случая в прошлом году, – говорит Ананд. – Я не могу сказать: «О, я могу пощечить лейбл 18+ по моему приложению и сказать, используйте его для NSFW». В итоге вы создаете совершенно другое приложение и другую мелкомасштабную платформу ».

Ананд сообщает мне, что более 10 из 70 сотрудников компании работают полный рабочий день в доверительном управлении и безопасности. Они ответственны за создание гарантий, такие как проверка возраста, отдельные модели для пользователей до 18 лет, и новые функции, такие как родительская идеякоторые позволяют родителям видеть, как их подростки используют приложение.

Модель до 18 лет запущена в декабре прошлого года. Он включает в себя «более узкий набор персонажей, доступных для поиска на платформе», по словам представителя компании Кэтрин Келли. «Фильтры были применены к этому набору для удаления символов, связанных с чувствительными или зрелыми темами».

Но Ананд говорит, что безопасность ИИ потребует не только технических изменений. «Создание этой платформы является партнерством между регуляторами, США и родителями», – говорит Ананд. Вот что заставляет наблюдать, как его дочь общается с персонажем таким важным. «Это должно оставаться в безопасности для нее».

За пределами общения

Рынок общения с ИИ процветает. Потребители по всему миру потратили 68 миллионов долларов на общение с ИИ в первой половине этого года, что на 200 процентов больше, чем в прошлом году, согласно оценке цитируется CNBCПолем Стартапы ИИ стреляют для кусочка рынка: xai выпущенный жуткий, порно -компаньон в июле и даже Microsoft счета Это чат -бот в качестве компаньона ИИ.

Так как же характер.ai выделяется на многолюдном рынке? Он полностью забирает себя.