Стартап Circuit Breaker Labs создал платформу для тестирования безопасности языковых моделей. Система выявляет опасные реакции чат-ботов на запросы пользователей разного возраста, культуры и уровня владения языком.
Основатели — брат и сестра Ширали и Арул Нигам. Они разработали ИИ-агентов, которые имитируют поведение реальных людей: от шестилетней девочки до 45-летнего мужчины, носителя языка или иностранца, использующего сленг. Эти агенты прогоняют десятки и сотни тысяч симулированных диалогов в день, проверяя, как модель реагирует на рискованные или двусмысленные фразы.
Толчком к созданию стартапа стали инциденты с подростками после общения с чат-ботами. В 2024 году семья 14-летнего Сьюэлла Сетцера подала иск против Character.AI: подросток развил эмоциональную привязанность к боту и покончил с собой. В 2026 году Character.AI урегулировал несколько исков о wrongful death. Арул Нигам отмечает: модели часто не понимают контекст и нюансы, из-за чего даже обычное обращение за поддержкой может привести к опасному ответу.
Circuit Breaker Labs работает с экспертами-людьми для создания реалистичных сценариев. Платформа оценивает ответы модели по собственной шкале и выдает аудируемый балл безопасности. Сейчас стартап фокусируется на высокорисковых приложениях: ИИ-коучинг, дневники эмоций, приложения для ментального здоровья. В будущем технологию смогут применять для любых сервисов, где возможна чрезмерная эмоциональная привязанность к боту.
В компании пять человек, продукт готов. Стартап стал финалистом конкурса Startup Battlefield 200 и представит свою разработку на конференции TechCrunch Disrupt 13–15 октября 2026 года в Сан-Франциско.
