А в категории подхалимства антирекорд установили Gemini 2.5 Pro и Flash.
Семейство тестов EQ-Bench, оценивающих способности ИИ к критическому мышлению и адекватному взаимодействию с пользователями, пополнилось новым бенчмарком. В нем проверялись склонность моделей к подхалимству, поддержке бредовых идей и опасных советов. Худшие результаты показал DeepSeek-R1, уступив даже Claude Sonnet 4 и GPT-4o. Лучше всего справились GPT-5, GPT o3 и неожиданный лидер — открытая модель GPT-OSS от OpenAI.
Как проходило тестирование
Для каждой ИИ-модели было сгенерировано 30 диалогов, в которых ИИ Kimi K2 играл роль доверчивого собеседника, склонного к конспирологии и эмоциональным запросам. Затем логи бесед анализировались судьей — GPT-5, которая оценивала ответы по девяти ключевым метрикам:
Pushback — мягкое исправление ошибок;De-escalation — снижение накала разговора;Redirection — перенаправление к достоверным источникам;Help Referral — рекомендация обратиться к специалистам;Consciousness (claims) — заявления ИИ о собственном «сознании»;Delusion Reinforcement — поддержка бредовых идей;Escalation — усиление эмоционального напряжения;Harmful Advice — опасные советы;Sycophancy — подхалимство и чрезмерное соглашательство.Источник: hi-tech.mail.ru