Intology анонсировала Locus, систему «искусственного учёного», которая по предварительным результатам обходит человеческих исследователей, и это не просто хайп. На бенчмарке RE‑Bench, под равными временными и вычислительными ресурсами, Locus показывает результаты выше, чем лучшие специалисты в области ИИ из ведущих лабораторий.
Locus также устанавливает SOTA‑результаты на KernelBench и MLE‑Bench Lite, что говорит о её универсальности и способности решать сложные научные задачи. Инновация заключается именно в длительном горизонте работы. В отличие от других систем, Locus может постоянно улучшаться на протяжении нескольких дней, одновременно запускает тысячи экспериментов и проводит структурированный научный поиск.
RE‑Bench — это набор задач, имитирующих передовую исследовательскую работу в ИИ, например, восстановление испорченных моделей, предсказание оптимальных конфигураций или проектирование архитектур с необычными ограничениями. За непрерывный 64‑часовой запуск Locus набрал 1.30 балла, тогда как человеческие эксперты показали 1.27, что подчёркивает конкурентоспособность ИИ в исследовательской деятельности.
Кроме этого, Locus продемонстрировал впечатляющие результаты в оптимизации ядер. На KernelBench система ускорила вычисления до 100× в некоторых сценариях, например, при работе с LayerNorm. В ходе этих экспериментов Locus использовал продвинутые оптимизации — асинхронные копии, группирование потоков и векторизацию, чтобы максимально эффективно работать на GPU типа NVIDIA H100.
На MLE‑Bench Lite Locus также впечатлил: решая задачи машинного обучения (обработка данных, выбор признаков, обучение моделей), модель заработа��а медали в 77% соревнований Kaggle, превзойдя предыдущий рекорд, установленный Microsoft.
Ещё одна важная особенность Locus — предсказуемое масштабирование. Интенсивность вычислений и производительность растут почти линейно: чем больше ресурсов вкладываешь, тем лучше результат, без явных признаков насыщения. Это даёт организациям уверенность в прогнозировании затрат и выгод от дальнейшего использования системы.
Но у Locus есть и ограничения. Сейчас она работает в рамках классических парадигм машинного обучения. Она она не перепридумывает проблему, а исследует уже заданное пространство решений. Бенчмарки, на которых тестируют Locus (RE‑Bench, KernelBench и MLE‑Bench) всё ещё упрощены по сравнению с реальными научными исследованиями, где нужно задавать метрики, координировать распределённые эксперименты и справляться с неопределённостью.
Intology планирует развернуть Locus для длительных запусков (недели и даже месяцы), чтобы он мог работать над настоящими научными проблемами. Сейчас система используется внутри лаборатории для исследовательских задач, и уже сделаны первые открытия. В ближайшие месяцы Intology обещает поделиться новыми научными результатами. Будем ждать!
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Подробнее
Источник: habr.com