В 2024 году компания Microsoft анонсировала новую ИИ-функцию под названием Recall, которая фактически «записывала» экран пользователя в режиме реального времени, предоставляя возможность в любой момент получить необходимые данные из таймлайна. Тогда это нововведение активно критиковали в интернете, а вчера, 21 апреля, компания OpenAI представила функцию Chronicle («Хроники») для утилиты Codex, которая работает по очень схожему принципу. Telegram-канал создателя Трешбокса про технологии «Chronicle дополняет воспоминания Codex контекстом с вашего экрана. Когда вы обращаетесь к Codex, эти воспоминания помогают инструменту понять, над чем вы работали ранее, и вам не придётся постоянно напоминать контекст», — объяснили новую функцию представители OpenAI.
Работает данное нововведение, судя по презентации, относительно просто — если пользователь без функции Chronicle напишет в диалоговое окно запрос «Почему это не работает?», система даст вполне закономерный ответ — «Я пока не знаю, к чему это относится. Пришлите команду, которая не работает, текст ошибки, скриншот или ссылку на GitHub Actions, и я смогу провести отладку». Но если функция Chronicle активирована, система обратится к «воспоминаниям», проанализирует сканы экрана пользователя, найдёт, о чём идёт речь, и даст подсказку о том, как эту проблему исправить. В теории, это действительно сэкономит пользователю немало времени.
Особенно это важно в сценариях со сложными промптами, выполнить которые без дополнительного контекста ИИ-система просто не в состоянии. Но, конечно, у новой системы есть не только преимущества, но и определённые ограничения, на которые тоже стоит обратить внимание. Во-первых, как это часто бывает, новая функция доступа в приложении Codex исключительно на macOS — на Windows её пока что не реализовали. Во-вторых, для работы новой функции пользователю необходимо дать приложению разрешение на запись экрана и полный доступ к «Специальным возможностям» в macOS. Нужно иметь довольно высокий уровень доверия к ИИ, чтобы всё это предоставить, тем более учитывая эту цитату из официального блога компании. «Перед включением имейте в виду, что Chronicle быстро расходует лимиты запросов, а также повышает риск промпт-инъекций (prompt injection) и хранит воспоминания в незашифрованном виде на вашем устройстве», — говорится в блоге OpenAI Developers.
Вероятно, это оттолкнёт многих пользователей от использования столь интересного инструмента.
Источник: trashbox.ru