Nvidia представила приложение Chat with RTX, которое позволяет запускать большие языковые модели локально. Для работы необходимо наличие видеокарты RTX 30 или 40 и 16 ГБ оперативной памяти.
Приложение доступно для компьютеров под управлением Windows 11. Пользователь может запускать с его помощью открытые большие языковые модели. В демонстрационном ролике компания показала пример работы с Llama и Mistral. Кроме того, пользователь может указать в приложении путь к собственному датасету. Это могут быть документы или заметки, которые нейросеть будет учитывать во время генерации ответа.
Помимо работы с локальными файлами доступна возможность передать приложению ссылку на YouTube-ролик. После этого можно задавать вопросы по нему или получить краткое содержание. Примечательно, что при анализе файлов на компьютере пользователя нейросеть указывать файл, который послужил основой для генерации ответа. Это может быть полезно для проверки полученного результата.
Nvidia отмечает, что все запросы обрабатываются на железе пользователя и не передаются на сторонние сервера. Приложение работает на компьютерах с видеокартами серий RTX 30 и 40. Кроме того, необходимо не менее 16 ГБ оперативной памяти и 8 ГБ видеопамяти.
Источник: habr.com
