"Чат с RTX" — это простая в использовании утилита, которая работает как локализованная система, обеспечивая постоянный доступ к персонализированному чат-боту GPT на компьютере без необходимости подключения к Интернету. Пользователи могут полностью персонализировать чат с RTX, используя локально доступный набор данных, и он совместим с большинством графических процессоров RTX 40 и RTX 30.
"Чат с RTX" использует программное обеспечение NVIDIA TensorRT-LLM (RAG), которое было анонсировано для ПК с Windows в прошлом году. Оно использует преимущества ускорения RTX, доступного на оборудовании RTX, для обеспечения наилучшего взаимодействия с пользователями. Приложение поддерживается на всех графических процессорах GeForce RTX 30 и 40 с объемом видеопамяти не менее 8 ГБ.
После бесплатной загрузки "Чат с RTX" пользователи могут подключить его к локальному набору данных, доступному на ПК (.txt, .pdf, .doc, .docx, .xml), а также к большой языковой модели, такой как Mistral и Llama 2. Пользователи могут также добавлять определенные URL-адреса, например, для видеороликов YouTube или целых списков воспроизведения, чтобы еще больше улучшить результаты поиска по набору данных.
Наличие графического процессора NVIDIA RTX, поддерживающего TensorRT-LLM, означает, что все данные и проекты будут доступны локально, а не храниться в облаке. Это сэкономит время и обеспечит более точные результаты. Расширенная генерация RAG или Retrieval — это один из методов, используемых для ускорения результатов искусственного интеллекта за счет использования локализованной библиотеки, которую можно заполнить набором данных, который вы хотите использовать для проверки LLM, а затем использовать возможности этого LLM по пониманию языка для предоставления вам точных результатов.
NVIDIA заявляет о 5-кратном повышении производительности с помощью TensorRT-LLM версии 0.6.0, которая будет доступна позже в этом месяце. Кроме того, он также обеспечит поддержку дополнительных LLM, таких как Mistral 7B и Nemotron 3-8B.
Скачать приложение NVIDIA "Чат с RTX" можно на сайте. Требуется ПК с Windows 11 и Windows 10 и новейшие драйвера графических процессоров NVIDIA для оптимальной производительности.
Источник: www.playground.ru
Похожие новости:
RTX 4080 Super в разгоне сравнили со стандартной RTX 4090 в играх
Наглядная разница: RTX 4070 сравнили с RTX 3070 и 2070
Кэш L2 GPU для GeForce RTX 4070 SUPER составит 48 МБ, а не 36 МБ как было указано ранее
NVIDIA выпустила аналог нашумевшего ChatGPT, который можно запустить локально на своем компьютере