Nvidia опубликовала демо-приложение Chat with RTX, которое уже показывает будущее работы с локальными файлами. Он использует существующие большие языковые модели Llama или Mistral, с помощью которых вы можете вставлять локальную папку с файлами TXT, PDF, DOC/DOCX и XML или видео и плейлистами с YouTube.
Используя метод, называемый генерацией с расширенным поиском (RAG), при генерации ответа на запрос в LLM модель может полагаться на реальные фоновые данные и, таким образом, избегать галлюцинаций или двусмысленностей в сгенерированном тексте.
А поскольку Nvidia Chat с RTX работает исключительно локально с использованием локальных данных, он не только быстр, но и в то же время безопасен. Таким образом, вы можете выполнять запросы к защищенному контенту, который не должен висеть где-либо в Интернете. Юрист может задавать вопросы о законах и прошлых постановлениях, технический специалист может обращаться к непонятным в противном случае справочным руководствам, а врач может проверять медицинские записи пациентов.
Основным ограничением в настоящее время будут в первую очередь используемые языковые модели. Их экономично запускать локально на одном компьютере, и они либо вообще не знают чешского языка, либо в очень ранней, практически непригодной для использования версии. На самом деле, вы можете начать его только сегодня с базовыми данными на английском языке. Тем не менее, оно, безусловно, найдет широкое применение, но энтузиазм необходимо сдерживать. Это не локальный ChatGPT 4.
Требования к оборудованию
Вам также понадобится более мощное оборудование. Требуется видеокарта GeForce RTX серии 30 или 40, оснащенная как минимум 8 ГБ памяти. Дешевые карты RTX 4050 или 4060 не предлагают такого же объема графической памяти в базовых игровых ПК и ноутбуках, поэтому вам нужно что-то получше. Но это все же достижимое требование, вам не придется искать NVIDIA GH200 Grace Hopper с 288 ГБ памяти за приятный круглый миллион крон.
Остальные требования уже вполне достижимы — Windows 11, 16 ГБ памяти и актуальные драйверы Nvidia.
Чат с RTX даже в этой базовой версии хорошо показывает возможности и ограничения местных языковых моделей. Возможность работать на одном компьютере, отрезанном от Интернета, по-прежнему означает уступки в виде простых ответов на ограниченном количестве языков. В то же время языковые модели требуют больших объемов памяти, которых нет в обычных компьютерах.
Требования к производительности и занимаемой памяти также указывают на то, что подобная языковая модель на компьютере, вероятно, какое-то время не будет постоянно работать в фоновом режиме. Как обычную часть системы мы не будем использовать его еще несколько лет, и добавление нейронных модулей NPU непосредственно в процессоры тоже этого не изменит.
Но уже сегодня, хотя по словам Nvidia, это всего лишь демонстрационное приложение, Chat with RTX может существенно помочь во многих случаях при извлечении информации из локально хранящихся документов.
2024-02-14 13:45:15
1707931519
#Спросите #свои #файлы #Nvidia #Chat #RTX #вы #можете #запустить #чатбота #искусственным #интеллектом #дома #на #своем #компьютере #Živě.cz
