Автор: Вы, наверное, заметили, что инструменты генеративного искусственного интеллекта, такие как Google Gemini и ChatGPT, проникают в большинство технологий, которые мы используем каждый день. Эти инструменты основаны на гигантских моделях большого языка или LLM: сетях, обученных на огромных объемах человеческих данных, чтобы они могли выдавать реалистичный текст, изображения или видео.
Вам не нужно облачное приложение, чтобы получить доступ к этим LLM – вы также можете запустить их на своем компьютере. Вы можете воспользоваться всем, что предлагают эти модели, находясь в автономном режиме, и вам также не придется передавать свои подсказки и разговоры таким компаниям, как Google или OpenAI.
Теперь Nvidia запустила собственное локальное приложение LLM, использующее возможности своих видеокарт серий RTX 30 и RTX 40, под названием Chat with RTX. Если у вас есть один из этих графических процессоров, вы можете установить чат-бота с генеративным искусственным интеллектом прямо на свой компьютер и адаптировать его к своим потребностям.
Как начать
Прежде чем начать, убедитесь, что у вас установлены последние версии драйверов для вашего графического процессора Nvidia – приложение GeForce Experience на вашем компьютере поможет вам в этом – затем перейдите на страницу загрузки Chat с RTX. Для запуска инструмента вам потребуется Windows 11, графический процессор серии GeForce RTX 30/40 (или графический процессор RTX Ampere или Ada Generation с не менее 8 ГБ видеопамяти) и не менее 16 ГБ ОЗУ.
Примите меры. Имейте в виду, что Nvidia называет это «демо-приложением», что, как мы полагаем, означает, что оно не находится в полностью готовой форме (и в результате вы можете столкнуться с некоторыми ошибками и сбоями). Это также объемная загрузка, размер около 35 ГБ, поскольку она включает в себя пару LLM — на что следует обратить внимание, если вы ограничены в дисковом пространстве или скорости Интернета. Инструменту установки также требуется некоторое время, чтобы выполнить все свои задачи.
Чат с RTX запускается с вашего компьютера. Фото: Лайфхакер
В конце концов вы должны найти приложение Chat with RTX, добавленное в меню «Пуск». Запустите его, и после нескольких секунд обработки интерфейс программы появится в вашем веб-браузере по умолчанию. В верхнем левом углу вы можете выбрать модель ИИ с открытым исходным кодом, которую хотите использовать: Mistral или Llama. После этого вы можете начать отправлять запросы, как если бы вы использовали ChatGPT или Google Gemini.
Если вы раньше использовали LLM, вы будете знать, на что способны эти генеративные механизмы искусственного интеллекта: получать помощь в составлении электронных писем, документов, текстовых сообщений и т. д., упрощать сложные темы или задавать вопросы, которые в противном случае вы могли бы задать поиск в Интернете (например, «какая игра подойдет для вечеринки для четырех взрослых?»).
Приложение оставляет окно командной строки открытым тоже. Фото: Lifehacker
Применяются стандартные правила ботов с искусственным интеллектом — старайтесь быть как можно более конкретными и подробными и опасайтесь слишком доверять полученным ответам (тем более, что это «демо»). Чат с RTX не может найти текущую информацию в Интернете, поэтому он не совсем подходит для получения ответов, которые должны быть актуальными, но он всегда попытается дать вам ответ на основе массы онлайн-текста, который он был отправлен. обучался.
Внизу интерфейса у вас есть кнопка для создания нового ответа на последний запрос (если вас не совсем устраивает текущий), кнопка отмены (для возврата к предыдущему запросу), и кнопку удаления чата, которая очистит историю разговоров, чтобы вы могли начать заново. На данный момент нет другого способа экспортировать ответы, кроме как скопировать и вставить текст.
Добавление собственных данных и видео с YouTube
Даже в этой ранней форме Chat with RTX имеет несколько полезных функций, одна из которых — возможность основывать свои ответы на предоставленных вами документах: возможно, недельные исследования, или серия отчетов, которые вам нужно проанализировать, или даже все фанфика, который ты написал. Под заголовком Набор данных выберите Путь к папке, затем направьте программу к папке, содержащей документы, которые вы хотите использовать.
Приложение просканирует папку, на которую вы указали — это может занять минуту или две, если в ней много файлов, — а затем вы сможете начать вводить свои запросы. Бот просканирует текст в поисках подходящих ответов, а затем в конце ответа назовет файлы, которые он использовал. Вы можете запросить сводку, проверить факты или заставить бота сгенерировать новый текст на основе введенного вами текста.
Чат с RTX также может работать с вашими собственными файлами. Фото: Lifehacker
Еще раз повторю: это ранняя версия технологии, точность которой, как известно, составляет менее 100 процентов — пока это не то, на чем вы хотите основывать решения совета директоров. Тем не менее, интересно поиграться с LLM, который может работать с документами, которые вы ему предоставляете, будь то стенограммы интервью или тома стихов.
Говоря о стенограммах, Chat with RTX также может анализировать видео YouTube и предлагать ответы на их основе через стенограммы, связанные с клипами. (Основываясь на проведенном нами тестировании, программа может автоматически генерировать расшифровки для видео, в которых их еще нет.) Это работает даже со всеми плейлистами YouTube, поэтому вы можете запустить программу одновременно через целую серию клипов. время.
Вы также можете указать программе видео на YouTube. Фото: Lifehacker
Выберите YouTube URL в качестве набора данных, затем вставьте адрес видео или плейлиста в поле под ним. Если вы работаете со списком воспроизведения, вы можете указать количество видео, которые хотите включить из него, в поле справа. Наконец, нажмите кнопку загрузки в крайнем правом углу, и Chat with RTX загрузит и обработает текст расшифровки, готовый к любым запросам, которые могут у вас возникнуть.
Как и в случае с функцией сканирования документов, это может быть полезно. для получения сводок или выделения фрагментов важной информации, но мы обнаружили, что это самая ошибочная часть программы — программа, которая, честно говоря, помечена как версия 0.2. Приложение иногда не понимает, о каком видео мы говорим, но если вам нужны быстрые ответы о длинных видеороликах и плейлистах, на просмотр которых у вас нет времени, то Chat with RTX может оказаться полезным инструментом.
lifehacker.com
