Не так давно NVIDIA анонсировала дополнение Chat with RTX для пуска локальных чат-ботов на компьютерах с видеоплатами RTX. сейчас компания AMD поведала, как локально запустить ИИ-чат-бота на 1-й из открытых огромных языковых моделей (LLM) при помощи её микропроцессоров и графических адаптеров. Компания предлагает прибегнуть к помощи постороннего приложения LM Студия.

Для пуска ИИ-чат-бота будет нужно система с ИИ-ускорителем Ryzen AI, который имеется только в неких APU Ryzen 7000-й и 8000-й серий (Phoenix и Hawk Point), или видеоплата AMD Radeon RX 7000-й серии.

Сперва надо установить LM Студия для Windows, а для ускорения ИИ силами видеоплаты будет нужно версия с поддержкой ROCm. Дальше нужно ввести в строчку поиска TheBloke/OpenHermes-2.5-Mistral-7B-GGUF для пуска бота на базе Mistral 7b либо TheBloke/Llama-2-7B-Chat-GGUF для использования LLAMA v2 7b, зависимо от интересующей модели. Потом надо отыскать в правой панели и загрузить файл модели Q4 K M. В конце концов, можно перейти на вкладку чата и приступить к общению с ИИ.

Для ускорения ИИ средством видеоплаты Radeon RX 7000-й серии нужно сделать ещё пару шажков: выставить в настройках наибольшее значение GPU Offload и проверить, что в блоке Detected GPU Type отображается AMD ROCm.

Так, в отличие от NVIDIA, компания AMD не пока готова представить собственное дополнение для общения с чат-ботом, но это не означает, что этого не случится в дальнейшем.