Как человек, изучающий локальную работу LLM, я работаю над пониманием экономичных обновлений оборудования, которые могут поддерживать продолжение обучения и тестирования. Моя текущая конфигурация включает игровой ПК с процессором Ryzen 7600x, 32 ГБ ОЗУ, материнской платой AsRock B650 PG Lightning и видеокартой 7900GRE с 16 ГБ VRAM. Несмотря на эти характеристики, я обнаружил, что VRAM является основным ограничением — даже уменьшенные небольшие модели, такие как Mistral, не могут работать стабильно через Fedora с использованием GPT4All или Ollama.
Это заставляет меня задуматься, будет ли добавление rx 9060 xt с 16 ГБ VRAM практическим решением для эффективного удвоения доступной памяти. Хотя я понимаю, что возможны гетерогенные конфигурации GPU, я нашел мало информации о том, как использовать эту конкретную модель для рабочих нагрузок LLM. Большинство обсуждений фокусируются на более высококлассных вариантах, таких как 7900xtx или MI-серии, или старых видеокартах, оставляя недостаточно изученными последние бюджетные видеокарты. Я остаюсь в недоумении, сталкивается ли этот подход с проблемами скорости инференса, совместимости или экономической эффективности по сравнению с альтернативами, и я ищу разъяснения по этим вопросам.