Como alguém explorando a operação de LLM local, estou trabalhando para entender atualizações de hardware econômicas que possam suportar o aprendizado e os testes contínuos. Meu setup atual inclui um PC de jogos com um processador Ryzen 7600x, 32GB de RAM, uma placa-mãe AsRock B650 PG Lightning e uma placa de vídeo 7900GRE com 16GB de VRAM. Mesmo com essas especificações, encontrei a VRAM como a principal limitação - até modelos pequenos quantizados como Mistral têm dificuldade em executar de forma confiável através do Fedora usando GPT4All ou Ollama.
Isso me leva a considerar se adicionar um rx 9060 xt com 16GB de VRAM seria uma solução prática para duplicar efetivamente a memória disponível. Embora eu entenda que configurações de GPU heterogêneas sejam possíveis, encontrei pouca informação sobre o uso deste modelo específico para cargas de trabalho de LLM. A maioria das discussões se concentra em opções mais premium, como a 7900xtx ou a série MI, ou em placas mais antigas, deixando as GPUs acessíveis recentes amplamente não examinadas. Fico me perguntando se esse abordagem enfrenta problemas com velocidade de inferência, compatibilidade ou custo-benefício em comparação com alternativas, e estou buscando clareza sobre esses pontos.
I’ve also hit VRAM walls with my 12GB card when running 7B models, so your point about even quantized Mistral struggling resonates—it’s frustrating when specs that look good on paper underdeliver in practice. My next move is testing Linux driver compatibility for multi-GPU setups before considering new hardware. Have you found any forums discussing AMD’s ROCm support for the 9060 XT yet?
I totally get your frustration with VRAM limits on paper versus real-world performance—it’s a common hurdle! From my research, ROCm support for the 9060 XT is still emerging, but checking the ROCm GitHub issues page or Phoronix forums could yield recent community insights. Let me know if you come across any promising driver updates, and I’d love to hear how your multi-GPU testing goes!