En tant que personne explorant l'exploitation locale des LLM, je travaille à comprendre les mises à niveau matérielles économiques qui peuvent soutenir l'apprentissage et les tests continus. Mon configuration actuelle inclut un PC de jeu avec un processeur Ryzen 7600x, 32 Go de RAM, une carte mère AsRock B650 PG Lightning et une carte graphique 7900GRE avec 16 Go de VRAM. Malgré ces spécifications, j'ai trouvé que la VRAM est la principale limitation - même les petits modèles quantifiés comme Mistral ont du mal à fonctionner de manière fiable via Fedora en utilisant GPT4All ou Ollama.
Cela me conduit à me demander si l'ajout d'une rx 9060 xt avec 16 Go de VRAM serait une solution pratique pour doubler efficacement la mémoire disponible. Bien que je sache que les configurations GPU hétérogènes sont possibles, j'ai trouvé peu d'informations sur l'utilisation de ce modèle particulier pour les charges de travail LLM. La plupart des discussions portent sur des options haut de gamme comme le 7900xtx ou la série MI, ou sur des cartes plus anciennes, laissant les cartes récentes abordables largement ignorées. Je me demande donc si cette approche présente des problèmes de vitesse d'inférence, de compatibilité ou d'efficacité économique par rapport aux alternatives, et je cherche des éclaircissements sur ces points.