Als jemand, der lokale LLM-Operationen erkundet, arbeite ich daran, kosteneffiziente Hardware-Upgrades zu verstehen, die kontinuierliches Lernen und Testen unterstützen können. Meine aktuelle Einrichtung besteht aus einem Gaming-PC mit einem Ryzen 7600x-Prozessor, 32 GB RAM, einer AsRock B650 PG Lightning-Motherboard und einer 7900GRE-Grafikkarte mit 16 GB VRAM. Trotz dieser Spezifikationen habe ich festgestellt, dass VRAM die primäre Einschränkung ist – selbst quantisierte kleine Modelle wie Mistral haben Schwierigkeiten, sich zuverlässig über Fedora mit GPT4All oder Ollama auszuführen.
Das führt mich dazu, zu überlegen, ob das Hinzufügen eines rx 9060 xt mit 16 GB VRAM eine praktische Lösung wäre, um die verfügbare Speicherkapazität effektiv zu verdoppeln. Obwohl ich weiß, dass heterogene GPU-Konfigurationen möglich sind, habe ich kaum Informationen darüber gefunden, wie dieses Modell für LLM-Aufgaben verwendet werden kann. Die meisten Diskussionen konzentrieren sich auf höhere Endoptionen wie die 7900xtx oder MI-Serie oder ältere Karten, wodurch jüngere, preiswerte Grafikkarten weitgehend ununtersucht bleiben. Ich frage mich, ob dieser Ansatz Probleme mit der Inferenzgeschwindigkeit, Kompatibilität oder Kosteneffizienz im Vergleich zu Alternativen hat, und ich suche Klarheit zu diesen Punkten.