ローカルLLMの運用を検討している一人として、継続的な学習とテストをサポートするコスト効果の高いハードウェアアップグレードについて理解しようとしています。現在の構成は、Ryzen 7600xプロセッサ、32GBのRAM、AsRock B650 PG Lightningマザーボード、16GBのVRAMを搭載した7900GREグラフィックカードを備えたゲーム用PCです。これらの仕様にもかかわらず、VRAMが主な制限であることがわかりました。Fedoraを使用してGPT4AllやOllamaで実行しようとすると、Mistralのような小さなモデルでも信頼性が保てないことがありました。
これにより、16GBのVRAMを搭載したrx 9060 xtを追加することで、利用可能なメモリを効果的に倍にできるかどうかを考えています。異種GPU構成が可能であることは理解していますが、この特定のモデルをLLMワークロードに使用する情報はほとんど見つかりませんでした。ほとんどの議論は、7900xtxやMIシリーズなどの高価なオプション、または古いカードに焦点を当てており、最近の安価なGPUはほとんど検討されていません。このアプローチが推論速度、互換性、またはコスト効果において他の代替案と比較して問題があるのか、そしてこれらの点について明確な情報を得たいと思っています。