4090 48GBでQwen3 30B MOEのスループットを最大化する方法：ヒントとパフォーマンスに関する洞察
Ryder Robertson RTX 4090 48GBでQwen3 30B MOEのスループットを最大化する方法：Tipsとパフォーマンスの洞察 わあ、このモデルはまるでエージェント向けに作られたかのように感じます！ RTX 4090 48GBでQwen3 30B MOEのスループットを最大化する方法：Tipsとパフォーマンスの洞察 5時頃、スマホを見るとQwen3がリリースされたばかりだとわかりました。もう一度寝ようと思ったのですが、興奮が治まらず起きていました。一日中テストしたいと思い、すぐに取り掛かりました。 RTX 4090 48GBでQwen3 30B MOEのスループットを最大化する方法：Tipsとパフォーマンスの洞察 最初にQwen3-30B-A3Bを見たとき、すぐに思ったことがあります：これは間違いなくエージェント向けに設計されたモデルかもしれません。 RTX 4090 48GBでQwen3 30B MOEのスループットを最大化する方法：Tipsとパフォーマンスの洞察 現在、エージェントを実装する際の大きな課題は二つあります：継続的なツール呼び出しと、トークン消費と速度のバランス管理です。 RTX 4090 48GBでQwen3 30B MOEのスループットを最大化する方法：Tipsとパフォーマンスの洞察 最初にスループットをテストしてみましたが、その結果は驚くべきものでした！これらのテストではFP8バージョンを使用しました。図2に示すように、16および32の同時テストを行い、長めのシステムプロンプトを含む典型的なエージェントシナリオをシミュレートしました。入力を8192、出力を1024に設定したところ、驚異的な388t/sの出力スループットを達成しました。…
Asher Shaw