LMStudio をガレリアで動かしてgpt-oss-120b を使ってみる。

 こんばんわ

実は、一昨日まで、今日は会社がある日だとばかり思っていたので、なんだか一日儲かったような気分です。

今日は、「LMStudio をガレリアで動かしてgpt-oss-120bを使ってみる」という話です。ブログの内容は少し前からちょろちょろ書き足したり書き換えたりしていたのですが、今日時間があったので、一通り見直して最後まで書きました。なんか最近そういうことが多いです。一気に最後まで書いているわけではなくて、ちょろちょろと書いたり、修正したりして、完成してから公開するという書き方になってしまって、書き始めから公開まで１カ月くらい要することも（もっと長いことも。。。）あったりしています。年齢のせいか、どうも集中力が続かなくて。。。。写真とかの日付が少し古いこともありますが、ご容赦ください。

では、本題です。

先日mac mini のLMStudioにGPTの小さい方で動かしてみたのですが、mac mini はメモリが16GBということもあったので、20bというモデルを読み込んだだけでも、メモリがいっぱいいっぱいになってしまって、なかなか重たい感じになってしまっています。そんな時、「そういえば、ガレリアは64GBあったな。。。」と思い出しましたので、そちらで120bというでかいほうを動かしてみたいと思います。

まずは、インストーラを起動します。

「Get Started」をクリックすると次のような画面になりますので、ひとまず「User」を選択して、「Continue」をクリックしました。

たまたまなのか、人気があるからなのかわかりませんが、gpt-oss-20bを進められましたが、せっかくなので120Bの方をやってみようと思い立ち、先に進めることにしました。一番右上の方にある「Skip」をクリックします。

先ほど「User」を選択してしまったのですが、左下の方にある「PowerUser」をクリックします。

するとこんな画面になりますので、左にある虫眼鏡のアイコンをクリックします。

するとこのような画面になりますので、gpt-oss-120Bを探します。

検索ボックスにgpt-oss 120B のように入力して、表示されたものをダウンロードします。私が選択したものは64GB程度のサイズがありました。ディスクの空き容量を確保しておいてください。「おそらくこのマシンには大きすぎます」という警告が出ていますね。。。そういうことなんだと思います。

ガレリアは64GBのメモリがあるのですが、120bという方はそれでも読み込むことができませんでした。前回同様、システムオーバーロードに対する予防策の設定を「OFF」にすると読み込みすることができましたので、「OFF」にして使ってみます。

設定を変更したら、左の「チャット」のアイコンをクリックして、上の中央部分のモデルの一覧から、今回ダウンロードした120bを選択します。

ガレリアでも120bは少し荷が重かったかもです。。。読み込んだだけで、メモリがパンパンです。

何とか動くのですが、めちゃくちゃ重いです。。。何とか質問に答えてはくれますが、ぼそ。。。ぼそ。。。と、ゆっくり答えるという感じです。最初答えるまでに３０秒とかかかっています。他のアプリは動作する余裕がなくなってしまう感じですので、ちょっと使えないかなという感じです。

16GBの Mac mini ですと、20bも苦しかったですが、ガレリアはメモリが64GBありますので、20bであれば、「モデル読み込みガードレール」を「厳格：システムオーバーロードに対する強力な予防策」にしても起動できるようでした。

オーバーロードに対する予防策を「厳格」にしても読み込める程度のやつを選べばそこそこ快適に使えますよということだと再認識です。まあ、そうなんですけど、できればコンピュータのすべての能力を使い切りたいじゃないですか。。。

実際に動かすと、それなりにパラパラと答えてくれます。20bを動かすのであれば32GBのメモリがあって、今時のGPUが搭載されていればそれなりに動きそうです。20bに「あなたを動かすにはどのくらいのスペックが必要ですか？」と聞くと、とんでもないスペック要求をしてきますが、ちょっと試すくらいなら最近のゲーミングPCがあれば動くのではないでしょうか？

120bを動かすなら、96GBくらいは最低必要という感じでしょうか？メモリだけではなくNPUやGPUの性能にも依存するとは思いますがどのくらいの力を用意すればよいのかよくわからないですね。ガレリアはメモリはそれなりに多いですが、CPUやGPUは一昔前の世代ですから、ちょっと遅いのかもしれません。

私の拙い知識では、ローカルでこう言ったアプリケーションを動作させるには、Tensor Coreが重要なのかと思ったのですが、CUDAコアの方を使って動作しているというような記載がどこかにありました。CUDAコアが、より速くてより多いモデルがいいかもです。

ローカルで動かすにはそれなりにメモリが必要なんですね。Appleがローカルで動くAIをどうするだこうするだと言われていましたが、スマートフォンで動かすのはなかなか厳しそうな感じがしますね。

あと、もう一台ある、MSIのノートPCの方でもLMStudioでgpt-oss 20b を使ってみたのですが、メモリは32GBでしたが、CPUやメモリがそれぞれ２世代ほど新しいためか、なんかとても快適に動作して、何か聞くとすぐに答えてくれる感じの動作でした。どちらにしろ、ローカルで動かすには、それなりのゲームが、それなりに動くスペックが必要なのかもしれませんね。