5090を使い切れていない ── ローカルLLMをメモ整理の「仕分け係」にしてみた

正直に書くと、この記事は「うまくいきました」の話ではない。

RTX 5090を積んだPCがある。もともとは画像生成のために組んだ。画像生成のほかにも、OCRや読み上げ（TTS）のパイプラインでは使っている。まったく仕事をしていないわけではない。

それでも、こう感じていた。

この性能を、使い切れていない。

使う瞬間は本気で働くが、それ以外の時間はただ待機している。電気代を払って、高い部品を載せて、性能の大部分が余っている。整備士の感覚で言うと、立派な工具セットを買ったのに、出番のある工具が数本だけの状態だ。これが地味にストレスだった。

ローカルLLMを試したいけど、能力が心配だった

5090ならローカルLLM（自分のPCの中で動くAI）が動く。それは知っていた。

でも、ずっと踏み切れなかった理由がある。能力が心配だった。

普段はChatGPTやClaudeのサブスクを使っている。月に数千円払っているだけあって、賢い。それに比べてローカルLLMはどうなのか。中途半端な答えを返されるくらいなら、最初からサブスクに投げたほうが早いんじゃないか。

そしてもうひとつ。使いどころが難しい。

「何でもできます」と言われても、じゃあ何をさせればいいのか。ここが今回の一番のつまずきだった。賢いAIと同じ土俵で使おうとすると、たぶん負ける。でも土俵を変えれば、勝てる場所があるはずだ。

任せたのは「仕分け係」という地味な仕事

悩んだ末に、土俵をこう決めた。

大量で、定型で、失敗してもやり直せる下処理だけを任せる。

具体的には、Obsidianに投げ込んだ音声メモの一次仕分けだ。私のメモは通勤中に一気に喋ったものが多くて、1本の中に日記と、調べ物の依頼と、ブログのネタと、家族の話が混ざっている。これを7種類に分ける作業を、ローカルLLM（qwen系の27Bモデル）にやらせてみた。

実際に動かすと、1件あたり20秒ちょっとで分類案が返ってくる。電気代は1回あたり1円くらい。サブスクの回数制限も気にしなくていい。

ただし、そのまま信じない。前回の記事で書いた「AIの出力を鵜呑みにしない」はここでも同じで、ローカルLLMの分類案はあくまで提案として別の場所に置き、最終的な採用は自分（と、賢いほうのAI）が確認してから決める。実際、確信度が高い顔をして間違えることもあった。

常駐させない、という判断

もうひとつ決めたことがある。24時間動かさない。

最初は「常駐させて全自動」に憧れた。でも計算すると、待機しているだけで月800円くらい電気代がかかる。仕分け1回1円の仕事のために月800円の待機料は、明らかに割に合わない。

だから、使う瞬間だけ起こす。メモを処理したいときに呼び出して、終わったら寝てもらう。派手さはないけれど、これが一番納得できる形だった。

手応えは、まだない

ここまで書いておいて何だが、正直な現在地を書く。

手応えは、まだない。

仕組みは動いた。分類も返ってくる。でも「5090を買ってよかった」と言い切れるほどの結果を、まだ自分の目で確認できていない。実運用に入れたばかりで、処理した件数も少ない。

ただ、方向は見えてきた気がする。次にやろうとしているのは、失敗してもいい専用フォルダを作って、そこにローカルLLMの分類・分析・要約をどんどん作らせて、賢いAIと自分がチェックするという体制だ。原本には触らせない。だから失敗しても痛くない。うまくいった処理だけを、少しずつ固定の仕事にしていく。

工具は棚から降ろした。まだ手に馴染んではいない。そういう段階の記録として、この記事を残しておく。

まとめ

• 5090の性能を使い切れていないのがもったいなくて、ローカルLLMを試した
• 一番のつまずきは「使いどころ」。賢いAIと同じ土俵では使わない
• 任せたのは、大量・定型・やり直しがきく「メモの仕分け係」
• 出力は提案止まりにして、採用は人間と賢いAIが確認する
• 常駐はさせない。使う瞬間だけ起こす（待機電力のほうが高くつく）
• 手応えはまだ。結果はこれから確認していく

次回は、この「失敗してもいいフォルダ」で仕分け・分析・要約を回した結果を書くつもりだ。うまくいってもいかなくても、そのまま書く。