正直に書くと、この記事は「うまくいきました」の話ではない。
RTX 5090を積んだPCがある。もともとは画像生成のために組んだ。画像生成のほかにも、OCRや読み上げ（TTS）のパイプラインでは使っている。まったく仕事をしていないわけではない。
それでも、こう感じていた。
この性能を、使い切れていない。
使う瞬間は本気で働くが、それ以外の時間はただ待機している。電気代を払って、高い部品を載せて、性能の大部分が余っている。整備士の感覚で言うと、立派な工具セットを買ったのに、出番のある工具が数本だけの状態だ。これが地味にストレスだった。
ローカルLLMを試したいけど、能力が心配だった
5090ならローカルLLM（自分のPCの中で動くAI）が動く。それは知っていた。
でも、ずっと踏み切れなかった理由がある。能力が心配だった。
普段はChatGPTやClaudeのサブスクを使っている。月に数千円払っているだけあって、賢い。それに比べてローカルLLMはどうなのか。中途半端な答えを返されるくらいなら、最初からサブスクに投げたほうが早いんじゃないか。
そしてもうひとつ。使いどころが難しい。
「何でもできます」と言われても、じゃあ何をさせればいいのか。ここが今回の一番のつまずきだった。賢いAIと同じ土俵で使おうとすると、たぶん負ける。でも土俵を変えれば、勝てる場所があるはずだ。
任せたのは「仕分け係」という地味な仕事
悩んだ末に、土俵をこう決めた。
大量で、定型で、失敗してもやり直せる下処理だけを任せる。
具体的には、Obsidianに投げ込んだ音声メモの一次仕分けだ。私のメモは通勤中に一気に喋ったものが多くて、1本の中に日記と、調べ物の依頼と、ブログのネタと、家族の話が混ざっている。これを7種類に分ける作業を、ローカルLLM（qwen系の27Bモデル）にやらせてみた。
実際に動かすと、1件あたり20秒ちょっとで分類案が返ってくる。電気代は1回あたり1円くらい。サブスクの回数制限も気にしなくていい。
ただし、そのまま信じない。前回の記事で書いた「AIの出力を鵜呑みにしない」はここでも同じで、ローカルLLMの分類案はあくまで提案として別の場所に置き、最終的な採用は自分（と、賢いほうのAI）が確認してから決める。実際、確信度が高い顔をして間違えることもあった。
常駐させない、という判断
もうひとつ決めたことがある。24時間動かさない。
最初は「常駐させて全自動」に憧れた。でも計算すると、待機しているだけで月800円くらい電気代がかかる。仕分け1回1円の仕事のために月800円の待機料は、明らかに割に合わない。
だから、使う瞬間だけ起こす。メモを処理したいときに呼び出して、終わったら寝てもらう。派手さはないけれど、これが一番納得できる形だった。
手応えは、まだない
ここまで書いておいて何だが、正直な現在地を書く。
手応えは、まだない。
仕組みは動いた。分類も返ってくる。でも「5090を買ってよかった」と言い切れるほどの結果を、まだ自分の目で確認できていない。実運用に入れたばかりで、処理した件数も少ない。
ただ、方向は見えてきた気がする。次にやろうとしているのは、失敗してもいい専用フォルダを作って、そこにローカルLLMの分類・分析・要約をどんどん作らせて、賢いAIと自分がチェックするという体制だ。原本には触らせない。だから失敗しても痛くない。うまくいった処理だけを、少しずつ固定の仕事にしていく。
工具は棚から降ろした。まだ手に馴染んではいない。そういう段階の記録として、この記事を残しておく。
まとめ
- 5090の性能を使い切れていないのがもったいなくて、ローカルLLMを試した
- 一番のつまずきは「使いどころ」。賢いAIと同じ土俵では使わない
- 任せたのは、大量・定型・やり直しがきく「メモの仕分け係」
- 出力は提案止まりにして、採用は人間と賢いAIが確認する
- 常駐はさせない。使う瞬間だけ起こす（待機電力のほうが高くつく）
- 手応えはまだ。結果はこれから確認していく
次回は、この「失敗してもいいフォルダ」で仕分け・分析・要約を回した結果を書くつもりだ。うまくいってもいかなくても、そのまま書く。