Claudeのトークンが足りない。Mac mini×Qwen3.8にどこまで逃がせるか、aimarkメンバーが実測した話

8月24日、aimarkの雑談チャンネルで、僕はClaudeのトークン量がめちゃくちゃ厳しい、と書きました。

普段のAI活用は、ざっくり役割を分けています。動画制作や運用系のMCP操作はClaude。コンテンツ制作やBIダッシュボードまわりはCodex。そうやって使い分けているのに、それでもClaudeの利用枠が足りない。半分本気で「全部GPT移行しようかな」と書いていました。

その2日後、aimarkメンバーのかいさんから、ちょうどその悩みに近い検証が共有されました。

テーマは、Claudeに任せている仕事のうち、どこまでをローカルLLMに移せるのか。しかも、単なるベンチマークではなく、マーケティングの実務に近いタスクで検証していました。数字もあり、検証プロセスも具体的だったので、これは外に出したいと思い、本人に許可をもらってこの記事を書いています。

Sonnet以下の仕事ならローカルでよいのか、を検証した

まず、検証環境です。

かいさんが使ったのは、Mac miniのメモリ64GBモデル。ローカルLLMは、Qwen3.8 27BのQ4量子化版です。Ollama経由で動かしていました。

本人は、実験中のメモリ使用量についてこう書いていました。

ちなみに今回の実験でローカルLLMが使用したメモリは25.3GBだったので、Mチップのmacであればメモリ32GBあればいけそうです

もちろん、これは検証時点での見立てです。ただ、少なくとも「64GB以上のマシンがないと試せない」という話ではなさそうです。

比較対象はClaude Sonnet。検証に使った題材は、かいさん自身がセミナー集客のために作成したメルマガです。初稿、完成版、その間にAIとやりとりしたセッションログを材料にして、Claude SonnetとローカルLLMの出力を比較していました。

タスクは、大きく2つに分けられていました。

1つ目は「抽出」です。大量のログや原稿から、必要な情報、数字、重要な箇所を拾い出す作業。

2つ目は「分析」です。どの訴求が効いたのか、なぜ反応が取れたのか、次にどう改善すべきかを考える作業です。

抽出はローカルで足りる。分析はまだ差がある

まず、抽出タスクについて。

かいさんの検証では、メルマガ原稿、大量のセッションログ、関連資料の中から、必要な情報を拾う作業では、ローカルLLMでも十分に使える結果が出ていました。

本人は、検証結果をこうまとめています。

メルマガ原稿や大量のセッションログ、資料の中から必要な情報を正確に拾う、数字を抜き出す、重要部分だけ短くまとめる

といった作業なら、ローカルLLMでも必要十分な性能を発揮していたみたいです。

そして、今後の使い方についてはこう書いていました。

一次情報をAIが分析できる形に揃えるところまでは、今後はローカルLLMに移行しようと思っています。

つまり、ログを整理する、数字を抜き出す、要点をまとめる、といった「下ごしらえ」の工程は、ローカルLLMに任せられそうだということです。

一方で、分析タスクではまだ差がありました。

「どの訴求が効いたのか」「なぜ反応が取れたのか」を考えさせるタスクでは、Qwen側のプロンプトを工夫しても、最初の検証ではClaude Sonnetを超えるところまではいかなかったそうです。

ただ、まったく使えないわけではありません。かいさんは「結構近いところまで出来るようになってるので、逆転する日が来るかもしれません」とも書いていました。

要するに、単純な抽出や整理ならローカルLLMで十分。ただし、仮説を立てたり、訴求の良し悪しを判断したりする分析タスクでは、まだClaude Sonnetの方が安定している。これが最初の検証結果でした。

翌日、ハーネスを調整したら分析でもSonnetを超えた

ここで話が終わらないのが面白いところです。

検証を共有した翌日、かいさんは自分の作業ログ部屋で続報を書いていました。Fable（Claudeの上位モデル）に1日かけて、Qwen側のハーネスを調整させたところ、「ついにSonnetの分析力を超えた」という報告です。

ここでいうハーネスとは、モデルへの指示の出し方や、返ってきた出力を評価する仕組みのことです。つまり、Qwen単体の性能をそのまま比べたのではなく、Qwenが力を出しやすいように、周辺の設計をかなり作り込んだということです。

かいさん自身も、その点についてこう書いていました。

これはQwen単体がすごいというより、Fableのハーネス構築力が桁外れに卓越しているという気がする

ここは大事です。

Qwenを入れれば、すぐにClaude Sonnetを超える、という話ではありません。上位モデルにハーネスを作らせ、その設計を通してQwenをうまく使うことで、特定の分析タスクではSonnetを上回る結果が出た、という話です。

さらに、速度の問題もあります。出力スピードはSonnetより明らかに遅いとのことでした。

そのため、かいさんの結論は「〆切がないタスクであれば、ガンガンQwen移行できるかの検証をした方がいいぞ！」でした。

無料で長く回せる一方で、速度は落ちる。この交換条件を受け入れられるタスクなら、ローカルLLMに移す価値がある。そう理解するのがよさそうです。

aimarkでは、こういう実務検証を共有しています

aimarkでは、今回のような「実際に使ってみてどうだったか」というAI活用の検証や、マーケティング実務での試行錯誤が日々共有されています。

単なるツール紹介ではなく、どの業務に使えたのか、どこで詰まったのか、どんな条件なら実務投入できそうかまで、かなり具体的な話が流れているのが特徴です。

まず雰囲気を知りたい方は、aimark公式サイトを見てみてください。コミュニティの概要や活動内容、参加方法をまとめています。

また、AI×マーケティングの実務活用に関する話は、aimarkニュースレターでも配信しています。コミュニティ内で生まれた気づきや、AI活用の実践例を、外からでも読みやすい形で届けていく予定です。

参加を検討している方は、まず無料Discordに入ってみてください。Discordへの参加時点では料金はかかりません。中で案内を確認してから、必要に応じて正式参加を検討できます。

AIをマーケティングや事業づくりにどう組み込むかを、現場目線で一緒に試していきたい方は、ぜひaimarkをチェックしてみてください。