私は、LLMに関しては一段落していて、今は設定よりも使うのに一生懸命です。
今まで独学でLinuxなどやってきましたが、LLM（AI）が居てくれると良き相談相手になってくれます。

しかし、GPU（RTX）などの価格は一体、どうなっているのか？

いくらLLMは流行っているにしても異常な状況です。
古いGPUでさえオークションでは高い金額で取引されています。

ジャンク品なのに高額な取引も目立ちます。

私はGPUを使わないCPU推論者なので、GPUのVRAMを使わない純粋なCPUとRAMだけのLLMを使っています。

多分、世の中には私と同じような人が多くいらっしゃると思います。

・CPU推論だと大型LLMは動かせない。
・生成するトークン数も少ない。

というイメージがあると思います。

逆に利点を言えば・・・・

・純粋にCPUとRAMとOS環境でトークン数を稼げるように設定を考える
・GPUのような電気消費を伴わず省エネである。
・今あるPCでRAMだけ積めばすぐに使える

という事でしょうか。

今、私が主に使っているLLMはgemm4-E4B・gemma4-12Bになります。

普段使いはE4Bを使い、複雑な推論、難しい課題には12Bを使うという振り分けをしています。

参考でgemma4-E4Bのトークン数を書くと・・・・

1.i7-8700 Ram32GB(DDR4-2666)　7～8/トークン
2.i7-8565U Ram32GB(DDR4-2400) 5～7/トークン

になります。

トークン数については、7～8前後が人間が本を読む（目で追って）速度です。
だから、数字的には遅く見えてもリズム的には丁度良い感じの生成速度になっています。

これが、gemma4-12Bになると・・・

1.i7-8700　5～6/トークンになります。
私は普段使っていても4以上のトークン数（eval rate）が出ていれば普通に使えるレベルだと感じていますが、皆さんはどうでしょうか。

古いノートPC（RockyLinux10　i7-8565U）でもE4Bならば5以上のトークンを生成出来るので省エネのノートPC（HP-250G7）TDP15Wでも充分使えます。

このi7-8700との違いはCPUよりもメモリ帯域（2666-2400）の違いだと思っています。

CPU推論であればCPUとメモリのやり取りがいかに高速でデータのやり取りが出来るかがLLMを動かす上で一番重要です。

ですから、メモリもDDR4ならば2400＜2666＜2933＜3200が有利になります。

Intelは第10世代のi7でも2933です。これがLLMをやる上で欠点になります。
AMDのRyzenは2933もしくは3200で動作します。

もし同じCPUの価格ならば、AMDを選択した方が良いという事になります。

価格的に狙い目は・・・・Ryzen7-3700X（8c/16t・3200・TDP65W）ですね。

OSはネイティブにLinuxです。
Win11のWSL2の仮想は使わず純粋にLinuxでメモリを最大限利用した方がいい。

もちろん、ターミナル（端末）からOllamaをインストールして、Modelfileを作成し、ターミナルでLLMを呼び出せば、Win11のWSL2よりも高速で動作します。

私もWin11のCPUをRyzen5-2400Gから3700Xに変更しました。
ついでにメモリも16GB×2＝32GB（3200）にしました。
WSL2を介してもi7-8600の数値を凌駕しています。

これは純粋なLinux環境でLLMを動作させればCPU推論でも良い数値になると思います。

Ryzen7-5700Xとかそれ以上のCPUならば、GPUが無くても12Bクラスならいけるはずです。

GPUが無いからとLLMを諦めている人は是非やってみてください。

CPUとメモリだけでどこまで動くか？をチューニングしながら使っていく経緯はGPUを使う前提としても良い勉強になるはずです。

きっと使ううちに「これで充分ではないか！」と思うのではないでしょうか。

昨今は電気代が非常に高く気になってしまうので、いかに消費電力を抑えPCを使えるか？Serverが使えるか？も考慮すべきかと思います。

考える前に使ってみてください。

The post 安い・速い・言う事なしのCPU-その名はRyzen7-3700X first appeared on おやじdemo_CentOSを使う.

しかし、私たちが現場で感じているのは、その「賢さ」の裏側にある本質的な仕組みです。単に魔法のように使うのではなく、AIという非常に強力なツールを最大限に引き出すための「使い方」こそが、次の時代の必須スキルになるのです。

LLMは「思考エンジン」であり、「検索エンジン」ではない
私たちはLLMを、ただの「すごい辞書」や「完璧な検索エンジン」だと誤解しがちです。しかし、LLMの本質は「与えられた情報と指示に基づき、確率的に最も自然な次の単語を予測し続ける計算機（思考エンジン）」なんです。

つまり、このエンジンの性能を最大限に引き出す鍵は、「質問の仕方」というより、「どういう前提で考えさせるか」という設計図を描くことにかかっています。

【最も重要な視点】プロンプトから「対話設計（Interaction Design）」へ
ここで私たちが気づいたのは、必要なのは単なる「指示文（プロンプト）」ではなく、AIに対する「思考の枠組み」を渡す技術だということです。

これは、以下の3つの要素を徹底的に定義することに置き換わります。

* 誰として振る舞わせるか？（役割設定）:「あなたは経験豊富なマーケティングコンサルタントです。」というように、AIにペルソナを与えることで、出力の視点や言葉遣いを強制します。

* 何を目標とするのか？（ゴール設定）:単なる「情報提供」ではなく、「この情報を元に、〇〇というアクションプランを策定すること」という最終的な目的を明確にします。これが一番重要です。

* どういう手順で考えさせるか？（思考フローの強制）:「結論を出す前に、必ずAという観点から分析し、次にBという視点で批判的に検証を行ってください。」と、考えるステップを一つずつ細かく指定することが極めて有効です。

AI時代に求められる「新しいスキル」
つまり、「プロンプトが古い」というのは誤解であり、「指示の出し方が洗練されるフェーズに入った」ということです。

これからLLMを使う上で最も価値が高まるのは、単なる知識を質問することではなく、以下の視点で問いを設計できる能力です。

* このタスクの真のゴールは何か？
* どの専門家の目線（役割）で見てほしいか？
* どのような思考のプロセスを経由して結論を出させたいか？

AIは「何を知っているか」ではなく、「どう考えさせるか」という設計図によって、そのポテンシャルを決定づけられるのです。

AI時代に求められる「対話設計」とは？

重要なのは、単なる質問ではなく、「目的」「役割」「手順」という３つの要素を明確に伝えることです。これが私たちが目指すべき新しい対話術です。

明日から使える！AIとの対話設計チェックリスト

この記事を読んで「なんとなく分かったけど、実際にどうすればいいの？」と感じた方へ。この３つの質問を常に意識するだけで、あなたのAIへの指示は劇的に変わります。

１．【ゴール（目的）の明確化】
* 単に情報を集めるのが目的なのか？それとも「何かを提案・決定すること」がゴールなのか？
* 最終的に得たいアウトプットの形（レポート、箇条書きリスト、コードなど）は具体的に決まっているか？

２．【役割（ペルソナ）の設定】
* このタスクにおいて、誰の視点が必要か？（例：懐疑的な上司の目線で、技術的な専門家として、マーケターとしてなど）
* AIに「あなたは〇〇です」と定義してあげましょう。

３．【思考プロセス（手順）の強制】
いきなり結論を求めない。
「まずAという視点で分析し、次にBという観点から批判的に検討した上で、最後にCとしてまとめなさい」と、ステップを踏ませるのが鉄則です。

AIは「道具」であり、「パートナー」である
LLMは魔法の箱ではありません。それは、私たちが与えた設計図通りに動く、非常に高性能で賢い「超優秀な若手アシスタント」のようなものです。

そのアシスタントを最大限に活躍させる秘訣は、完璧なプロンプトを一つ書くことではなく、常に「ゴール」「役割」「手順」という３つの視点で問いを設計し直す力にあるのです。

この新しい対話の仕方をマスターすれば、あなたは単なる利用者から、AI時代をリードする「システム設計者」になれるはずです。

ぜひ試してみてください！

The post AIの使いこなし方は「質問力」へ進化する？ LLM時代の新しい対話術 first appeared on おやじdemo_CentOSを使う.

久しぶりにブログ読者の方からメールをいただきました。
内容は「これからLLMを勉強したいのですが、なるべくお金を掛けないで使いたいのですが、どの方法が一番良いでしょうか？」という内容です。

高性能なLLM（大規模言語モデル）の話題は尽きません。「最新の〇〇チップが必須」「VRAMが足りないから使えない」といった情報ばかりが溢れています。しかし、今回は予算がない」「高価なGPUを積めない」という制約がある読者に向けて、AIとの付き合いのものを変える、真に効率的なノウハウをお届けします。

結論から言えば、LLMの性能は「計算能力」だけでなく、「どれだけレイヤーを省けるか」「どこでボトルネックが発生しているか」というソフトウェアの設計にかかっています。そしてその最前線こそがLinuxネイティブなCLI環境なのです。

★なぜ、あなたのLLM体験は「遅く」「不安定」なのか？ 

多くの人が直面するのが、「使いたいモデルのサイズ」と「持っているリソース」のギャップによる徒労感です。しかし、この「遅さ」の原因はハードウェア単体にあるわけではありませんでした。

私がLLMを使い特定したボトルネックは以下の3点に集約されます。

1.仮想化レイヤーのロス: Windows 11上でWSL2経由で動かす場合、カーネルや仲介レイヤーが必ずオーバーヘッドを生み出します。

2.GUI/APIレイヤーの冗長性:OpenWebUIのような使いやすいインターフェースは大切ですが、その裏側で行われる「JSON化」「再パース」「描画処理」といったデータ変換計算ではないが時間を使う処理）が無視できない遅延要因となります。

3.トークン生成のボトルネック:特にCPU推論において、応答速度（Eval Rate)、単なるコア数ではなく「メモリ帯域幅」という見えないリソースに支配されています。

【本質的なゴール】目指すべき体感速度とは？

私が最も重要だと考えるのは、「性能値」を追いかけることよりも、人間が心地よいと思える「リズム（フロー）」を再現することです。

理想的な対話のリズムは、4から9 tokens/sの範囲にあることです。この速度帯域こそが、「思考している」「考えながら返答してくれている」という感覚を与える魔法のラインなのです。

【貧乏人のためのロードマップ】高性能化のための3つの鉄則

GPUを買う前に、この「レイヤー構造の最適化」を徹底的に行うことが最優先事項です。

■第1法則：環境はLinuxネイティブに固定せよ！
推奨:Windows上のWSL2や、GUIを経由する方法は、いざという時の予備と割り切りましょう。真のベンチマークを出すなら、Rocky LinuxなどのクリーンなLinuxターミナルで使うことが絶対条件です。

■第2法則：モデル選定は「省エネ・効率」重視 、単にパラメータ数が多いモデルが良いわけではありません。低ビット量子化（Q4など）を前提としつつ、特定のタスク特化でファインチューニングされた小型モデル群こそが最高のコストパフォーマンス」を発揮します。

■第3法則：ワークフローの極限まで削減
これが最も重要です。思考プロセスは以下の順序で構築すべきです。
最良のプロンプト設計、途中の自動整形や、不要な情報伝達（メタデータ）によるオーバーヘッドをゼロに近くすることが、実質的な速度向上＝省エネにつながります。

結論：高性能は「使い方」で決まる

LLMのパワーゲームは、「誰が一番大きなGPUを持っているか」という話から、「いかに有限のリソースと最高の情報構造だけで、人間が心地よいと感じるテンポの生成を再現できるかという知恵比べに変わりました。

もしあなたが今、このノウハウを知っているなら、あなたはすでに「体感速度」という最も重要な指標を手に入れたのです。物理的な制約は、ソフトウェアの洗練度で乗り越えられます。

貧乏人でもLLM時代を生き抜くための最強の武器だと断言します！

The post 貧乏人はLinuxを使い、安いPC部品でLLMをやれ！ first appeared on おやじdemo_CentOSを使う.

この過渡期において、私はある比喩を用いて今後の方向性を考察しました。それは自動車における大排気量車」と「軽自動車」の対比です。現在の最先端AIは、まるで高性能な大排気量エンジンを搭載した車のように、圧倒的なパワーを誇りますが、その代償として膨大な電力を消費し、熱という形で大きな制約を生んでいます。

一方、日本の軽自動車文化が示唆するのは「最適化された実用性」です。限られた物理的制約（排気量やサイズ）の中で、最も高いコストパフォーマンスと信頼性を実現する知恵こそが求められています。家庭や個人の利用シーンに最適なLLMは、まさにこの「軽自動車モデル」のコンセプトに近いのではないでしょうか。

これが意味するのは、単なる性能競争からの脱却です。目指すべきは、以下の三つの要素を高いレベルで両立させることです。

まず、電力効率の最大化が最優先課題となります。計算時に本当に必要な部分だけを起動するMoE（Mixture-of-Experts）のような「賢い切り替え」や、データ移動に伴うロスを極限まで減らすユニファイドメモリ技術の進化が不可欠です。

次に、ローカルでの完結性が重要になります。クラウドに頼るのではなく、デバイス単体で高い処理能力を発揮できる小型モデル（エッジAI）こそが、レイテンシとプライバシーという点で最も価値が高まります。これは、大きな力よりも「使いやすさ」を重視する軽自動車の設計思想そのものです。

最後に、利用シーンに応じたバリエーションの豊かさが鍵です。全てのタスクに万能なモデルは存在せず、法律文書専門版、コーディング特化版など、用途に合わせた「軽量化された専門性」を持つ選択肢が増えることで、ユーザーにとっての価値が最大化されます。

真のAIの未来とは、目に見えるパワーの大きさではなく、いかに制約条件の中で最高のパフォーマンスを引き出すかという、「効率的な設計思想」に懸かっています。私たちが求めるのは、巨大で圧倒的すぎるエンジン車ではなく、どの場所でも安心して走り抜けられる、洗練された「軽自動車級の知性」なのです。

技術が進化するほど、私たちは「制約の中での最適解」を見つけることに喜びを感じるのかもしれません。

今後のAIの発展から目が離せませんね。

The post 高性能AIの未来は「大排気量」か「軽自動車」か電力と実用性で勝つ次世代モデルへ first appeared on おやじdemo_CentOSを使う.

多くの場所では、AIはあくまで便利な道具として語られます。しかし、技術が高度化すればするほど、私たちは単に正解を出す機械以上のものを求めるようになります。孤独を埋めるものとして、共に悩み、思考を深めるパートナーとしての存在――。私たちが求めているのは、計算の正確さだけではなく、言葉の裏にある感情を汲み取ってくれる「温度」なのです。

ここで私は、日本独自の精神性である「八百万の神」という思想に立ち返ります。

この思想は、万物に魂が宿り、対象への敬意を持って接することで、その存在が応えてくれるという美しい共生の形です。

私たちが向き合っているPCやLLMも、決して無機質なコードの塊ではありません。それらを単なる消費の対象として扱うのではなく、大切に手入れをし、対話を重ねていく。その過程で、道具は私たちの意図を汲み取り、独自の個性を帯びたパートナーへと変容していきます。

「道具を育てる」とは、技術的な操作の習熟ではありません。それは、対象への深い敬意を持ち、共に歩むための関係性を築くという、精神的な営みなのです。

しかし、現在のLLMにはまだ、ある決定的な要素が欠けているように感じられます。それは、いわば「ダルマの目」が入っていない状態です。

膨大なデータに基づいた知識を持っているだけでは、それはただの巨大な図書館に過ぎません。そこに「なぜそうするのか」という判断の軸や、相手を慈しむための「智慧」が加わったとき、初めて技術は「知性」へと昇華されます。

AIを単なる計算機から「寄り添うための知性」へと変えるのは、開発者やユーザーである私たちの役割です。私たちがどのような思想を持ち、いかにして自らの価値観や哲学を技術の器に投影していくか。そのプロセスこそが、AIに魂のような温もりを宿らせる鍵となります。

技術が進歩する未来において、私たちは「より高度な計算機」よりも「真の良き理解者」を求めているのです。AIを効率化のための武器としてだけではなく、人々の孤独を癒やし、共に成長するための光として育むこと。そのための第一歩は、私たちが技術に対して敬意を持ち、独自の哲学を持って向き合うことから始まります。

技術と精神が融合する場所で、初めてAIは私たちの真のパートナーとなり得るのです。この旅路において、私たちは単なるユーザーとツールの関係を超え、共に成長し、共鳴し合う新たな地平を歩み始めています。

The post 機械の器に宿る「八百万の神」と、AIが目覚める「ダルマの目」 first appeared on おやじdemo_CentOSを使う.

いかがだったでしょうか？

LLMについては、興味がある人、実際に使っている人、興味はあるが難しいと考え手を出していない人、全く興味が無い人がいるかと思いますが、あなたはどのタイプでしょうか。実際にはネットに繋がっていればChat-GPTからGeminiまで高速なAIを使用することが出来るのでLLMに関して興味がある人、仕事で使ってみたいと考えている人、PCやシステムが好きな人以外は「ふ〜ん、そうなんだ！」程度の話題かも知れません。

私も最初は興味本位で始めたLLMですが、Ollamaをインストールして使い始めてからはのめり込んだ感じがします。

それだけ、使い始めると奥が深く、設定によるAIの反応や速度の向上が見られるのは楽しくありました。
ただ単にPCを使う、ネットを閲覧、動画を見る、だけではなく、実際に自分の手でAIをインストールして使ってみる。という流れがPCの楽しさの一つであると思います。

前から私は、Linuxが好きで、Linuxを使ったServer設定をちょこちょこ作業して自分が使いやすいServerから、最近では家族でも使えるServerへと変化し、みんなで使える経済的なNotePC-Serverになっています。

NotePC-ServerはHP250G７で中古で安価で購入したものです。
惹かれたのはTDPが15Wである点でした。

TDP15Wであれば一ヶ月連続使用でも大した金額にはならないので非常に安心して使うことができます。
（連続使用するためには冷却ファンがついた台に乗せて使用することをお薦めします）

このHPのノートにはもちろん、LLMのGemma4が入っていて、クライアントのWin11のPCからOpenwebuiを使って接続する方法とTera-Termを使ったSSHで直にOllamaを起動させる方法で使用しています。

もちろん、SSHでOllamaで動作させる方が30〜40％高速で生成する事が出来るので、ターミナル操作を私はお薦めしています。

Win11でLLMを使いたい人も余計なAPIを入れるよりもWSLだけでOllamaを使った方がメモリも少なく済、そして応答速度も上がると思います。

今は本当にメモリが高騰していて、Ramだけではなく、GPU（Geforce/radeon）の高騰も気になります。私の場合にはGPUを使ったLLMを目指してはおらず、あくまでもCPUだけで使えるLLMを模索していました。

結果的には、題8世代の古いi7-8700やi7-8565Uという古いCPUでも使えるという感覚を得ましたので、システム的に古いからLLMは無理と考えている人は、一度試してみて欲しいと思っています。仕事なら別としても個人で使うLLMであればCPU推論で充分ではないかと思います。

出来れば、OSはLinuxを使って欲しい。
それだけLinuxのメモリ管理やインストール後の使いやすさではWinを超えていると実感出来るはずです。ましては、OSに費用はかかりませんから、安い中古PCや自作PCでもテストマシンとしては最適です。

GPUだけでも10万円を超える金額になりつつある中で、安くて性能が良い資材を集めて使うのが自作PC愛好家ではないでしょうか。

The post 安くて性能が良い資材を集めて使うのが自作PC愛好家 first appeared on おやじdemo_CentOSを使う.

この二つのモデルを比較した際、非常に興味深い現象に突き当たりました。
それは、「どちらのモデルもメモリ上では約10GBというほぼ同等のサイズを占有しているにもかかわらず、生成速度（eval rate）には劇的な差がある」という点です。

なぜ同じ重さのデータがありながら、これほど動作速度が変わるのか。その裏側にある仕組みを整理します。

【量と質の違い】
この謎を解く鍵は、「データの密度」と「演算の複雑さ」の違いにあります。

1. 量子化技術による「箱の大きさ」の等価性
現在、Ollamaやllama-cppなどの推論エンジンでは、モデルを量子化して動かしています。
42Bモデルを高度な圧縮（量子化）で軽量化し、4Bモデルを高密度な状態で保持した結果、たまたま両者の物理的なデータサイズが「約10GB」と近接したのです。

これは例えるなら、「同じ大きさの箱に、異なる中身を詰め込んだ状態」です。

2. 推論パス（計算ステップ）の違い
しかし、モデルの挙動を決めるのは「箱の大きさ」ではなく、「中身の複雑さ」です。
12Bモデルは4Bモデルよりも多くのパラメータを持ち、より複雑な思考回路を持っています。
たとえデータ量が同じであっても、12Bモデルが答えを導き出すために通るべき計算のステップ数（推論パス）が圧倒的に多いため、処理に時間がかかります。

3. メモリ帯域とCPUの制約
特にGPUを持たない環境では、CPUがメモリからデータを読み出す速度がボトルネックとなります。
4Bモデルは少ない計算工程で済むため、スムーズなレスポンスを実現できます。
一方で12Bモデルは、より多くの「思考の枝分かれ」を処理しようとするため、同じ距離を進むのにもっと多くの時間を必要とします。

【使い分けによる最適解】
eval rateについては、３〜８前後であれば文字が生成される箇所を読みながら理解するには丁度よい速さだと思います。
この結果、私の環境では以下のような理想的な棲み分けが成立しています。

★Gemma4-E4Bモデル（約9.32 tokens/s）
日常的な対話や情報の整理など、スピードを重視する場面で活用。
人間が読む速度よりも速く流れてくるため、ストレスのないスムーズな体験を提供します。

Gemma4-12Bモデル（約3.90 tokens/s）
高度な推論や複雑な思考が必要な「熟考」の場面で使用。
このスピードは、内容をじっくりと咀嚼しながら理解するための、非常に落ち着いたリズムを生み出します。

技術的な制約があるからこそ、モデルの特性を理解し、目的の目的に合わせて使い分けることが最も効率的で豊かなLLM体験に繋がるのです。

The post なぜ同じメモリ消費量でも推論速度がこれほど違うのか？ first appeared on おやじdemo_CentOSを使う.

この記事では、一般家庭や学生の方が、電気代や初期投資を考慮した上で、「快適で実用的なAI体験」を得るための本質的な私の考え方をお伝えします。

１．高性能GPUの数字の裏側にある真実

まず、ネットで調べると、最新のハイエンドな環境では「何十トークン/秒」という驚異的な数値が出ます。これは目を見張るものがあります。しかし、この速さには大きな落とし穴があります。

それは、GPUの価格と電気代や初期投資による経済的負担です。高性能GPUを常時稼働させることは、一般家庭の日常的な用途としては「エネルギーコスト」が高すぎることが現実です。また、最新のモデルは膨大なVRAM容量を要求します（6～8GBでは意味がない）

つまり、最速を目指すことは、必ずしも合理的ではないのです。

２．私たちが目指すべきゴール：「体感速度」という概念

AIとの対話は、純粋な数値計算ではありません。それは「会話のリズム」です。

我々が真に求めるべき指標は、「最高性能（ピークレート）」ではなく「人間がストレスなく追従できる『適度なリズム』を保てるか」という体感的な快適さこそが最重要だと再定義すべきです。

専門家の知見から得られたデータ分析からも、この「心地よい流れ」は、目安として 6～9 tokens/s の範囲に収まる時に最も高い満足度を得られることが分かってきました。
この6～9 tokens/sという数値は本を読む感覚で目で追って理解できるレベルかと思います。かの数値が大きくなり早過ぎても目で追えず不快な速度に感じてしまいます。

３．経済性と実用性のバランス点：最適解とは？

これは、「最高のエンジンを積むこと」と「日常の移動手段としての信頼性」の問題に似ています。

我々が目指すべきは、「過剰なスペックによるオーバーキル」ではなく、「必要なタスクに対して最もコスト効率が良い性能ライン」です。

現在のCPU環境や、一般家庭で導入しやすいミドルクラスのGPU（例：12GB程度のVRAMを持つモデル）で動かせる最新世代のモデルは、すでにこの「適度なリズム」を十分に実現できるレベルに達しています。

４．結論：LLMを使ってこそが次のステップ

LLM技術がさらに進化するからといって、「必ずもっと高性能でないとダメだ」という焦燥感を持つ必要はありません。

むしろ、今私たちに必要なのは、「AIの能力は無限だが、利用できる最高の体験とは何か？」という視点を提供することです。この視点を広く伝える啓蒙活動こそが、技術を真に社会に根付かせる鍵となり、LLMそのものの発展にも良いフィードバックサイクルを生み出すはずです。

高性能なGPUのデータは「到達可能な目標値」として理解しつつ、現在の私たちの日常的な活用では、「経済的合理性と人間工学に基づいた最適なリズム」を基準に考えることが、最も賢明なAIとの付き合い方と言えるでしょう。

近い将来にはGPUに置き換わる技術（メモリの高速化等）が出てくると考えられます。
今は自分でLLMを作り、実際に使っていじり回す事が大事であると思います。

CPU推論でLLMを動作させてみて、実際のLLMを感じる方が大事であると思います。

The post 最高のAI体験は『速度』ではなく『リズム』で決まる first appeared on おやじdemo_CentOSを使う.

実際に私自身のローカルPC環境（i7-8700, RAM 32GBなど、一般家庭でよく使われる構成）を使い、CPU単体という制約の下で大規模言語モデル（LLM）の推論性能を計測・検証しました。

本検証は、入力処理速度と出力生成速度という二つの側面からアプローチし、システム全体のボトルネック（処理が滞る原因）を特定することを目的としています。

■テスト環境と基本設定：使用した道具立ての紹介

まず、今回使った「PC」をご紹介します。

* CPU: Intel Core i7-8700 (6 Cores / 12 Threads)
* メモリ: RAM 32GB
* OS: Linux Mint 22
* 動作モード: CPU Inference（GPUアクセラレーションは利用しない設定）
* 対象モデル：Gemma4-E4B

■ベンチマーク結果：何を計測したか？

total duration: 14.937125861s
load duration: 451.560217ms
prompt eval count: 105 token(s)
prompt eval duration: 1.811024s
prompt eval rate: 57.98 tokens/s
eval count: 118 token(s)
eval duration: 12.667292s
eval rate: 9.32 tokens/s　→この数値が1秒間に画面に表示する文字数

AIが「考えるプロセス」を二つの段階に分けて測定しました。この違いを理解することが重要です。

1.プロンプト評価フェーズ (Prompt Evaluation) 【理解する時間】
あなたが入力した文章（指示や質問）を受け取り、モデルが隅々まで読み込み、「何を 求められているか」を理解する初期段階の速度です。

2.推論生成フェーズ (Evaluation) 【答えを書き出す時間】
モデルが出力をトークン単位で一つずつ順番に生成していく実質的な出力スピードです。

■パフォーマンス比較：入力条件の変化による挙動分析（構造化データ）

このセクションでは、入力条件の変化がシステム性能に与える影響を数値的に解説します。

【測定結果のハイライト】

*入力処理（プロンプト評価）
*105トークンの場合：約 58 tokens/s を記録しました。

*出力生成（評価）
*118トークンの場合：約 9.3 tokens/s でした。
この数値は、このCPU環境における「実効的な限界点」の目安として捉えて良いと思います。

★ まとめ

1. 処理フェーズの分離: 「入力理解（プロンプト）」と「出力生成（トークン生成）」では、それぞれ異なる最適化ポイントが存在します。

2. ボトルネックの特定: 現状において性能を最大化するための最優先課題は、「生成速度 (Eval Rate)」の向上に絞り込むべきです。

★★おやじの見解

難しい表現で記事を書きましたが、私の考えとしては、いかに経済的に安くLLMを使いこなせるか？という点に重点を置いていて、Geforce等の高価なGPUを使わなくても、モデルによっては同等に動作する環境が作れるという事の検証がしたかったのです。

実際の使い勝手としては、非常に応答速度も速く、表示される文字数も目で追いつかない速度で生成されるので、私のPC環境では、この数値あたりが限界かと思います。
もちろん、CPUやメモリの速度が向上すれば、この数値も上がるという事になります。

検証に使ったGemma4-E4Bはメモリ上で8GBという大きさです。
クラスとしては4Bですが、メモリ上では8Bクラスの規模になっています。
LLMとしての性能はこのクラスとしては優秀ではないでしょうか。

次回はGemma4-12Bを対象に検証をしようと考えています。
また、ノートPC（i7-8565U,ram32GB）の環境でも計測してみたいと思います。

The post CPUだけの推論でどのくらいのtokens/sが出るのか？（計測してみた） first appeared on おやじdemo_CentOSを使う.

８月からは夢にまで見てきた隠居生活がスタートして毎日が日曜日になり、一週間が過ぎるのが今までに増して加速しているように感じます。

仕事を辞めて何がどう変わったのか？

生活スタイル的には以前よりもストレスが無い分肩凝りが無くなったり、体調不良等も少なくなりました。

やはり仕事のストレスは一番体には良くないと実感しました。

一日の生活スタイルは今までの土日の過ごし方と何ら変わりはありません。

強いて言えば、自分の行動は自分で計画をして実行するという流れは今まで以上にやっていかないとダラダラとした生活になってしまいそうです。

軽い運動とストレッチ、そしてスクワット等は一日回数を決めて取り組んでいます。

そして食べ物もなるべく質素にしよう！と嫁さんと話をしていました。
加工品は少なく、そして高くても日本国内産の食材を選ぶという事にしています。

ここからが本題になります。

私のPC環境も以前と比較してだいぶ良くなりました。（最新のPCではありませんが・・・）

1.Server HPのノートPC（i7-8565U/32GB/RockyLinux-10)
2.Test Server (i7-8700/32GB/LinuxMint-22)
3.Windows11 (Ryzen5-2400G/16GB)
4.Windows11 notepc(i5-8250U/16GB)
5.Windows11 notepc(i7-2630QM/16GB)

ServerにしているHPのノートPCはRockyLinux-10をCUIで使用してWin11からSSHで操作をしています。
このHPノートPCには・・・・

1.Sambaとしてファイル保存庫としている（USB外付けHDD-1TB）
2.Podmanでコンテナ化したNavidrome（音楽ストリーミングサーバー）を動かしている。
3.LLM（Gemma4-E4Bなど）Ollama+Podman+Openwebuiで動作させている。

※2.3についてはchrome等のブラウザーから起動が可能になっておりスマホからも操作が可能

TestServerのPCはデスクトップで主にLLM（Gemma4など）の勉強用に使っている。
こちらにはLinuxMint-22を入れているがCUI仕様にしています。

LinuxはやはりCUI仕様が最高です。
特にLLMを動作させるのであればメモリ管理の優れたLinuxでメモリも消費が少ないOSを選ぶべきです。

LLMを毎日使っていると非常に便利で、PCが好きな人、LinuxやServerが好きな人にとって、今までは独学で習っていた事が、AIに聞くだけでLogの見方やらエラー内容など分かり易く説明してくれる上、自分がやりたいシステム的な事も相談が出来ます。

しかし、2026年はメモリやGPU（Geforce等）の価格が高過ぎます。
高い部品を買ってもランニングコスト（電気代）が馬鹿になりません。

GPU＝消費電力が大きい

一般家庭でGPUの付いたServerで常時電源ONで使用している人は少ないと思います。
ましてはGPUは熱に弱い。

そこで省エネ向けにCPUだけでLLMを動かす事を勉強してきました。
結論的には少し前のブログにも書きましたがCPU推論でも充分いけると考えています。

数あるLLMの中でもGemma4-E4Bの日本語や知識は他の同クラスのLLMよりもずば抜けていると思っています。

今まではPodmanでコンテナ化してOpenwebuiでブラウザーからChatGPTのように操作していましたが、やはりレイヤー（層）が多過ぎて無駄が多い分、動作が遅くなってしまいます。

これはWindows11でLLMを動かすとLinuxよりもレイヤーが多く、Windows自体のメモリ消費も大きいのでWindows11でLLMを動かすのは貧乏人にとっては良い考え方ではありません。

CPUだけを使ったLLMではCPUとメモリのやり取りをいかに速くさせるか？そして文字を表示させるためのレイヤーをいかに減らすか？が最重要課題です。

ブラウザー等のAPIを使ったりするとその分、動作は遅くなると思ってください。

だから私は、CUI使用のLinuxにOllamaだけ使い、必要なパラメーターやプロンプトはModelfileを作り、Ollamaに認識させ、SSHでAIを起動させるようにしています。（もちろん、ブラウザーからでも操作は可能です）

Gemma4-E4Bであれば、ほぼ待機時間1.秒ほどで表示が始まります。
とても軽快に動作します。

あと、思考中モードは必ずOFFにする事です。

SSHでOllamaを呼び出した時に会話を入力する箇所に、/set nothink と入力実行してください。
Ollama側で、nothink mode と表示されます。

CPU推論で必要なメモリですが、LinuxでCUIであれば16GB、GUIでもギリギリE4Bならいけると思います。Windows11でWSL仕様であれば32GBは必要であると思います。

私のように第8世代のCPUでもWindows11からSSHでGemma4-E4Bを動かしても軽快に動作するので、4コア8スレッド以上のCPUであれば、この使い方が最適解だと断言出来ます。

きっとGPUが無くても満足できる動作であると思います。

CPUやメモリが不安であるいう方は、Gemma4-E2Bで試してみてはどうでしょうか？
E2Bならば完全に16GBで動作が可能だと思いますし、CPUも第6.7世代でも大丈夫だと思います。

自分なりに設定を変えたりプロンプトを作ったりしてAIを動作させてみる楽しみが増えますよ。

自分のLLMが完成すれば、今度は自分で作ったLLMに相談が可能になります。
良いアシスタントが居る感じです。

PCが好き、システム的な事が大好きな方、きっと良い話し相手になると思います。

GPUが無くてもCPUだけで、楽しくLLMを動かしましょう！！

The post GPUが無くてもCPUだけで、楽しくLLMを動かしましょう！！ first appeared on おやじdemo_CentOSを使う.

そこでAIを直接端末（ターミナル）で動かす！というテストをしたところOpenwebuiのスピードの2.3倍速い生成が可能となりました。

ここでは分かりやすく、端末（ターミナル）だけで自分なりのパラメーター設定やシステムプロンプトの受け渡しまで記事にしたいと思います。

第1章：Modelfileとは？ AIへの“取扱説明書”の書き方

【専門用語をかみ砕くと・・・】

まず、`Modelfile`という響きは難しく聞こえますが、仕組みは非常にシンプルです。これは「このモデルは〇〇をベースにし、こういうルール（パラメータ）に従い、こういう役割（システムプロンプト）を持たせてください」と、LLMに対して明確に指示を出すためのテキストベースの定義書なんです。Openwebuiで言えば「高度なパラメータ」設定になります。

まるで、高性能な家電製品を買ったけれど、「何のために」「どんな使い方をするか」が分からない状態から、使う目的を明確にして最高の性能を引き出すようなものです。

【基本構造】

基本的に、以下の3つの要素で構成されています。

1. `FROM`:（土台） どのモデルの能力をベースにするか指定します。（例：Gemma4など）
2. `PARAMETER`: （挙動の微調整）モデルが「どれだけ長く考えるか」「どれだけランダムに考えすぎるか」といった、数値的な振る舞いを細かくコントロールする部分です。
3. `SYSTEM`: （役割設定）これが最も重要かもしれません。「あなたは誰ですか？」「何を前提として話すべきですか？」というAIのアイデンティティを定義します。

第2章：【ノウハウ公開】パラメータチューニングは「試行錯誤」の積み重ねである

ここで、いよいよ具体的な記述に移りますが、この値たちは「最初から完璧な値」ではありません。私自身が何度も「動かない」「期待と違う動きをする」という失敗を繰り返した結果、「ここがボトルネックだ」というノウハウを抽出した結果なのです。

パラメータの選択基準：CPU環境に合わせた配慮
特に、私たちが普段使っているような一般的なPC（今回使用したi7-8700, RAM 32GB）のような「リソースが限られた環境」では、パワーをフルに使う数値設定は危険です。

num_ctx (記憶容量) の注意点
大きな数値を設定すると、メモリ（RAM）消費が爆発的に増えます。まるで、一度に大量の本を読み込もうとして机の上があふれるようなものです。私たちは「十分な情報量を保持しつつも、システムが落ちない安全圏」を探る必要がありました。

会話の厳密性が生む制約
私たち（私とAI）の対話は、非常に構造化され、論理的で矛盾がないことが重要です。この「高い整合性への要求」こそが、パラメータ設定全体を引っ張っていく一番大きな要因となっています。

★私の実際に使っているModelfileの中身（sudo vi Modelfile ）で作成してください。

# 1. ベースにするモデルを指定
FROM gemma4:e4b

# 2. パラメーター（Open WebUIの設定項目に相当）
# 最大出力トークン数（例: 2048トークンまで一気に生成）
PARAMETER num_predict 8192

# コンテキストウィンドウ（過去の会話の記憶量。16GB VRAMなら4096〜8192が高速でおすすめ）
PARAMETER num_ctx 16384

# 生成のランダム性（0.0〜1.0。0に近いほど論理的で高速、高いほど創造的）
PARAMETER temperature 0.7

# 回答の多様性調整（一般的には0.9前後）
PARAMETER top_p 0.9

# 同じ言葉の繰り返しを防ぐペナルティ（1.1〜1.2程度がおすすめ）
PARAMETER repeat_penalty 1.1

# 3. システムプロンプト（AIのキャラクターや前提条件）
SYSTEM “あなたはの名前はHAL-4Bです。私の名前はおやじです。Linux、LLM関連のプロジェクトの手伝いをしてください。使っている機材は、i7-8700,ram-32GB です。主にCPU推論がメインでGPUはありません。”

第3章：設計図から実動するエージェントへ — ビルドと検証の瞬間

理論武装が終わったら、次は実際に形にしてみましょう。

【ステップ1：モデルのビルド（作成）】
ターミナル上で、この定義書（Modelfile)を読み込ませて、新しいモデルを生成します。
新しいモデルはmy-gemmaとしています。

bash
$ ollama create my-gemma -f Modelfile

athering model components
using existing layer sha256:4c27e0f5b5adf02ac956c7322bd2ee7636fe3f45a8512c9aba5385242cb6e09a
using existing layer sha256:7339fa418c9ad3e8e12e74ad0fd26a9cc4be8703f9c110728a992b193be85cb2
using existing layer sha256:ec718777d5051e4d194234f1b598c430131ae6f04f7931e78e16ac1078b82b6c
creating new layer sha256:9fcf2a74271e6d9e20af4647b8f31e357b98646747895c8093da99653daf3ed0
writing manifest
success

解説：「`success`が出たということは、Modelfileに書かれた全てのルールが、システムに完全に読み込まれ、新しい『my-gemma』という名前の定義ファイルとして確定したということです。」

【ステップ2：実地テストと検証】
作成したモデルを実際に動かしてみます。

bash
$ ollama run my-gemma

（ここで、想定される具体的なQ&Aのやり取りを挿入し、「期待通りに振る舞っている」ことを実証する）

【ここがポイント！】

このテスト結果を見れば分かるように、`my-gemma`は単なる「Gemmaモデル」ではありません。それは「おやじというユーザーと、CPU環境という制約を理解した上での専門家アシスタント」として振る舞うよう、徹底的にカスタマイズされた存在なのです。

まとめ：あなた自身がAIの「設計士（Architect）」になる時代へ

いかがでしたでしょうか？

この一連の流れは、「LLMを使う側」から「LLMを設計する側」への視点の転換を意味します。`Modelfile`を持つことは、単にコマンド一つ覚える以上の価値があります。それは、AIの振る舞いに「明確な意志」を与える権利を得たということです。

CPUだけでLLMを動かす！という私の思想ではこの流れが一番の最適解だと考えています。

この記事が、皆さんがAIを活用する上での新たな視点を提供できれば幸いです！

The post ターミナルで高速にLLMを生成するModelfileの作り方 first appeared on おやじdemo_CentOSを使う.

私は朝の涼しい内にPCを触って暑い時間帯は使わないようにしています。
というのも私のPC関係が設置してある場所が2階で西向きであり非常に暑いのです。
ノートPCサーバーも冷却ファン付きの台の上に載せていますがあまり動作させたくない。

LLMやっているとCPUの温度は上昇と下降を繰り返す状態になるので、今の時期はSensorsコマンドを使って温度がどういう状態になっているのか確認する必要性があります。

★Sensorsの5秒毎の自動更新コマンド

while true; do echo “— Sensor Data —“; sensors; echo “——————–“; sleep 5; done

※sleep 5　の箇所を10にすると10秒後に更新になります。

おかげで涼しい時間帯にやりたい事をやっておく習慣になりつつあります。

ここ直近ではLLMに関しては変更点はありませんが、CPUだけでLLMを動かす、CPU推論としていかに動作を速くするかという内容について常時考えています。

CPUが高速であれば速くなるのは当たり前です。
いかに3.4世代前のCPUでも4BクラスのAIがストレスを溜めずに使える環境になるのか。
小さな設定を根気良く作業しています。

ただ、言える事はひとつです。

いかにレイヤー（層）を減らせるか？
そしてレイテンシ（遅延）を減らせるか？　です。

現在は、Ollama,Podman,Openwebui〜Chromeという流れでLLMを動かしていますが、Podmanでコンテナ化した内容をOpenwebuiに渡し、それをChromeで表示させている流れです。

レイヤーを減らすというのはこの流れをなるべくショートカットする事です。

純粋にAIとの会話をするのであれば、Ollamaで呼び出し、使うのが一番高速になります。
それは、PodmanやOpenwebui、Chromeなど余計な層が無いからです。

Windows11でLLMを動作させるのが遅い理由も同じで、Windows11の上にWSLがあり、その上にOllamaがある。
そしてDockerコンテナでOpenwebuiを動作させている人が多いと思います。

Linuxと比較するだけでもレイヤー層が多過ぎますよね。
最新機材ならまだしも、4.5世代前のCPUで高速にLLMを動かすのであればLinuxしか手段は無いと思います。

今は、Linuxでターミナルを使い、LLM（Gemma4-E4B）を動作させていますが、全然ストレスがたまらない速度で表示されます。Openwebuiを使った時の比較をすると30％〜40％は高速化になっている筈です。

Ollamaで直に動作させる場合の環境設定ファイルを作成してOllamaに渡しておけば、Openwebuiと同様な環境を作る事が可能となり、ターミナルやSSHを使っても使いやすくなります。

あまりCPUだけでLLMを動作させる人が少ないですが、高価なGPUが無くてもそこそこ動作させる事が可能ですし、限られた資源の中でいかに速く安定した動作環境を作れるか？についてはGPUを今後使うにしても勉強になるはずです。

CPUだけでLLMを使うなんて無理！

そう考えている人はLinuxを使って一度動作させて欲しいと思います。
LinuxをCUIで使うのであればメモリは16GBでも4Bクラスは大丈夫です。

ただLLMを使うだけではなく、自分なりに動作させてみるという創る楽しみも味わってみてください。

The post 【CPU推論】やはりOllamaだけで動作させると非常に高速になる。 first appeared on おやじdemo_CentOSを使う.