自宅AIラボと、新しいデバイスの日記

2026年10月21日

DGX Spark 2台でDeepSeek V4.1 Flash 1017を動かした

NVIDIA DGX Spark 画像:NVIDIA公式ページより

DGX Spark 2台にDeepSeekを載せる作業、Codexと一緒にやってまして、今日の未明にようやく初回の推論が通りました。

載せたのは DeepSeek V4.1 Flash 1017(TensorFold)。2台のDGX Sparkに分散して動かしています。

実測してみた

せっかくなので速度も測りました。日本語のプロンプトから256トークン生成させた条件で、生成速度は中央値 64.17 tok/s。最初のトークンが出るまで(TTFT)は0.26秒くらい。通信込みでも60 tok/s台は出ています。

ちなみにこの256トークン、全部「思考」のトークンでした。本文が始まる前の考え中だけでこの速さ、というのは推論系モデルの面白いところです。

GLMと比べて、DeepSeekに落ち着いた

実はこの前に、GLM-5.3 Flashも同じ2台で試しています(10月8日)。あれこれ比べた結果、最終的に残ったのが今のDeepSeek構成でした。ローカルLLMは「とりあえず一番大きいのを載せる」じゃなくて、速度と品質のバランスで日々使う一台を選ぶ感じになります。

その日のうちに無検閲寄りのAblit版へ

初回成功の興奮冷めやらぬ同日午前、今度は Ablit版 に切り替えました。Abliterated(アブリタレイテッド)といって、モデルの「お断り」傾向を弱めた派生版です。いわゆる無検閲寄りのやつですね。

クラウドのモデルだとこういう選択自体ができないので、ここがローカルで動かす一番の意味だと思っています。何をどう答えるモデルを自分の家で動かすかは、自分で決めたい。

後日談として、このモデルに「あなたは誰ですか?」と聞いたら元気よく「ChatGPTです」と名乗りました。自己紹介だけは今も信用なりません。

製品ページ:NVIDIA DGX Spark

← 日記の一覧にもどる