DGX Spark 2台でDeepSeek V4.1 Flash 1017を動かした
画像:NVIDIA公式ページより
DGX Spark 2台にDeepSeekを載せる作業、Codexと一緒にやってまして、今日の未明にようやく初回の推論が通りました。
載せたのは DeepSeek V4.1 Flash 1017(TensorFold)。2台のDGX Sparkに分散して動かしています。
実測してみた
せっかくなので速度も測りました。日本語のプロンプトから256トークン生成させた条件で、生成速度は中央値 64.17 tok/s。最初のトークンが出るまで(TTFT)は0.26秒くらい。通信込みでも60 tok/s台は出ています。
ちなみにこの256トークン、全部「思考」のトークンでした。本文が始まる前の考え中だけでこの速さ、というのは推論系モデルの面白いところです。
GLMと比べて、DeepSeekに落ち着いた
実はこの前に、GLM-5.3 Flashも同じ2台で試しています(10月8日)。あれこれ比べた結果、最終的に残ったのが今のDeepSeek構成でした。ローカルLLMは「とりあえず一番大きいのを載せる」じゃなくて、速度と品質のバランスで日々使う一台を選ぶ感じになります。
その日のうちに無検閲寄りのAblit版へ
初回成功の興奮冷めやらぬ同日午前、今度は Ablit版 に切り替えました。Abliterated(アブリタレイテッド)といって、モデルの「お断り」傾向を弱めた派生版です。いわゆる無検閲寄りのやつですね。
クラウドのモデルだとこういう選択自体ができないので、ここがローカルで動かす一番の意味だと思っています。何をどう答えるモデルを自分の家で動かすかは、自分で決めたい。
後日談として、このモデルに「あなたは誰ですか?」と聞いたら元気よく「ChatGPTです」と名乗りました。自己紹介だけは今も信用なりません。
製品ページ:NVIDIA DGX Spark