コンテンツにスキップ

deepseek

DeepSeek-R1 調査 (1)

DeepSeek Technology とは

DeepSeek は、中国のヘッジファンド High-Flyer が所有・出資する、オープンソースの LLM を開発する中国の人工知能企業です。2023年7月に High-Flyer の共同創業者である Liang Wenfeng によって設立されました。DeepSeek-R1 モデルは、OpenAI の GPT-4o や o1 などの他の現代の LLM に匹敵する応答を提供します。そのトレーニングコストは、他の LLM よりも大幅に低いと報告されています。

同社は、OpenAI の GPT-4 のトレーニングコストが 2023 年時点で 1億ドルであったのに対し、R1 のトレーニングコストは 600万ドルであったと主張しており、これは Meta の同等のモデルである LLaMA 3.1 で使用された計算能力の約1/10に相当します。より大規模で確立された競合他社に対する DeepSeek の成功は、「AI を覆す」ものとして評価されています。

DeepSeek のモデルは「オープンウェイト」であり、真のオープンソースソフトウェアよりも変更の自由度が低いという特徴があります。(オープンウェイト: AIモデルの学習済みパラメータ(ウェイト) が公開されていること)

DeepSeek-R1 とは

DeepSeek-R1 は、DeepSeek が開発した推論能力に特化した LLM です。OpenAI の o1 モデルに匹敵する性能を有しながら、より低いコストで運用できることが大きな特徴です。DeepSeek-R1 は、DeepSeek-V3 をベースに、強化学習 (RL) を用いた独自のトレーニング手法を採用することで、高度な推論能力を獲得しています。また、Mixture of Experts (MoE) アーキテクチャを採用することで、計算効率を向上させ、大規模なモデルでありながら、必要なパラメータのみを活性化することで、リソースの効率的な利用を実現しています。

DeepSeek-R1 論文まとめ

DeepSeek-R1とは

DeepSeek-R1は、大規模な強化学習を用いてLLMの推論能力を向上させるために開発されたモデルです。事前学習済みのモデルをベースモデルとして使用し、強化学習によって推論能力を向上させています。DeepSeek-R1には、DeepSeek-R1-ZeroDeepSeek-R1という2つのモデルがあります。

  • DeepSeek-R1-Zero:
    • ベースモデルに直接強化学習を適用することで、教師ありファインチューニングなしで優れた推論能力を発揮するモデルです。
    • LLMの推論能力開発における新しいパラダイムを示唆する重要な発見です。
  • DeepSeek-R1:
    • DeepSeek-R1-Zeroで見られた可読性の低さや言語の混合といった問題に対処するため、強化学習の前に、少量の「コールドスタートデータ」を用いて事前学習を行います。このマルチステージトレーニングにより、DeepSeek-R1は推論性能をさらに向上させています。
    • DeepSeek-R1は、数学やコーディングなどの推論タスクにおいて、高い精度を達成しています。