コンテンツにスキップ

ai

DeepSeek-R1 調査 (1)

DeepSeek Technology とは

DeepSeek は、中国のヘッジファンド High-Flyer が所有・出資する、オープンソースの LLM を開発する中国の人工知能企業です。2023年7月に High-Flyer の共同創業者である Liang Wenfeng によって設立されました。DeepSeek-R1 モデルは、OpenAI の GPT-4o や o1 などの他の現代の LLM に匹敵する応答を提供します。そのトレーニングコストは、他の LLM よりも大幅に低いと報告されています。

同社は、OpenAI の GPT-4 のトレーニングコストが 2023 年時点で 1億ドルであったのに対し、R1 のトレーニングコストは 600万ドルであったと主張しており、これは Meta の同等のモデルである LLaMA 3.1 で使用された計算能力の約1/10に相当します。より大規模で確立された競合他社に対する DeepSeek の成功は、「AI を覆す」ものとして評価されています。

DeepSeek のモデルは「オープンウェイト」であり、真のオープンソースソフトウェアよりも変更の自由度が低いという特徴があります。(オープンウェイト: AIモデルの学習済みパラメータ(ウェイト) が公開されていること)

DeepSeek-R1 とは

DeepSeek-R1 は、DeepSeek が開発した推論能力に特化した LLM です。OpenAI の o1 モデルに匹敵する性能を有しながら、より低いコストで運用できることが大きな特徴です。DeepSeek-R1 は、DeepSeek-V3 をベースに、強化学習 (RL) を用いた独自のトレーニング手法を採用することで、高度な推論能力を獲得しています。また、Mixture of Experts (MoE) アーキテクチャを採用することで、計算効率を向上させ、大規模なモデルでありながら、必要なパラメータのみを活性化することで、リソースの効率的な利用を実現しています。

DeepSeek-R1 論文まとめ

DeepSeek-R1とは

DeepSeek-R1は、大規模な強化学習を用いてLLMの推論能力を向上させるために開発されたモデルです。事前学習済みのモデルをベースモデルとして使用し、強化学習によって推論能力を向上させています。DeepSeek-R1には、DeepSeek-R1-ZeroとDeepSeek-R1という2つのモデルがあります。

  • DeepSeek-R1-Zero:
    • ベースモデルに直接強化学習を適用することで、教師ありファインチューニングなしで優れた推論能力を発揮するモデルです。
    • LLMの推論能力開発における新しいパラダイムを示唆する重要な発見です。
  • DeepSeek-R1:
    • DeepSeek-R1-Zeroで見られた可読性の低さや言語の混合といった問題に対処するため、強化学習の前に、少量の「コールドスタートデータ」を用いて事前学習を行います。このマルチステージトレーニングにより、DeepSeek-R1は推論性能をさらに向上させています。
    • DeepSeek-R1は、数学やコーディングなどの推論タスクにおいて、高い精度を達成しています。
  • in ai, ai-agent, llm
  • このページは約10分で読めます

効果的なAIエージェント構築方法とは

はじめに

  • 近年、AI技術は急速に発展しており、特に大規模言語モデル（LLM）は、人間のように自然な文章を生成し、質問に答えたり、翻訳を行ったりと、様々なタスクをこなすことができます。
  • Anthropic社が公開したAIエージェントに関する情報を整理し、その概要、従来のAIモデルとの違い、社会への影響についてまとめます。

AIエージェントとは

  • Anthropic社は、「AIエージェント」を、長期間にわたって独立して動作し、様々なツールを使用して複雑なタスクを達成する自律的なシステムと定義しています。AIエージェントは、事前に定義されたワークフローに従うものとは区別されます。ワークフローとは、LLMとツールが事前に定義されたコードパスを通じて調整されるシステムです。一方、エージェントは、LLMが独自のプロセスとツールの使用を動的に指示し、タスクの達成方法を制御するシステムです。
  • AIエージェントを使用するかどうかは、タスクの複雑さや必要な柔軟性によって判断する必要があります。LLMを使用したアプリケーションを構築する際には、可能な限りシンプルなソリューションを見つけ、必要に応じてのみ複雑さを増すことが推奨されます。これは、Agentシステムをまったく構築しないことを意味する場合もあります。Agentシステムは、レイテンシとコストを取引してタスクパフォーマンスを向上させることが多く、このトレードオフが意味があるときに検討する必要があります。より複雑なことが正当化される場合、ワークフローは定義済みのタスクに対して予測可能性と一貫性を提供し、エージェントは柔軟性とモデル駆動型の意思決定が求められる場合に最適なオプションです。ただし、多くのアプリケーションでは、検索と文脈内の例を使用して単一のLLM呼び出しを最適化することで十分です。
  • 従来のAIモデルは、人間が具体的な指示を与えることでタスクを実行していました。一方、AIエージェントは設定された目標を達成するために、必要なことを自律的に考え、タスクの実行や結果の評価までこなします。タスクが明確になると、エージェントは独立して計画と運用を行い、場合によってはさらなる情報や判断のために人に問い合わせます。実行中、エージェントは各ステップで「情報」（ツール呼び出しの結果やコード実行結果など）を取得して、進行状況を評価することが重要です。エージェントは、チェックポイントで、またはブロッカーが発生したときに、ヒューマンフィードバックのために一時停止することができます。タスクは完了すると多くの場合終了しますが、制御を維持するために停止条件（最大反復回数など）を含めることも一般的です。
  • AIエージェントは複雑なタスクを処理できますが、その実装は多くの場合、既存のツールや技術を組み合わせることで比較的容易に行えます。例えば、顧客サポート業務を自動化するAIエージェントの場合、自然言語処理、会話管理、知識ベース検索などの技術を組み合わせることで実現できます。
  • AIエージェントは自律的に動作するため、信頼できる環境でタスクをスケーリングするのに理想的です。例えば、大量のデータを分析する必要がある場合、AIエージェントは人間が介入することなく、自動的にデータを処理し、分析結果を報告することができます。ただし、AIエージェントの自律的な性質は、より高いコストと、エラーが複合する可能性を意味します。例えば、AIエージェントが誤った判断を下した場合、その影響は広範囲に及ぶ可能性がありますし、AIエージェントの開発・運用には、高度な技術と専門知識が必要となるため、コストが高くなる傾向があります。