Anthropicの秘匿された知性：OpenMythosが解き明かすClaude Mythosの再帰的深層トランスフォーマー
近年、大規模言語モデル（LLM）の進化は目覚ましく、その性能は日進月歩で向上しています。しかし、その内部構造、特に最先端とされるモデルのアーキテクチャは、しばしば秘匿され、その全貌が明らかになることは稀です。AnthropicのClaude Mythosもその一つであり、その優れた性能の裏にある技術的詳細については、公式な技術論文が公開されていませんでした。
このような状況の中、Kyegomez氏が主導する「OpenMythos」プロジェクトは、この秘匿された知性のベールを剥がす試みとして、大きな注目を集めています。OpenMythosは、利用可能な研究文献と第一原理から、Claude Mythosのアーキテクチャを理論的に再構築した、オープンソースのPyTorch実装です。このプロジェクトは、単に既存のモデルを模倣するだけでなく、再帰的深層トランスフォーマー（Recurrent-Depth Transformer, RDT）という革新的なアプローチを通じて、LLMの新たな可能性を提示しています。
### Claude Mythosの謎とOpenMythosの挑戦
AnthropicのClaude Mythosは、その高度な推論能力と効率性で知られていますが、その詳細なアーキテクチャは公開されていません。一般的に、LLMの性能向上は、モデルのパラメータ数を増やすことによって達成されると考えられてきました。しかし、OpenMythosが示唆するのは、単に層を重ねるだけでなく、既存の層を再帰的に利用することで、より効率的かつ高度な推論が可能になるという仮説です。
OpenMythosは、この仮説に基づき、Recurrent-Depth Transformer（RDT）というアーキテクチャを実装しています。RDTは、以下の3つの主要なステージで構成されます。
1. **Prelude（プレリュード）**: 従来のトランスフォーマーブロックに相当する初期段階です。
2. **Recurrent Block（再帰ブロック）**: ここがRDTの核心であり、特定のトランスフォーマーブロックを`max_loop_iters`で指定された回数だけ繰り返し実行します。これにより、限られた数のパラメータで、深層ネットワークに匹敵する計算深度と推論能力を実現します。
3. **Coda（コーダ）**: 最終的な出力層であり、再帰ブロックからの情報を集約し、最終的な推論結果を出力します。
この再帰的なアプローチは、固定された一連のトランスフォーマー層をループさせることで、単にユニークな層を積み重ねるよりも高度な推論能力が生まれるという仮説を探求するものです。これは、モデルのパラメータ数を抑制しつつ、複雑なタスクにおける性能を向上させる可能性を秘めています。
参考動画：
### 再帰的深層トランスフォーマー（RDT）の深層解析
RDTの中心的なアイデアは、人間の思考プロセスにおける「反復」や「再考」に似ています。私たちは、ある問題に直面したとき、一度考えただけで結論を出すのではなく、何度も情報を処理し、異なる視点から検討し、思考を深めていきます。RDTは、この反復的な処理をトランスフォーマーモデルに組み込むことで、より深い理解と推論を実現しようと試みています。
従来のトランスフォーマーモデルでは、各層が異なる特徴を抽出し、その情報を次の層へと順次伝達することで、階層的な特徴表現を学習します。しかし、RDTでは、同じ層が異なるコンテキストで複数回適用されることで、情報の多角的な処理と精緻化が行われます。これにより、モデルはより複雑な依存関係を捉え、微妙なニュアンスを理解し、より論理的な推論を行うことが可能になると考えられます。
例えば、ある文章を理解する際、RDTはまずPreludeで基本的な意味を把握し、次にRecurrent Blockでその意味を何度も反復的に解釈し直します。この反復処理の中で、モデルは文脈上の曖昧さを解消したり、異なる要素間の関係性をより深く探ったりすることができます。そして最後にCodaで、これらの深い理解を統合し、最終的な回答を生成します。
Marktechpostの報道によれば、OpenMythosの7.7億パラメータのモデルが、13億パラメータの従来のトランスフォーマーモデルと同等の性能を発揮したという報告もあり、これはRDTの効率性と有効性を示す強力な証拠となり得ます。これは、モデルの規模を闇雲に拡大するのではなく、アーキテクチャの工夫によって性能を向上させるという、LLM開発の新たな方向性を示すものです。
### OpenMythosの実装とコミュニティへの貢献
OpenMythosは、Kyegomez氏によってPyTorchで実装されており、そのコードはGitHubで公開されています。これにより、研究者や開発者は、Claude Mythosの理論的な再構築だけでなく、実際に動作するコードベースを通じて、RDTアーキテクチャの挙動を詳細に分析し、さらなる改良や応用を探求することができます。
プロジェクトのGitHubリポジトリでは、`training/3b_fine_web_edu.py`などのファイルを通じて、モデルのトレーニングプロセスやデータセットに関する情報も提供されており、これはOpenMythosが単なる理論的な仮説に留まらず、実践的な研究開発を可能にする基盤であることを示しています。
参考：
https://x.com/KyeGomezB/status/2045660476701397399
OpenMythosは、Anthropicが公開していない情報に基づいて「第一原理」から再構築されているため、完全に正確なClaude Mythosのレプリカではない可能性があります。しかし、利用可能な研究文献と深層学習の基本的な原理に基づいて構築されているため、その提案するRDTアーキテクチャは、LLMの未来を考える上で非常に重要な示唆を与えます。
このオープンソースプロジェクトは、LLMのブラックボックス化が進む現代において、透明性と再現性をもたらす貴重な試みです。コミュニティ全体がこのプロジェクトに参加し、そのアイデアを検証し、発展させることで、AI研究の進歩に大きく貢献する可能性があります。
### 結論と今後の展望
OpenMythosは、AnthropicのClaude Mythosの背後にある可能性のあるアーキテクチャを、Recurrent-Depth Transformer（RDT）という形で理論的に再構築した画期的なプロジェクトです。このRDTは、限られたパラメータ数で高度な推論能力を実現するという、LLM開発の新たなパラダイムシフトを示唆しています。
従来の「より大きく、より深く」というモデル設計のアプローチに対し、RDTは「より賢く、より効率的に」という選択肢を提示します。同じ層を再帰的に利用することで、モデルはより深い思考プロセスを模倣し、複雑なタスクにおいて優れた性能を発揮する可能性を秘めているのです。
OpenMythosはまだ初期段階のプロジェクトかもしれませんが、その根底にある再帰的なアプローチは、今後のLLM研究において重要なテーマとなるでしょう。このプロジェクトがさらに発展し、RDTの有効性が広く認められるようになれば、それはLLMの設計思想に大きな影響を与え、より効率的で高性能なAIモデルの開発を加速させることにつながるはずです。
私たちは、OpenMythosのようなオープンソースの取り組みが、AI技術の民主化と透明性を促進し、研究コミュニティ全体のイノベーションを駆動することを期待しています。Claude Mythosの秘匿された知性を解き明かす旅は始まったばかりですが、OpenMythosはその道のりを照らす重要な道標となるでしょう。
参考動画：