Anthropicの秘匿された知性：OpenMythosが解き明かすClaude Mythosの再帰的深層トランスフォーマー構造

近年、大規模言語モデル（LLM）の進化は目覚ましく、その性能向上にはパラメータ数の増加が不可欠であるという認識が広まっていました。しかし、Anthropicが開発したClaude Mythosは、その詳細なアーキテクチャが公開されていないにもかかわらず、その高い性能が注目を集めています。この未公開の「Mythos」アーキテクチャの謎に挑み、その理論的な再構築を試みるのが、オープンソースプロジェクト「OpenMythos」です。

OpenMythos：謎に包まれたAIの核心に迫る

OpenMythosは、Anthropicが技術論文として公開していないClaude Mythosのアーキテクチャを、既存の公開研究文献から「第一原理」に基づいて理論的に再構築したものです。このプロジェクトの核心は、Recurrent-Depth Transformer（RDT）と呼ばれる革新的なアーキテクチャにあります。RDTは、単にトランスフォーマーブロックを積み重ねるのではなく、限られた数のトランスフォーマー層を再帰的にループさせることで、より深い推論能力を獲得するという仮説に基づいています。

参考動画：

Recurrent-Depth Transformer (RDT) の原理

従来のトランスフォーマーモデルは、より複雑なタスクを処理するために、多数のトランスフォーマーブロックを直列に接続し、その深さを増すことで性能を向上させてきました。しかし、これには膨大なパラメータ数と計算リソースが必要となるという課題があります。OpenMythosが提案するRDTは、この課題に対する新たなアプローチを提供します。

RDTは、以下の三段階で構成されます。

このアーキテクチャは、「単にユニークな層を積み重ねるのではなく、固定されたトランスフォーマー層のセットをループさせることで、高度な推論能力が出現する」という仮説を探求するために設計されています。これは、人間の脳が限られたニューロンのセットを繰り返し活用して複雑な思考を行うのと同様のアプローチとも解釈できます。

パラメータ効率と性能の可能性

OpenMythosの特に注目すべき点は、そのパラメータ効率の高さです。Marktechpostの記事によると、OpenMythosの7.7億パラメータモデルが、従来の13億パラメータのトランスフォーマーモデルと同等の性能を発揮する可能性が示唆されています。これは、RDTアーキテクチャが、情報の再利用と深層処理を通じて、より少ないリソースで高い性能を実現できることを意味します。

このような効率性は、モデルの訓練コスト削減、推論速度の向上、そしてより幅広い環境でのAIモデルの展開に貢献する可能性があります。特に、リソースが限られたデバイスやリアルタイム処理が求められるアプリケーションにおいて、RDTのようなアーキテクチャは大きな利点をもたらすでしょう。

参考動画：

Claude Mythosの再構築とオープンソースの意義

AnthropicがClaude Mythosの技術的詳細を公開していないため、OpenMythosは「理論的な再構築」という性質を持っています。これは、利用可能な公開研究文献や、AIコミュニティにおける知見を組み合わせることで、未公開の最先端技術の核心に迫ろうとする試みです。

オープンソースであることの意義は非常に大きいです。OpenMythosは、そのアーキテクチャ、実装、訓練プロセスが公開されており、研究者や開発者が自由にアクセスし、検証し、改善することができます。これにより、Claude Mythosの背後にある可能性のあるメカニズムに関する理解が深まり、新たな研究の方向性が開かれることが期待されます。また、特定の企業に閉じられた技術ではなく、コミュニティ全体でその知見を共有し、発展させるというオープンサイエンスの精神を体現しています。

参考：

https://x.com/KyeGomezB/status/2045660476701397399

実装と技術的な側面

OpenMythosはPyTorchで実装されており、開発者フレンドリーな環境を提供しています。主要なコンポーネントはopenmythos/main.pyに記述されており、RDTのトップレベルモデルクラスはOpenMythos/docs/openmythos.mdで詳細に説明されています。このプロジェクトは、既存のトランスフォーマーモデルのパラダイムに挑戦し、再帰的な処理がどのように複雑な推論能力を向上させるかを探求するための具体的なフレームワークを提供します。

特に、training/3bfineweb_edu.pyのようなファイルが存在することから、実際にモデルの訓練やファインチューニングが行われていることが伺えます。これは、単なる理論的な提案に留まらず、実践的な検証も視野に入れていることを示しています。データセットの管理に関するドキュメント（docs/datasets.md）も存在するため、モデルの訓練に必要なデータパイプラインも考慮されていると考えられます。

挑戦と今後の展望

OpenMythosは、まだ「理論的な再構築」の段階であり、Anthropicの実際のClaude Mythosと完全に一致するかは不明です。しかし、このプロジェクトが提示するRDTアーキテクチャは、LLMの効率性と性能のトレードオフを再定義する可能性を秘めています。今後、OpenMythosがコミュニティによってさらに開発され、実験されることで、RDTの真の能力が明らかになるでしょう。

このプロジェクトは、AI研究における新たな方向性を示唆しています。大規模なモデルを構築するだけでなく、既存の計算資源をより効率的に利用し、深層学習モデルの推論能力を向上させる方法を模索することの重要性を強調しています。OpenMythosは、AIの「神話」を解き明かし、その知見をオープンに共有することで、次世代のAI技術の発展に貢献する可能性を秘めた、非常に興味深い取り組みと言えるでしょう。

将来的には、RDTのようなアーキテクチャが、モバイルデバイスやエッジデバイス上でのAIの展開を加速させ、よりパーソナルで遍在的なAI体験を実現するかもしれません。また、再帰的な処理を通じて、より少ないデータで効率的に学習する能力や、より複雑な推論タスク（例えば、多段階の論理的思考や長期的な計画など）を解決する能力が向上する可能性も考えられます。OpenMythosは、単なるコードベースではなく、AIの未来に対する大胆な仮説と、その検証に向けたオープンな挑戦の象徴なのです。