Anthropicの秘匿された知性：OpenMythosが紐解くClaude Mythosの再帰的深層トランスフォーマー

謎に包まれたAIの核心へ：OpenMythosが解き明かす「Claude Mythos」の秘密

AI技術の進化は目覚ましく、その中でもAnthropic社が開発する「Claude」シリーズは、その高度な推論能力と安全性で注目を集めています。しかし、その中核をなすアーキテクチャ、特に「Claude Mythos」については、技術的な詳細がほとんど公開されていません。この秘密のベールに包まれたAIの内部を探求し、その可能性をオープンソースの世界に解き放つ試みが「OpenMythos」です。

OpenMythosは、Kyegomez氏によって主導されるプロジェクトであり、利用可能な研究文献と第一原理に基づき、Claude Mythosアーキテクチャを理論的に再構築したものです。単なるコピーではなく、その背後にある思想とメカニズムを深く洞察し、PyTorchで実装されています。このプロジェクトの最大の目的は、限られた情報から高性能AIの設計原理を解明し、オープンソースコミュニティに貢献することにあります。

Recurrent-Depth Transformer (RDT) の革新性

OpenMythosの中核をなすのは、「Recurrent-Depth Transformer (RDT)」と呼ばれるアーキテクチャです。これは、従来のトランスフォーマーモデルが層を積み重ねることで深さを表現するのに対し、固定されたトランスフォーマー層のセットを繰り返し（再帰的に）適用することで深さを実現するという、根本的に異なるアプローチを採用しています。この再帰的なアプローチは、以下のような点で革新的です。

参考動画：

Claude Mythosの「理論的再構築」が意味するもの

AnthropicはClaude Mythosに関する技術的な論文を公開していません。そのため、OpenMythosが「理論的再構築」であるという点は非常に重要です。これは、単に既存のコードを模倣するのではなく、公開されている断片的な情報、研究文献、そしてAIの第一原理に基づいて、そのアーキテクチャを推測し、実装する高度なエンジニアリングと科学的アプローチを要求します。

Kyegomez氏がGitHubリポジトリの様々な箇所で繰り返し述べているように、このプロジェクトは「利用可能な研究文献から第一原理に基づいて構築されたClaude Mythosアーキテクチャの理論的再構築」です。これは、AI研究における「リバースエンジニアリング」の一種とも言え、ブラックボックス化されがちな最先端AIモデルの理解を深める上で貴重な試みとなります。

このアプローチは、AIコミュニティにとって大きな意味を持ちます。もしOpenMythosが実際にClaude Mythosの核心的な設計思想を捉えているのであれば、それはAnthropicが秘匿しているであろう技術的優位性の一部を、オープンソースとして広く利用可能にする可能性を秘めているからです。これにより、他の研究者や開発者も、この革新的なアーキテクチャを基盤として、新たなAIモデルの開発や応用を進めることができるようになります。

OpenMythosの構造と実装

OpenMythosは、そのアーキテクチャを具体的なコードとしてPyTorch上に実装しています。主要な構成要素は以下の通りです。

• Recurrent-Depth Transformer (RDT): 前述の通り、Prelude（トランスフォーマーブロック）、Recurrent Block（最大 maxloopiters 回ループ）、Coda（最終層）の三段階で構成されます。この構造が、モデルの効率性と推論能力の鍵を握っています。

* PyTorch実装: 広く利用されている深層学習フレームワークであるPyTorchで実装されているため、既存のPyTorchエコシステムとの連携が容易であり、多くの開発者がそのコードを理解し、利用、貢献することが可能です。
* トレーニングスクリプト: GitHubリポジトリには、モデルを訓練するためのスクリプト（例: training/3bfineweb_edu.py）が含まれており、研究者や開発者が実際にモデルの挙動を検証し、自身のデータでファインチューニングを行うための基盤が提供されています。

Kyegomez氏自身がXで述べているように、トレーニングスクリプトは公開されており、詳細なブログ記事も公開が予定されています。これは、プロジェクトの透明性を高め、コミュニティの参加を促す上で非常に重要です。

参考：

https://x.com/KyeGomezB/status/2046387358040301800

AI研究とオープンソースコミュニティへの影響

OpenMythosのようなプロジェクトは、AI研究全体に多大な影響を与える可能性があります。

• 知識の民主化: 最先端のAI技術が一部の企業に囲い込まれる傾向がある中で、OpenMythosは「知識の民主化」を促進します。秘匿されたアーキテクチャがオープンソースとして再現されることで、より多くの研究者がそのメカニズムを学び、改善し、新たな発見に繋げることができます。

* 効率的なAI開発の推進: RDTが提示するパラメータ効率の高さは、限られた計算資源しか持たない研究機関や個人でも、高性能なAIモデルを開発できる可能性を示唆しています。これは、AI開発の敷居を下げ、イノベーションを加速させる要因となり得ます。
* 新たな研究の触媒: OpenMythosは、RDTという新しいアーキテクチャの概念を具体的に提示しました。これにより、再帰的な構造を持つトランスフォーマーモデルや、より効率的なAI設計に関する新たな研究テーマが生まれることが期待されます。
* 透明性と再現性の向上: オープンソースであることは、研究結果の透明性と再現性を高めます。他の研究者がコードを検証し、実験を再現することで、科学的な厳密さが保たれ、コミュニティ全体で知識が共有されます。

参考動画：

課題と今後の展望

OpenMythosは非常に有望なプロジェクトですが、いくつかの課題も存在します。

• 「理論的」再構築の限界: Claude Mythosの公式な仕様が公開されていない以上、OpenMythosがどれほど正確にそのアーキテクチャを再現しているかは、最終的にはAnthropicからの情報開示がない限り、完全に検証することはできません。しかし、利用可能な情報からの最善の推測であることに変わりはありません。

* 性能評価の厳密性: 7.7億パラメータで13億パラメータのモデルに匹敵するという主張は魅力的ですが、その性能評価を客観的かつ厳密に行い、広く認められるベンチマークで検証していく必要があります。
* コミュニティの拡大と貢献: プロジェクトの成功には、Kyegomez氏だけでなく、より多くの開発者や研究者が貢献し、改善を重ねていくことが不可欠です。

今後の展望としては、OpenMythosがより広範なデータセットで訓練され、その性能がさらに検証されることが期待されます。また、RDTアーキテクチャのさらなる最適化や、他の応用分野への展開も考えられるでしょう。このオープンソースプロジェクトが、AIの未来を形作る上で重要な役割を果たす可能性を秘めていることは間違いありません。

まとめ

OpenMythosは、Anthropicの「Claude Mythos」という謎多きAIモデルの核心に迫ろうとする、野心的なオープンソースプロジェクトです。Recurrent-Depth Transformer (RDT) という革新的なアーキテクチャを通じて、少ないパラメータ数で高い推論能力を実現する可能性を示唆し、AI研究における知識の民主化と効率的な開発を推進しています。単なる模倣ではない「理論的再構築」というアプローチは、AIコミュニティに新たな視点をもたらし、最先端AIの理解を深める上で貴重な一歩となるでしょう。OpenMythosの今後の発展は、AI技術のオープンな発展と、より広範なイノベーションの加速に寄与する可能性を秘めています。