Rnj-1-Instruct: Transformer創始者が贈る、巨大モデルに匹敵する8Bパラメータの超高性能AIモデル

はじめに：オープンソースAIの新たな地平

AI技術の民主化において、オープンソースモデルの重要性はますます高まっています。2025年12月、Transformer論文の共著者であるAshish Vaswaniが共同創業したEssential AIが、画期的なオープンソースモデル「Rnj-1」をリリースしました。このモデルは、インドの天才数学者ラマヌジャン(Ramanujan)へのオマージュとして名付けられ、「range-1」と発音します。

Rnj-1ファミリーには、ベースモデルとインストラクションチューニング版の「Rnj-1-Instruct」が含まれており、わずか8Bパラメータながら、はるかに大きなモデルに匹敵する性能を発揮します。Apache 2.0ライセンスで公開され、コミュニティによる拡張と特化が可能な設計となっています。

驚異的なベンチマーク性能

SWE-bench Verifiedでの圧倒的優位性

Rnj-1-Instructの最も注目すべき特徴は、実世界のソフトウェアエンジニアリングタスクを評価する「SWE-bench Verified」での性能です。このモデルは20.8%というスコアを達成し、同サイズのQwen 3 (8B)の4.5%を大きく引き離しています。さらに驚くべきことに、20Bパラメータを持つGPT OSS 20Bなど、10倍以上大きなモデルにも匹敵する性能を発揮します。

コード生成能力の全方位的優秀性

Rnj-1-Instructは、以下のような幅広いコード生成タスクで優れた性能を示します。

• HumanEval+とMBPP+: アルゴリズミックなコード生成タスク
• BigCodeBench: 広範囲なコーディングタスク
• LiveCodeBench v6: リアルタイムコード生成評価
• MultiPL-E: C++、TypeScript、Java、JavaScript、Shell、PHPなど6つのプログラミング言語での多言語対応

アーキテクチャと技術的特徴

基盤アーキテクチャ

Rnj-1は、オープンソースのGemma 3アーキテクチャをベースとしており、以下の技術的特徴を持ちます。

• グローバルセルフアテンション: 効率的な情報処理
• YaRN: コンテキストを32Kトークンまで拡張
• Muonオプティマイザー: 事前学習の計算コストを削減
• 効率的な事前学習: 6nt(nはパラメータ数、tはトークン予算)で推定されるFLOPs

意図的に制限された後処理学習

Rnj-1の独特な設計思想として、意図的に後処理学習を制限している点が挙げられます。これにより、コミュニティがドメイン特化や追加のファインチューニングを行う余地を残しています。強化学習などの高度な後処理手法よりも、優れた事前学習に重点を置いたアプローチです。

エージェント機能とツール使用

Berkeley Function Calling Leaderboard (BFCL)

Rnj-1-Instructは、ツール使用とAPI統合の評価において、62.2%というスコアを達成しています。これは、以下のような実践的なシナリオで威力を発揮します。

• 関数呼び出し: ネイティブな関数呼び出し機能
• Hermes形式パーシング: 安定したAPI統合
• 複雑な自動化パイプライン: マルチステップのワークフロー実行

mini-SWE-agentフレームワークでの活用

Rnj-1-Instructは、mini-SWE-agentのようなエージェントフレームワーク内で特に優れた性能を発揮します。実際のソフトウェアエンジニアリングタスクにおいて、以下のような能力を示します。

1. PR解決: GitHub Pull Requestの自動解決
2. 反復的コード最適化: プロファイラーを使用した効率改善
3. マルチターン対話: 複数ステップにわたる問題解決

数学的問題解決と科学的推論

Rnj-1-Instructは、コード生成だけでなく、STEM領域でも強力な能力を発揮します。

• AIME'25: 高度な高校数学問題で最強のオープンウェイトモデルと同等
• GPQA: 科学的推論タスクでの高性能
• Enamel: 効率的なアルゴリズム解法生成

テストタイムスケーリングの可能性

Rnj-1-Instructは、pass@{1,2,4,8}の評価において、複数生成による性能向上の大きな可能性を示しています。温度0.2、8回生成という設定で、以下の領域において未開発の潜在能力があることが示されています。

• 難易度の高いコード生成
• エージェント的タスク
• 数学的ベンチマーク

実践的活用シナリオ

1. 自律的ソフトウェアエンジニアリング

- 実世界のバグ修正とPR作成
- コードレビューと最適化提案
- レガシーコードのリファクタリング

2. マルチターンアプリケーション開発

Rnj-1-Instructは、エンドツーエンドのアプリケーション生成において、複数ターンにわたる対話を通じて完全なソリューションを構築できます。

3. 効率的コード生成と最適化

プロファイラーと連携しながら、パフォーマンスの高いコードを反復的に生成・改善できます。

ベストプラクティス

ファインチューニング戦略

1. ドメイン特化: 限定的な後処理学習により、特定領域への特化が容易
2. カスタムワークフロー: 組織固有のコーディング規約やパターンへの適応
3. 多言語対応強化: 特定のプログラミング言語への最適化

デプロイメント考慮事項

• コンテキストウィンドウ活用: 32Kトークンの大容量コンテキストを最大限活用
• Together AIなどのAPI: 商用展開にはホスティングサービスの利用を検討
• ローカル推論: 8Bという適度なサイズにより、オンプレミス展開も現実的

まとめと今後の展望

Rnj-1-Instructは、Transformer技術の創始者が贈る、オープンソースAIの新たな可能性を示すモデルです。8Bパラメータという効率的なサイズでありながら、実世界のソフトウェアエンジニアリングタスクにおいて、はるかに大きなモデルに匹敵する性能を実現しています。

特に注目すべきは、コミュニティによる拡張を前提とした設計思想です。意図的に制限された後処理学習により、研究者や開発者が自身のニーズに合わせてモデルを特化させる余地が残されています。

米国のオープンソースAI推進において重要な役割を果たすことが期待されるRnj-1は、中国勢が優位を占めるオープンソースAI市場において、新たな選択肢を提供します。Apache 2.0ライセンスによる自由な利用と、世界クラスの性能を兼ね備えたこのモデルは、AI技術の民主化において重要なマイルストーンとなるでしょう。

Essential AIは今後も、より高度なモデルやツールの開発を通じて、「知能の道具(Instruments of Intelligence)」の構築を続けていくことが予想されます。開発者コミュニティがRnj-1をどのように拡張し、活用していくか、その展開が注目されます。

参考資料

• Announcing Rnj-1: Building Instruments of Intelligence - Essential AI
• EssentialAI/rnj-1-instruct - Hugging Face
• Transformer Paper Authors at AI Startup Debut Open Source Model - Bloomberg
• Transformer co-creator Vaswani unveils high-performance Rnj-1 coding model - The Decoder
• Rnj-1 Instruct API - Together AI