ここでは、https://twitter.com/dair_ai で毎週メンションされているTop ML Papers of the Week の論文をLLMによって生成されるQ&Aを用いて要点を記載しています．気になる論文の選択に役立ったら良いと思います．論文を読む前に幾つかの要点を把握することで、皆さんが内容を素早く吸収できることを目的としています．自動生成記事のクオリティと信頼性を向上させるためにアルゴリズムの改善に取り組んでいます．個人で資料のQ&Aを作成されたい方には、https://www.chatpdf.com/ や https://scispace.com/などがお勧めです．
- Simulating 500 million years of evolution with a language model
発行日：2024年07月02日
ESM3はタンパク質の配列、構造、機能について推論するために訓練されたフロンティアマルチモーダル生成モデルであり、98 billionのパラメータを持ち、新しいesmGFPの発見にも貢献しています． - Gemma 2: Improving Open Language Models at a Practical Size
発行日：2024年06月27日
Gemini 2は、新しい文脈を加えて要約を改善し、最先端のパフォーマンスを持つモデルで、質問応答や常識的な推論などの領域で大きな進歩を遂げています． - Meta Large Language Model Compiler: Foundation Models of Compiler Optimization
発行日：2024年06月27日
LLM Compilerは、コンパイラ最適化のための事前トレーニングされたモデルで、コードサイズの最適化や逆アセンブルに成功し、コンパイラ最適化の研究開発を促進する．Compiler FTDモデルは、合計7100億トレーニングトークンを使用しており、コンパイラIRおよびアセンブリコードのセマンティクスを理解し、特定のコンパイラ最適化タスクに対して最小限のデータで容易に微調整できるようになっています．LLM Compilerは、Code Llamaを基盤として、コンパイラ最適化と推論を包括する能力を拡張し、研究者や業界の実務家がコード最適化モデルをさらに開発するための基盤を提供しています．LLM Compiler FTDモデルは、追加のコンパイルを必要とせずに最適化の潜在能力の77%を達成し、逆アセンブル時には正しい逆アセンブルを14%の確率で作成します．これらのモデルは、LLMの未開拓の潜在能力を探る道を開拓しています． - From Artificial Needles to Real Haystacks: Improving Retrieval Capabilities in LLMs by Finetuning on Synthetic Data
発行日：2024年06月27日
LLMsの情報取得と推論能力を向上させるために、合成データセットでのファインチューニングアプローチが効果的であり、他のデータセットでの性能低下を示唆している． - Following Length Constraints in Instructions
発行日：2024年06月25日
アラインメントされた指示に従うモデルは、ユーザーの要求をよりよく満たすが、長さの偏りがあるため、推論時に望ましい長さの制約を含む指示で制御できるモデルが優れていることが示されている． - Adam-mini: Use Fewer Learning Rates To Gain More
発行日：2024年06月24日
Adam-miniは、AdamWと同等またはそれ以上のパフォーマンスを達成し、メモリフットプリントを45％から50％削減する最適化プログラムであり、GPUとCPU間の通信オーバーヘッドを軽減し、スループットを向上させます． - EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees
発行日：2024年06月24日
EAGLE-2は、コンテキストに応じた動的ドラフトツリーを導入し、EAGLEの高速化と改善を実現する新しい言語モデルです． - LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs
発行日：2024年06月21日
LongRAGは、従来のRAGフレームワークよりも長い検索ユニットを使用し、NQで62.7％のEMを達成し、HotpotQA（full-wiki）で72％の回答リコールを達成し、SoTAモデルと同等の性能を示す． - GraphReader: Building Graph-based Agent to Enhance Long-Context Abilities of Large Language Models
発行日：2024年06月20日
GraphReaderは、長い文脈を処理するために設計されたグラフベースのエージェントシステムであり、GPT-4-128kを上回る性能を示し、難解なシングルホップおよびマルチホップのベンチマークで優れたパフォーマンスを示しています． - On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey
発行日：2024年06月14日
LLMsによる合成データ生成の研究は、データの品質と量のジレンマを解決し、深層学習の進化に貢献するが、統一されたフレームワークが不足している．
Simulating 500 million years of evolution with a language model
著者：Halil Akin, Roshan Rao, Thomas Hayes, et al.
発行日：2024年07月02日
最終更新日：不明
URL：https://www.biorxiv.org/content/10.1101/2024.07.01.600583v1
カテゴリ：不明
概要：
この論文では、タンパク質配列の言語モデルがいくつか開発され、評価されてきました．これらのモデルは、生物学的な構造と機能を反映した表現が現れることがわかっており、これらの特性に対する監督なしで学習され、規模が拡大するにつれて改善されています．人工知能では、規模に応じて能力が向上する成長を予測するスケーリング則が見つかっており、計算、パラメータ、データのフロンティアを記述しています．
著者らは、ESM3というフロンティアマルチモーダル生成モデルを紹介しています．ESM3は、タンパク質の配列、構造、機能について推論するために訓練されています．ESM3は、各モダリティのための離散トークンのマスクされた生成言語モデルとして訓練されています．構造的な推論は、最近のタンパク質の予測モデルや生成モデルで使用されている三次元空間内の複雑なアーキテクチャや拡散ではなく、三次元原子構造を離散トークンとしてエンコードすることで達成されています．離散トークンの全体モデリングはスケーラブルであり、ESM3には任意のプロンプトを与えることができます．
さらに、ESM3は1.07×1024 FLOPsで訓練され、2.78 billion proteinsと771 billion unique tokens、98 billionのパラメータを持っています．この98 billionのパラメータサイズにESM3をスケーリングすることで、配列、構造、機能の表現、および生成評価の改善が見られます．ESM3はプロンプトに非常に反応し、複雑なプロンプトの組み合わせに対して創造的な解決策を見つけることができます．さらに、ESM3は新しい緑色蛍光タンパク質(GFP)の生成も報告されており、これらのタンパク質は珊瑚やクラゲの発光色に貢献しています．
さらに、最新の文脈では、新しいタンパク質esmGFPが紹介されています．このesmGFPは、Aequorea victoria GFPと58%の配列同一性を持つ最も類似した既知の蛍光タンパク質と36%の配列同一性を持っています．自然界で新しいGFPを発見することを通じて、これほど遠い関係にあるタンパク質は、これまでに知られている限り、数十年にわたるタンパク質工学の対象として焦点を当てられたGFPにも見られないものです．自然界のGFPの間でも同様の多様化が予測可能な時間軸で起こっています．この文脈で理解すると、既存のタンパク質からこの距離にある新しい蛍光タンパク質の生成は、500億年以上の進化をシミュレートするのと同等であるように見えます．
Q&A:
Q: ESM3は進化によって生成されたトークンをどのようにトレーニングしたのですか？
A: ESM3は、進化によって生成されたトークンによって訓練されました．訓練中、ランダムなマスクがサンプリングされ、各トラックに適用されました．マスクされたトークン位置は出力で予測されました．
Q: ESM3は、既知のタンパク質と大きく異なる機能性タンパク質を生成できるのか？
A: はい、ESM3は既知のタンパク質とは大きく異なる機能性タンパク質を生成することができます．
Q: ESM3はどのようにモダリティを組み合わせ、複雑なプロンプトに従っているのか？
A: ESM3は、複雑なプロンプトに従うために、入力トラックの（部分的な）シーケンス、構造、および機能の組み合わせを受け入れることができる多モーダルモデルであり、出力トラックとしてアミノ酸配列を生成することができます．アミノ酸配列yがプロンプトxから多段階で生成される可能性があるため、完全な尤度π(y|x)を計算するには、すべての可能な多段階デコーディングパスにわたって積分する必要があります．これは計算が困難なため、事前トレーニングを反映する代替手法を使用しています．具体的には、yをマスクし、マスクされた位置のyとESM3のロジットのクロスエントロピーを計算することで、生成yからプロンプトxへの尤度を近似しています．
Q: 生物学的アラインメントに対するESM3の反応性は？
A: ESM3は生物学的アライメントに対して非常に反応性が高いと言えます．ESM3は入力トラックのいずれか、またはそれらの組み合わせで指定されたプロンプトに対して創造的な解決策を見つける能力があります．この能力により、タンパク質設計に合理的なアプローチが可能となり、高レベルのトポロジーから原子座標までのさまざまな抽象化レベルで制御を提供します．また、ESM3は大規模なモデルでも難しいタスクを実行するようにプロンプトすることができます．さらに、ESM3は高品質のサンプルに対して低品質のサンプルよりも高い確率を持つようにモデルを調整することができます．
Q: 著者らはどのようにしてESM3に蛍光タンパク質の生成を促したのだろうか？
A: ESM3には、自然の蛍光タンパク質の残基の配列と構造、クロモフォア反応の形成と触媒化に必要な残基、および中心のαヘリックスの一部の構造をプロンプトとして与えました．
Q: ESM3によって生成された蛍光タンパク質の同定率は？
A: esmGFPのアイデンティティパーセンテージは36%でした．
Q: 5億年以上の進化を経て、同じように遠く離れた天然蛍光タンパク質がどのようにして同定されたのだろうか？
A: 同様に遠い自然の蛍光タンパク質が5億年以上の進化によってどのように識別されたかは、進化生物学からの洞察によって明らかにされました．自然の多様性を調査する遺伝子配列調査により、既知の蛍光タンパク質と58%の同一性を持つ蛍光タンパク質が発見されました．これにより、既存のタンパク質から遠く離れた位置に新しい蛍光タンパク質が生成されることは、自然進化において5億年以上の時間がかかることが示唆されました．
Q: 観測されたタンパク質のパターンは、生物学の奥深くに隠された変数をどのように反映しているのだろうか？
A: 観察されるタンパク質のパターンは、生物学の深層に潜む変数を反映しています．これは、自然がランダムな突然変異を作り出し、選択を適用することによって生じます．タンパク質は、その無数の配列、構造、機能によって選別されます．その結果、我々が観察するタンパク質のパターンは、時間をかけてその進化を形作ってきた生物学の深層に潜む変数の作用を反映しています．
Q: 遺伝子配列の調査は、タンパク質生物学の基本的な言語の理解にどのように貢献しているのだろうか？
A: 遺伝子配列調査は、タンパク質生物学の基本言語を理解するために貢献しています．これらの調査により、タンパク質の進化を形作った生物学の深い隠れた変数の作用を反映するパターンが観察されます．
Q: 人工知能におけるスケーリングの法則は、ESM3のようなモデルについて、規模の拡大に伴う能力の伸びをどのように予測しているのでしょうか？
A: 人工知能におけるスケーリング則は、モデルの規模が増加すると能力の成長を予測します．これは、計算、パラメータ、データのフロンティアを記述し、ESM3のようなモデルにおいても同様の成長が期待されます．
Gemma 2: Improving Open Language Models at a Practical Size
著者：Gemma Team, Google DeepMind
発行日：2024年06月27日
最終更新日：不明
URL：https://storage.googleapis.com/deepmind-media/gemma/gemma-2-report.pdf
カテゴリ：不明
概要：
この研究では、新しい文脈を加えて、元の要約を改善する機会があります．特に、Gemini Team（2023）で以前に使用された進歩や、Beltagyら（2020a）によるグローバルとローカルアテンションレイヤーの交互挿入、Ainslieら（2023）のグループ化クエリアテンション（GQA）メカニズムなどが活用されています．Gemini 2は、同等スケールのオープンモデルと比較して最先端のパフォーマンスを大幅に向上させ、一部の2倍以上のサイズのモデルとも競争力を持っています（AI@Meta、2024年；Almazroueiら、2023年；Jiangら、2023年；xAI）．これにより、さまざまな自動ベンチマークや人間の評価において、質問応答（Clarkら、2019年；Kwiatkowskiら、2019年）、常識的な推論（Sakaguchiら、2019年；Suzgunら、2023年）などの例示領域で、Gemma 2は大きな進歩を遂げています．
さらに、Gemma 2のモデルパラメータや設計選択肢の概要が示されており、モデルのアーキテクチャ、トレーニング、事前および事後のトレーニングレシピについての詳細な説明も提供されています．また、幅広い定量的および定性的ベンチマーク、標準的な学術ベンチマークや人間の選好評価に対する詳細な評価も行われています．最後に、Gemma 2の安全で責任ある展開へのアプローチや、その限界、利点についても議論されています．Gemini 2の使用者は、展開や使用前に、自分たちのユースケースに特化した厳格な安全性テストを実施すべきであることが強調されています．
Q&A:
Q: ローカル-グローバル・アテンションやグループ-クエリ・アテンションのインターリーブなど、ジェンマ2のアーキテクチャーに加えられた技術的な変更について説明していただけますか？
A: ジェンマ2のアーキテクチャにおける技術的な変更点には、ローカル-グローバル注意の交互配置（Beltagyら、2020a）とグループ-クエリー注意（Ainslieら、2023）が含まれます．2023）が含まれます．ローカル-グローバル注意は、各変換サブレイヤー、レイヤー、およびフィードフォワードのレイヤーの入力と出力を正規化するためにRMSNormを使用してトレーニングを安定化させることで、モデルの性能向上に寄与します．クエリーアテンションは、num_groups = 2 を使用しており、推論時の速度を向上させつつ、後続のパフォーマンスを維持することが示されています．
Q: 次のトークン予測とは対照的に、知識蒸留は2Bと9Bモデルのパフォーマンスをどのように向上させるのか？
A: 知識蒸留は、次のトークン予測ではなく、大規模モデルから計算された潜在的な次のトークンの分布で各トークンで見られるワンホットベクトルを置き換えることにより、2Bおよび9Bモデルの性能を向上させます．これにより、より豊富な勾配を持つ小さなモデルのトレーニング時間を短縮できます．また、大規模なトークンの量で蒸留を行うことで、利用可能なトークンの数を超えたトレーニングをシミュレートすることができます．
Q: その結果、そのサイズに対して具体的にどのような性能の向上が見られるのか？
A: 結果として、そのサイズに対して最高のパフォーマンスを提供し、2〜3倍大きなモデルに対して競争力のある代替手段を提供します．
Q: 2Bや9Bは、2～3倍大きなモデルと比べて性能面でどうですか？
A: 2Bおよび9Bモデルは、2〜3倍大きなモデルと比較して、性能において競争力があります．特に、9Bモデルはいくつかのベンチマークで最大10%の改善を示し、同じパラメータ数の広い9Bモデルよりもわずかに優れています．
Q: 最新の大型モデルが示すマルチモーダル、多言語機能について詳しく教えてください．
A: 最新の大規模モデルは、多言語および多モーダルの能力を示しています．これらのモデルは、複数の言語や複数のモード（例えば、テキストと画像）を理解し、処理することができます．Gemini Team（2024年）によると、これらのモデルは1Mトークンを超えるコンテキスト長を使用する能力も持っています．
Q: 小規模なモデルがどのようにして性能の急激な向上を示すのか、またこのアプローチの限界は何か？
A: 小規模モデルは、トレーニングの長さを増やすことによって性能を急速に向上させています．しかし、このアプローチはデータセットのサイズと対数的にスケールするため、最新の小規模モデルは1-2%未満の改善のために最大15Tトークンが必要であり、まだ未訓練の状態にあることが示唆されています．
Q: 知識の蒸留は、各トレーニングステップでネットワークが受け取る情報の質をどのように向上させるのか？
A: 知識蒸留は、大規模なモデルを教師として使用し、各トークンの文脈に基づいて教師モデルが与える各トークンの確率から学習することで、小さなモデルを学習します．具体的には、教師と生徒の確率の負の対数尤度を最小化することで、生徒モデルのパラメータ化された確率を最適化します．このようにして、生徒モデルはより豊かな勾配を受け取り、トレーニングステップごとにより良質な情報を得ることができます．
Q: 利用可能なトークンの数を超えたトレーニングをシミュレートするために、蒸留で小さなモデルをトレーニングすることの意義は？
A: 小さなモデルを蒸留して訓練することにより、利用可能なトークンの数を超えた訓練をシミュレートすることで、より豊かな勾配を与えることができます．具体的には、大規模な言語モデルを教師として使用し、9Bおよび2.6Bモデルを50倍以上のトークン量で訓練することで、小さなモデルにより多くのトークンで訓練することが可能です．
Q: 小さなモデルを訓練する教師として大きな言語モデルを使うことは、訓練プロセスにどのような影響を与えるのだろうか？
A: 大規模言語モデルを教師として使用して、小さなモデルをトレーニングすることにより、トレーニングプロセスにおいて、生徒の確率に基づいて各トークンのコンテキストを蒸留することが行われます．具体的には、生徒の確率と教師の確率の間の負の対数尤度を最小化します．実際には、教師による推論を1回実行し、確率を保存します．語彙が256kのエントリを持つため、教師の確率のサンプリングされたサブセットのみを保存します．
Meta Large Language Model Compiler: Foundation Models of Compiler Optimization
著者：Baptiste Rozière, Chris Cummins, Dejan Grubisic, Gabriel Synnaeve, Hugh Leather, Jonas Gehring, Volker Seeker
発行日：2024年06月27日
最終更新日：不明
URL：https://ai.meta.com/research/publications/meta-large-language-model-compiler-foundation-models-of-compiler-optimization/
カテゴリ：不明
概要：
大規模言語モデル（LLM）は、さまざまなソフトウェアエンジニアリングやコーディングタスクで驚異的な能力を示しています．しかし、コードおよびコンパイラの最適化の領域での適用は未開拓のままです．LLMのトレーニングはリソースを多く必要とし、大量のGPU時間と広範なデータ収集が必要であり、これは障壁となる可能性があります．このギャップを埋めるために、私たちはMeta Large Language Model Compiler（LLM Compiler）を導入します．これは、コード最適化タスクに特化した堅牢でオープンに利用可能な事前トレーニングされたモデルのスイートです．Code Llamaの基盤の上に構築されたLLM Compilerは、コンパイラの中間表現（IR）、アセンブリ言語、および最適化技術の理解を向上させます．このモデルは、LLVM-IRおよびアセンブリコードの5460億トークンの膨大なコーパスでトレーニングされ、コンパイラの動作を解釈するために命令の微調整を行っています．LLM Compilerは、広範な再利用を可能にするために独自の商用ライセンスの下でリリースされており、7億および13億のパラメータの2つのサイズで利用可能です．また、モデルの改良された能力を示す微調整バージョンも紹介しており、コードサイズの最適化やx86_64からの逆アセンブルにおいてその能力を向上させています．さらに、このリリースは、コードサイズの最適化やx86_64からの逆アセンブルにおいてその能力を向上させ、オートチューニング検索の最適化ポテンシャルの77%、逆アセンブルラウンドトリップの45%（14%の完全一致）を達成しています．このリリースは、コンパイラ最適化のさらなる研究開発のための拡張可能で費用対効果の高い基盤を提供することを目的としています．さらに、従来の機械学習によるコード最適化の先行研究では、手作りの特徴からグラフニューラルネットワーク（GNN）までさまざまな表現が使用されてきましたが、入力プログラムが機械学習アルゴリズムにどのように表現されるかが不完全であり、情報が失われていました．一方、LLMは、完全で損失のない表現でソースプログラムを受け入れることができます．テキストを機械学習最適化プログラムの入力および出力表現として使用することは、望ましい特性を持っています．さらに、LLM Compilerは、Code Llamaの基盤モデルから派生し、コンパイラ中心のデータをトレーニングすることで特化したモデルを提供しています．5460億トークンのデータを使用して、コンパイラIRおよびアセンブリコードに特化したトレーニングを行い、最適化の出力と効果を予測するために命令を微調整しています．LLM Compiler FTDモデルは、さらに1640億トークンのダウンストリームのフラグ調整および逆アセンブルタスクデータセットで微調整され、合計7100億トレーニングトークンを使用しています．それぞれのトレーニング段階では、前のタスクからのデータの15%が保持されています．LLM Compilerは、汎用的でポータブルかつアクセス可能なインターフェースを提供し、従来のアプローチとは異なり、特定のタスクに特化していません．LLM Compilerは、コンパイラIRおよびアセンブリコードのセマンティクスを理解し、コンパイラをエミュレートするために事前トレーニングされたファウンデーションモデルのファミリーであり、特定のコンパイラ最適化タスクに対して最小限のデータで容易に微調整できるようになっています．Code Llamaを基盤として、コンパイラ最適化と推論を包括する能力を拡張しています．これらのモデルは、研究者や業界の実務家がコード最適化モデルをさらに開発するための基盤を提供することを目的としています．さらに、我々は、コンパイラフラグを調整してコードサイズを最適化し、x86_64およびARMアセンブリをLLVM-IRに逆アセンブルするという2つのダウンストリームコンパイルタスクにモデルを適応します．また、これらのLLM Compiler FTDモデルを同じ独自の商用ライセンスの下でコミュニティに公開しています．訓練されたオートチューニング技術と比較して、LLM Compiler FTDは追加のコンパイルを必要とせずに最適化の潜在能力の77%を達成しています．逆アセンブル時には、LLM Compiler FTDは正しい逆アセンブルを14%の確率で作成します．両方のタスクで、LLM Compiler FTDモデルは、同等のLLMであるCode LlamaやGPT-4 Turboを大幅に上回っています．我々の研究は、コンパイラ最適化におけるさらなる研究開発のための拡張可能で費用対効果の高い基盤を確立することを目指しており、学術研究者や業界の実務家の両方に対応しています．7億および13億のパラメータの2つのサイズで事前トレーニングされたモデルへのアクセスを提供し、微調整されたバージョンを通じてその効果を実証することで、LLM CompilerはLLMの未開拓の潜在能力を探る道を開拓しています．さらに、微調整されたバージョンを通じて、LLM CompilerはLLMの未開拓の潜在能力を探る道を開拓しています．
Q&A:
Q: コード最適化タスクのための大規模言語モデル（LLM）のトレーニングは、どの程度リソースを消費するのか？
A: Large Language Models (LLMs)のトレーニングは、GPU時間とデータ収集が膨大であり、これは制限的な要因となり得ます．
Q: メタ大規模言語モデルコンパイラ（LLMコンパイラ）が学習したコーパスのサイズは？
A: メタ大規模言語モデルコンパイラ（LLMコンパイラ）がトレーニングされたコーパスのサイズは5460億トークンです．
Q: LLMコンパイラは、コンパイラの中間表現（IR）、アセンブリ言語、最適化技術の理解をどのように深めるのですか？
A: LLM Compilerは、コンパイラの中間表現（IRs）、アセンブリ言語、最適化技術の理解を向上させます．これは、LLVM-IRおよびアセンブリコードの5460億トークンの膨大なコーパスで訓練され、コンパイラの挙動を解釈するために指示の微調整が施されました．また、LLM Compilerは、コンパイラの中間表現とLLVM（Lattner＆Adve、2004）バージョン17.0.6で生成されたアセンブリコードに基づいてトレーニングされており、コンパイラ最適化の可能性を77%引き出すことができます．
Q: LLMコンパイラの利用可能なバージョンのサイズを教えてください．
A: LLM Compilerの利用可能なバージョンのサイズは7Bと13Bパラメータです．
Q: コードサイズの最適化という点で、LLMコンパイラーはオートチューニング検索と比べてどうですか？
A: LLM Compilerは、自動チューニング検索と比較して、コードサイズの最適化において77%のポテンシャルを達成することが示されています．これは、追加のコンパイルが不要であるにもかかわらず、自動チューニング技術によって訓練されたLLM Compiler FTDモデルが最適化ポテンシャルの77%を達成することを意味します．
Q: LLMコンパイラは、ディスアセンブルのラウンドトリップを何パーセント達成していますか？
A: LLM Compilerは、12.7%のディスアセンブリーラウンドトリップを達成しています．
Q: LLMコンパイラの具体的な機能として、コード・サイズの最適化や、x86_64やARMアセンブリからLLVM-IRへの逆アセンブルはどのようなものがありますか？
A: LLM Compilerはコードサイズの最適化とx86_64およびARMアセンブリからLLVM-IRに逆アセンブルする能力を持っています．このモデルは、コンパイラの中間表現とアセンブリコードに対する理解を向上させるために訓練され、最適化技術を適用します．特に、x86_64およびARMアセンブリからLLVM-IRに逆アセンブルする際に、最適化されたコードサイズを実現します．このモデルは、自動チューニング検索の最適化ポテンシャルの77%を達成し、逆アセンブルラウンドトリップの45%（14%が完全一致）を達成します．
Q: LLMコンパイラは、コンパイラ最適化のさらなる研究開発のために、スケーラブルで費用対効果の高い基盤を提供することをどのように目指しているのでしょうか？
A: LLM Compilerは、コンパイラ最適化のさらなる研究と開発のためにスケーラブルで費用対効果の高い基盤を提供することを目指しています．LLM Compilerは、コンパイラ最適化タスク向けに特に設計された大規模言語モデルのファミリーであり、Code Llamaモデルの基盤を拡張することで、コンパイラの中間表現やアセンブリ言語の理解と操作を大幅に向上させるプラットフォームを提供しています．また、LLM Compilerは商用ライセンスの下でリリースされ、広範なアクセスと協力を促進し、学術研究者や業界の実務家がモデルを探索し、変更し、拡張することができるようにしています．
Q: この文章で言及されているように、コードの最適化において一般に利用可能なLLMの限界とは何でしょうか？
A: 公開されているLLMの主な制限は、入力の有限なシーケンス長さ（コンテキストウィンドウ）です．LLMコンパイラは16kトークンのコンテキストウィンドウをサポートしていますが、プログラムコードははるかに長い場合があります．たとえば、MiBenchの翻訳ユニットの67%がこのコンテキストウィンドウを超えました．これを緩和するために、より大きな翻訳ユニットを個々の関数に分割しましたが、これにより実行できる最適化の範囲が制限され、分割された15%のプログラムコードはまだコンテキストウィンドウを超えています．
Q: コードの最適化に関する先行研究では、機械学習アルゴリズムへの入力プログラムの表現は、LLMコンパイラのアプローチとどのように違うのでしょうか？
A: 先行研究では、入力プログラムを機械学習アルゴリズムに表現する方法は、手作りの特徴量やグラフニューラルネットワーク（GNNs）などさまざまな手法が用いられてきました．しかし、どの場合も、入力プログラムが機械学習アルゴリズムに不完全な形で表現されており、情報が失われています．例えば、Trofinら（2021）は、数値特徴量を使用して関数のインライン化のヒントを提供していますが、コールグラフや制御フローを忠実に再現することができません．Cumminsら（2021）は、プログラムのグラフを形成してGNNに渡していますが、定数の値や一部の型情報を除外しており、命令を忠実に再現することができません．
From Artificial Needles to Real Haystacks: Improving Retrieval Capabilities in LLMs by Finetuning on Synthetic Data
著者：Zheyang Xiong, Vasilis Papageorgiou, Kangwook Lee, Dimitris Papailiopoulos
発行日：2024年06月27日
最終更新日：2024年06月27日
URL：http://arxiv.org/pdf/2406.19292v1
カテゴリ：Machine Learning, Artificial Intelligence, Computation and Language
概要：
最近の研究では、大規模言語モデル（LLMs）が長いコンテキストの入力を処理する際に、情報の正確な取得や推論能力の維持に苦労していることが示されています．これらの制限に対処するために、私たちは、数値キー値検索タスクからなる注意深く設計された合成データセットを利用したファインチューニングアプローチを提案しています．GPT-3.5 TurboやMistral 7Bなどのモデルでの実験では、このデータセットでLLMsをファインチューニングすることで、LLMsの情報取得および推論能力が長いコンテキスト設定で大幅に向上することを示しています．また、ファインチューニングされたLLMsの一般的なベンチマークでのパフォーマンスはほぼ一定のままであり、他のベースラインの長いコンテキスト拡張データでファインチューニングされたLLMsは幻覚を引き起こす可能性があることがわかりました（例：TriviaQAでは、Mistral 7Bは私たちの合成データでファインチューニングされてもパフォーマンスの低下はなく、他のベースラインデータでは\( \small 2.33\% \)から\( \small 6.19\% \)の範囲で低下する）．我々の研究では、LLMsの長いコンテキスト入力処理における情報取得と推論能力の向上に寄与するファインチューニングアプローチを提案し、その効果を実証しています．また、合成データでのファインチューニングがLLMsの性能向上にどのように寄与するかを強調し、他のデータセットでのパフォーマンス低下の可能性を示しています．
Q&A:
Q: LLMの微調整に使用した合成データセットの詳細を教えてください．
A: 合成データセットは、主にキーと値の辞書検索タスクを含む完全数値の合成データセットであり、LLMsを微調整するために使用されます．
Q: 合成データセットの数値キー・バリュー検索タスクはどのように設計したのですか？
A: 数値キー値検索タスクは、シンプルな辞書キー値検索とマルチサブキー辞書キー値検索の2つの合成検索タスクから構成されています．これらのタスクは、長いコンテキストを持つ自然言語タスクにおいて、モデルの性能を向上させるために使用されます．具体的には、シンプルな辞書キー値検索タスクは、Mistral 7Bのファインチューニングに選ばれました．このデータセットは、異なるシードを用いて同じ構成で3つの異なるデータセットが生成され、それぞれ350のシンプルな辞書キー値検索タスクが含まれています．
Q: 合成データセット上でLLMを微調整した後、情報検索と推論能力において具体的にどのような改善が見られましたか？
A: LLMsの合成データセットでの微調整により、情報検索能力と推論能力が向上しました．微調整により、モデルは改善された検索能力を活用して関連する情報をより正確に捉えることができ、それが答えを導き出すのに役立ちました．
Q: 合成評価から実タスク評価へのスキルの移行を説明するために、微調整されたモデルで実施された分析について説明してもらえますか？
A: finetunedモデルの分析では、合成から実際のタスク評価へのスキルの移行が示されました．例えば、GPT-3.5 Turboの20文書MDQAにおいて、位置10で10.5%の改善が見られました．また、他のベースラインのLLMをfinetuneした場合と比較して、finetuned LLMの一般的なベンチマークでのパフォーマンスはほぼ一定であることが分かりました．
Q: 一般的なベンチマークでファインチューニングされたLLMの性能は、他のベースラインのロングコンテキスト・オーグメンテーションデータでファインチューニングされたLLMと比較してどうだったか？
A: 提案されたデータセットでファインチューニングを行うと、一般的なベンチマークにおいて、他のベースラインの長いコンテキスト拡張データでファインチューニングしたLLMと比較して、より顕著な改善が見られました．
Q: より長いコンテキストのタスクでLLMのパフォーマンスを向上させるために、合成データでファインチューニングを行うことの潜在的な利点について詳しく教えてください．
A: LLMの性能を向上させるために合成データでの微調整の潜在的な利点は、長いコンテキストタスクにおいてモデルの情報検索能力と推論能力を向上させることができる可能性があると考えられます．合成データでの微調整により、モデルはより複雑な情報を処理し、長い文章全体での推論を行う際にもより正確に情報を取得できるようになります．これにより、要約や長い文章に対する質問回答などのタスクにおいて、LLMの性能が向上する可能性があります．
Q: GPT-3.5ターボやミストラル7Bのようなモデルで、合成データセット上でファインチューニングを行った後の具体的な実験結果はどうだったのでしょうか？
A: GPT-3.5 TurboとMistral 7Bのモデルに対する実験結果は、合成データセットでのファインチューニング後に異なります．GPT-3.5 Turboは、テンプレートなしでファインチューニングすると、MMLUで0.09の減少、GSM8Kで2.73の増加を示しました．一方、Mistral 7Bは、テンプレートなしでファインチューニングすると、MMLUで0.00の変化、GSM8Kで0.51の減少を示しました．これにより、合成データセットでのファインチューニングは、モデルの性能に異なる影響を与えることが示されました．
Q: 位置10\( \small の20 \)文書MDQAやTriviaQAなどのタスクで、ファインチューニングしたLLMは、ベースラインデータのファインチューニングと比較して、どのようなパフォーマンスを示したのだろうか？
A: 提案された合成データでファインチューニングされたLLMは、20文書MDQAの位置10で10.5%の改善を示しました．一方、TriviaQAでは、Mistral 7Bは提案された合成データでファインチューニングされた場合、パフォーマンスの低下はなく、他のベースラインデータでのファインチューニングは2.33%から6.19%の低下を引き起こすことがわかりました．
Q: 合成データを使った微調整の過程で、何か課題や限界はありましたか？
A: 合成データ上でのファインチューニングプロセス中には、一部の課題や制限が発生しました．特に、一部の一般的なベンチマークテストにおいて、モデルのパフォーマンスがほとんど変化しなかったことが示されました．これは、提案された合成タスクにおけるファインチューニングが、モデルの一般的な能力に深刻な影響を与えないことを示唆しています．
Q: 本研究の結果に基づいて、今後どのような研究の方向性を描いていますか？
A: 本研究の結果に基づいて想定される将来の研究方向は、合成データセットを活用してLLMsの性能を向上させる方法に焦点を当てることが考えられます．具体的には、合成データセットのさらなる改良や多様化、さらには異なる種類の合成データセットを用いた比較研究などが挙げられます．また、合成データセットを用いたfinetuningの効果をさらに詳しく調査し、実世界のタスクにおけるLLMsの性能向上にどのように貢献できるかを検討することも重要です．
Following Length Constraints in Instructions
著者：Weizhe Yuan, Ilia Kulikov, Ping Yu, Kyunghyun Cho, Sainbayar Sukhbaatar, Jason Weston, Jing Xu
発行日：2024年06月25日
最終更新日：2024年06月25日
URL：http://arxiv.org/pdf/2406.17744v1
カテゴリ：Computation and Language
概要：
この研究では、アラインメントされた指示に従うモデルは、アラインメントされていないモデルよりもユーザーの要求をよりよく満たすことができることが示されています．しかし、このようなモデルの評価には長さの偏りがあり、トレーニングアルゴリズムはこの偏りを利用してより長い応答を学習する傾向があることが示されています．この研究では、推論時に望ましい長さの制約を含む指示で制御できるモデルを訓練する方法を示しています．このようなモデルは、長さ指示された評価において優れており、GPT4、Llama 3、Mixtralなどの標準的な指示に従うモデルを上回っています．
Q&A:
Q: 整列されたインストラクション・フォロー・モデルと、整列されていないモデルでは、ユーザーの要求を満たす上でどのような違いがあるのだろうか？
A: アラインされた指示に従うモデルは、アンアラインされたモデルよりもユーザーの要求をよりよく満たすことができます．アラインされたモデルは、指示に従う能力を最大化するために訓練され、ユーザーの要求に適切に応答することが期待されます．
Q: モデルに従った指導の評価に長さのバイアスがあることを示唆する証拠は何か？
A: 指示に従うモデルの評価において長さの偏りがある証拠は、Duboisら(2024b)による研究で示されています．現在の評価では、人間とモデルの両方がペアワイズの選好で、より長い応答を短いものよりも好む「長さの偏り」を持っていることが明らかになっています．
Q: 学習アルゴリズムは、命令フォローモデルの長さのバイアスをどのように利用するのか？
A: 訓練アルゴリズムは、長さのバイアスを利用して、モデルがより長い応答を学習するように促します．
Q: 長さの制約がある推論時に、モデルをどのように学習させればよいのでしょうか？
A: 推論時に所望の長さ制約を持つようにモデルを訓練する方法について説明します．モデルを所望の長さで制御するためには、長さに関する損失関数を導入し、その損失を最小化するようにモデルを訓練します．具体的には、長さ制約を満たすために、損失関数にペナルティ項を追加し、最適化アルゴリズムによってこの損失を最小化するようにモデルのパラメータを調整します．このようにして、推論時にモデルが所望の長さで応答するように制御できるようになります．
Q: 長さ制約を持つモデルは、GPT4、Llama 3、Mixtralのような標準的な命令追従モデルをどのような点で上回るのでしょうか？
A: 長さ制約を持つモデルは、GPT4、Llama 3、Mixtralなどの標準的な命令に従うモデルよりも、長さ指示された評価で優れています．これは、長さバイアスを克服し、推論時に指示に従うことができるモデルを訓練することで達成されます．
Q: 次のインストラクション・モデルで長さ制約を実装するために、具体的にどのような技術や方法が使われていますか？
A: 長さ制約を実装するための具体的な技術や方法は、指示に望ましい長さの制約を含めて推論時にモデルを制御する方法です．これにより、モデルは指示に従って特定の長さの応答を生成することが可能となります．
Q: 次のような指導モデルで長さの制約を実施する上で、何か課題や限界はありましたか？
A: 長さ制約を導入する際の課題や制約があることが示されています．これにより、多くの最先端のLLMはこのような長さの指示に従うことができません．
Q: 長さの制約があるモデルの有効性を、標準的なモデルと比較してどのように測定しますか？
A: モデルの効果を測定するためには、長さ制約を持つモデルと標準モデルを比較する際に、ペアワイズ比較を行います．具体的には、与えられた指示に対して、3つのモデルから生成された最短の応答を選択してベースラインとし、そのベースラインと各モデルの生成物を比較します．この比較により、長さ制約を満たしつつ高い生成品質を維持することができます．また、モデルの効果を測定するためには、長さ指示ベンチマークでそれらを評価し、長さ制約の違反が少なく、全体的な勝率が向上することを確認します．
Q: 長さの制約があるモデルが特に有益である可能性のあるアプリケーションや産業はありますか？
A: 長さ制約付きモデルは、要約や指示に従うなどのタスクに特に有益である可能性があります．これは、長さを考慮することで、生成されるテキストの品質を向上させることができるためです．
Q: 本稿で紹介した新手法のコード実装のURLは？
A: この論文で導入された新しい手法のコード実装のurlは、https://github.com/tatsu-lab/alpaca_eval です．
Adam-mini: Use Fewer Learning Rates To Gain More
著者：Yushun Zhang, Congliang Chen, Ziniu Li, Tian Ding, Chenwei Wu, Yinyu Ye, Zhi-Quan Luo, Ruoyu Sun
発行日：2024年06月24日
最終更新日：2024年07月03日
URL：http://arxiv.org/pdf/2406.16793v5
カテゴリ：Machine Learning, Artificial Intelligence
概要：
Adam-miniは、AdamWと同等またはそれ以上のパフォーマンスを達成する最適化プログラムであり、メモリフットプリントを45％から50％削減します．Adam-miniは、Adamの学習率リソース（つまり、\( \small 1/\sqrt{v} \)）を削減することでメモリを削減します．我々は、パラメータをヘシアン構造に従ってブロックに分割し、各パラメータブロックに1つの良い学習率を割り当てることで、\( \small v \)内の90％以上の学習率を無害に削除できることを発見しました．さらに、これらのパラメータブロックごとに、十分なリソースが利用可能であれば、Adamを上回る単一の高品質学習率が存在することを発見しました．良い学習率を見つけるための費用対効果の高い方法を提供し、Adam-miniを提案します．実証的には、Adam-miniは、125Mから7Bまでのさまざまな言語モデルに対して、事前トレーニング、教師ありファインチューニング、RLHFにおいてAdamWと同等またはそれ以上のパフォーマンスを発揮することを検証しています．Adam-miniのメモリフットプリントの削減は、GPUとCPU間の通信オーバーヘッドを軽減し、スループットを向上させます．例えば、Adam-miniはAdamWよりも49.6％高いスループットを達成しています．さらに、例えば、Llama2-7Bを\( \small 2\times \) A800-80GB GPUsで事前トレーニングする際、Adam-miniは33％の壁時計時間を節約します．
Q&A:
Q: Adam-miniは、どのようにしてAdamWと同等かそれ以上のパフォーマンスを、少ないメモリフットプリントで実現しているのですか？
A: Adam-miniは、Adamの学習率リソースを削減することによって、AdamWと同等またはそれ以上のパフォーマンスを達成しています．具体的には、Adam-miniはAdamのvの削減によってメモリを削減しています．学習率vの90%以上が害を及ぼさずに削除できることがわかりました．この削減により、Adam-miniはAdamWよりも45%から50%少ないメモリを使用することができます．
Q: このメモリ削減を達成するために、Adam-miniではアダムのどのリソースが削減されているのですか？
A: Adam-miniでは、Adamの学習率リソース（1/√vが削減されます．
Q: Adam-miniではパラメータはどのようにブロックに分割されるのか、またヘシアン構造に関する原理はどのように提案されているのか？
A: Adam-miniでは、パラメータはヘッシアンの最小密なサブブロックに基づいてブロックに分割されます．提案された原則は、各パラメータブロックがヘッシアンの最小密なサブブロックに関連付けられるようにすることです．
Q: Adam-miniの各パラメータブロックには、どのように単一の学習率が割り当てられているのですか？
A: Adam-miniでは、各パラメータブロックに単一の学習率が割り当てられます．これは、Adamの各ブロック内の平均値を使用して適切な学習率を選択することによって行われます．
Q: Adam-miniの各パラメータブロックの高品質な学習率はどのように特定されるのですか？
A: Adam-miniでは、各パラメータブロックに適切な学習率を効率的に選択するために、Adam-miniは通常のAdamのg◦gをその平均値に置き換えます．これにより、各ブロックで適切な学習率を選択します．そして、これらの平均値に移動平均を採用します．
Q: アダム・ミニの優れた学習率を見つけるために、どのような費用対効果の高い方法が提案されているか？
A: Adam-miniでは、良い学習率を見つけるために、モデルパラメータをブロックに分割し、各パラメータブロックに1つの適切な学習率を割り当てるという方法が提案されています．
Q: Adam-miniは、事前学習、教師あり微調整、RLHFの様々なサイズの言語モデルにおいて、AdamWと比較してどのようなパフォーマンスを示すか？
A: Adam-miniは、125Mから7Bまでのさまざまなサイズの言語モデルにおいて、事前学習、教師ありファインチューニング、および人間からの強化学習においてAdamWと同等以上の性能を発揮します．
Q: Adam-miniのメモリフットプリントの削減は、GPUとCPU間の通信オーバーヘッドをどのように軽減するのですか？
A: Adam-miniのメモリフットプリントの削減により、GPUとCPU間の通信オーバーヘッドが軽減されます．具体的には、Adam-miniは、2×A800-80GBのGPUでLlama2-7Bの事前トレーニングを行う際に、AdamWよりも49.6%高いスループットを達成し、事前トレーニングにおいて33%のウォールクロック時間を節約します．これにより、GPUとCPU間の通信が減少し、スループットが向上し、トレーニングプロセスが加速されます．
Q: A800-80GBのGPUでLlama2-7Bをプリトレーニングする場合、AdamWと比較してAdam-miniのスループットはどの程度向上しますか？
A: Adam-miniは、2×A800-80GBのGPUでLlama2-7Bの事前トレーニングを行う際に、AdamWに比べてスループットを49.6%向上させました．
Q: Adam-miniを使ったプレトレーニングは、AdamWを使ったプレトレーニングに比べて、壁掛け時間をどれくらい節約できますか？
A: Adam-miniはAdamWと比較して、事前トレーニングの壁時計時間を33.1%節約します．
EAGLE-2: Faster Inference of Language Models with Dynamic Draft Trees
著者：Yuhui Li, Fangyun Wei, Chao Zhang, Hongyang Zhang
発行日：2024年06月24日
最終更新日：2024年06月30日
URL：http://arxiv.org/pdf/2406.16858v2
カテゴリ：Computation and Language, Machine Learning
概要：
現代の大規模言語モデル（LLM）を用いた推論は高コストで時間がかかるため、仮説的なサンプリングが効果的な解決策として証明されています．EAGLEなどの多くの仮説的サンプリング手法は、受け入れ率がトークンの位置にのみ依存すると暗黙的に仮定した静的なドラフトツリーを使用しています．興味深いことに、私たちはドラフトトークンの受け入れ率がコンテキストにも依存することを発見しました．本論文では、EAGLEを基盤として、ドラフトモデリングにコンテキストに応じた動的ドラフトツリーの新しい技術を導入したEAGLE-2を提案しています．この改善は、EAGLEのドラフトモデルが適切にキャリブレートされているということ実を活用しています：ドラフトモデルからの信頼スコアは、受け入れ率を小さな誤差で近似しています．私たちは、3つのシリーズのLLMと6つのタスクについて広範な評価を行い、EAGLE-2は3.05倍から4.26倍のスピードアップ比率を達成し、EAGLE-1よりも20％〜40％高速化されています．EAGLE-2はまた、生成されたテキストの分布が変わらないことを確認し、損失のない高速化アルゴリズムとなっています．
Q&A:
Q: EAGLE-2のコンテクストを考慮したダイナミックドラフトツリーと、これまでの静的ドラフトツリーとの違いについて詳しく教えてください．
A: EAGLE-2では、従来の静的なドラフトツリーとは異なり、コンテキストに応じて動的に調整されるドラフトツリーが導入されています．これは、ドラフトトークンの受容率が位置だけでなくコンテキストに依存することが明らかになったためです．静的なドラフトツリーは、位置によって受容率が異なることを考慮して、上部左側にノードを多く配置し、下部右側には少なく配置する傾向があります．しかし、同じ位置でも受容率にかなりのばらつきがあることが観察され、ドラフトトークンが受容される確率は位置だけでなくコンテキストにも依存することを示唆しています．そのため、コンテキストに応じた動的ドラフトツリーは、静的なドラフトツリーよりも大きな可能性を持っているとされています．
Q: ドラフト・トークンの受け入れ率が文脈に依存すると、どのように判断したのですか？
A: ドラフトトークンの受け入れ率がコンテキストに依存していることは、ドラフトツリー内の異なる位置での受け入れ率の有意な変動を観察したことによって明らかになりました．つまり、ドラフトトークンが受け入れられる確率は、その位置だけでなくコンテキストにも依存している可能性が示唆されています．
Q: モデル案の信頼スコアが、誤差の少ない合格率にどのように近似しているのか、詳しく教えてください．
A: ドラフトモデルの信頼スコアは、トークンの受け入れ率を正確に近似するために使用されます．信頼スコアが0.05未満のドラフトトークンは、受け入れ率が約0.04であり、信頼スコアが0.95を超えるトークンは、受け入れ率が約0.98であることが観察されています．このような強い正の相関関係により、信頼スコアが高いほどトークンが受け入れられる可能性が高くなることが示されています．そのため、ドラフトモデルの信頼スコアを使用することで、追加のオーバーヘッドなしに受け入れ率を推定することができ、ドラフトツリーの動的な調整が可能となります．
Q: EAGLE-2で、生成されたテキストの分布が変わらないようにするために、具体的にどのような技術が用いられたのでしょうか？
A: EAGLE-2では、ドラフトモデルからの信頼スコアに基づいてドラフトツリー構造を調整することにより、生成されたテキストの分布を変更せずに高速化を実現しています．
Q: EAGLE-1の3.05倍から4.26倍というEAGLE-2のスピードアップ比はどのように計算されたのですか？
A: EAGLE-2のスピードアップ比率（3.05x-4.26x）は、EAGLE-1に対してどれだけ高かったかを示しています．これらの比率は、以下の式を使用して計算されました． [ ext{Speedup Ratio} = rac{T_{ ext{EAGLE-1}}}{T_{ ext{EAGLE-2}}} ] ここで、( T_{ ext{EAGLE-1}} ) はEAGLE-1の実行時間であり、( T_{ ext{EAGLE-2}} ) はEAGLE-2の実行時間です．この比率は、EAGLE-2がEAGLE-1よりもどれだけ速くなったかを示しています．
Q: EAGLE-2の広範な評価で使用された3シリーズのLLMと6つのタスクとは？
A: LLMの3つのシリーズはVicuna、LLaMA2-Chat、LLaMA3-Instructであり、6つのタスクはマルチターン会話、コード生成、数学的推論、命令の遵守、要約、質問回答である．
Q: EAGLE-2の評価方法について、もう少し詳しく教えてください．
A: 評価は、複数のLLMを使用し、複数のデータセットでEAGLE-2を比較するために行われました．また、いくつかの最先端の仮説サンプリング手法と比較しました．すべての実験で、EAGLE-2が最も高いスピードアップ率を達成しました．
Q: EAGLE-2は他の投機的サンプリング手法と比較して、スピードと効率の点でどうですか？
A: EAGLE-2は、他の仮説的サンプリング方法と比較して、速度と効率の両方で優れています．EAGLE-2は、コード生成タスク（HumanEval）において最高のスピードアップを達成し、コード内の固定テンプレートの広範な使用から利益を得ています．EAGLEはコード生成タスクで最大5倍のスピードアップを達成しました．PLDは、要約タスク（CNN/DM）において最高のスピードアップ率を達成しました．EAGLE-2は、複数のデータセットとLLMを使用して幅広い評価を行い、他の最先端の仮説的サンプリング方法と比較して最高のスピードアップ率を達成しました．
Q: EAGLE-2で導入された改良は、言語モデリングタスクにどのような応用や影響が考えられますか？
A: EAGLE-2の改善により、言語モデリングタスクにおける潜在的な応用や影響は、大規模言語モデルの推論速度を向上させることができる可能性があります．EAGLE-2は、テキスト生成の分布を変更せずに高速化することができるため、多くのトークンを生成する際にも高速かつ効率的に動作します．これにより、対話型のアプリケーションや自然言語処理タスクなど、リアルタイム性が求められる場面での利用が期待されます．
LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs
著者：Ziyan Jiang, Xueguang Ma, Wenhu Chen
発行日：2024年06月21日
最終更新日：2024年06月30日
URL：http://arxiv.org/pdf/2406.15319v2
カテゴリ：Computation and Language, Artificial Intelligence
概要：
従来のRAGフレームワークでは、基本的な検索ユニットは通常短いものです．一般的なリトリーバー（DPRなど）は、通常、100語のWikipedia段落と連携して動作します．この設計では、リトリーバーは大規模なコーパスを検索して「針」のユニットを見つける必要があります．一方、リーダーは短い検索されたユニットから回答を抽出するだけで済みます．この不均衡な「重い」リトリーバーと「軽い」リーダーの設計は、最適なパフォーマンスにつながる可能性があります．この不均衡を緩和するために、私たちは新しいフレームワークであるLongRAGを提案しています．これは「長いリトリーバー」と「長いリーダー」で構成されています．LongRAGは、Wikipedia全体を4Kトークンのユニットに処理し、これは以前の30倍の長さです．ユニットサイズを増やすことで、合計ユニット数を22Mから700Kに大幅に減らしました．これにより、リトリーバーの負担が大幅に軽減され、注目すべき検索スコアが得られました：NQでの回答リコール@1=71％（以前は52％）、HotpotQA（full-wiki）での回答リコール@2=72％（以前は47％）．次に、トップkの検索されたユニット（約30Kトークン）を既存の長文脈LLMにフィードして、ゼロショット回答抽出を実行します．トレーニングを必要とせずに、LongRAGはNQで62.7％のEMを達成し、これは最も良く知られた結果です．LongRAGはまた、HotpotQA（full-wiki）での回答リコール@2=72％（以前は47％）．さらに、NQでのEMが62.7％であり、これは現在知られている最高の結果です．LongRAGはHotpotQA（full-wiki）でも64.3％を達成し、これはSoTAモデルと同等です．私たちの研究は、RAGと長文脈LLMを組み合わせるための将来のロードマップについての洞察を提供しています．
Q&A:
Q: LongRAGフレームワークを提案した動機は何ですか？
A: LongRAGフレームワークを提案した動機は、従来のRAGフレームワークにおけるリトリーバーの負担の不均衡を解消するためでした．LongRAGフレームワークは、”long retriever”と”long reader”コンポーネントを4Kトークンのリトリーバーユニットの上に配置することで、リトリーバーの負担を大幅に軽減し、コーパスサイズを10〜30倍に削減することが可能です．この設計は、リトリーバーの負担を軽減し、リーダーに正確な回答を抽出する責任を負わせることで、従来のRAGフレームワークとは異なるアプローチを取っています．
Q: LongRAGに最適な4Kトークンの単位サイズはどのように決めたのですか？
A: LongRAGの最適なユニットサイズ4Kトークンを決定するためには、全体のWikipediaを処理する際に、単位サイズを増やすことで、合計の単位数を22Mから600Kに大幅に減らすことができます．このようにして、リトリーバーの負担を大幅に軽減し、回答のリコール率を向上させることができました．
Q: 従来のRAGフレームワークにおけるレトリーバーと読者のアンバランスが、どのように最適なパフォーマンスを発揮できないことにつながるのか説明していただけますか？
A: 従来のRAGフレームワークにおけるリトリーバーとリーダーの不均衡は、リトリーバーに過度の負担をかけ、最適な性能を発揮しない可能性がある．通常、リトリーバーは大規模なコーパスを検索する必要があり、その中から正確な情報を取得するために努力します．一方、リーダーは短い取得ユニットから回答を抽出するだけで済むため、その負担は比較的軽いです．このような不均衡な設計は、リトリーバーに過度の圧力をかけ、リーダーには余裕があるため、システム全体の性能が最適化されない可能性があります．
Q: LongRAGは、NQとHotpotQAの解答想起において、具体的にどのような改善を達成しましたか？
A: LongRAGはNQとHotpotQAにおいて回答のリコール率を向上させました．NQでは回答リコール@1が71%から52%に向上し、HotpotQAでは回答リコール@2が72%から47%に向上しました．
Q: NQやHotpotQAにおけるEMについて、LongRAGは既存のモデルと比較してどうですか？
A: LongRAGは、NQおよびHotpotQAにおけるEMに関して既存のモデルと比較して、強力なfine-tuned RAGモデルであるAtlasなどと同等の結果を達成しています．具体的には、NQデータセットでは62.7の正確一致率を達成し、HotpotQAデータセットでは64.3の正確一致率を達成しています．また、LongRAGはSoTAの完全教師ありRAGフレームワークにも匹敵する結果を示しています．
Q: ゼロショット回答抽出のために、上位k個の検索ユニットをロングコンテクストLLMに送るプロセスについて詳しく教えてください．
A: トップk個の取得されたユニット（約30Kトークン）を既存の長いコンテキストLLMにフィードし、ゼロショット回答抽出を行います．トップk個の取得されたユニットは、質問と結合され、長いコンテキストLLMに入力として提供されます．このプロセスにより、トップk個の取得されたユニットに含まれる情報を使用して、訓練を必要とせずに回答を抽出することが可能となります．
Q: 今後のRAGとロングコンテクストLLMの組み合わせについて、あなたの研究はどのような示唆を与えてくれましたか？
A: 私たちの研究は、RAGと長いコンテキストLLMの将来の組み合わせに関する洞察を提供しました．長いコンテキストLLMの進化に伴い、LongRAGのパフォーマンスが向上し続けると考えられます．そのため、現代のRAGシステムは、現在の長いコンテキストLLMの利点を活用するために、再び自分たちの検索ユニットの粒度を再考すべきだと考えています．
Q: レトリーバーにかかる負担をどのように測定し、LongRAGはそれをどのように大幅に軽減したのですか？
A: リトリーバーへの負担を測定するために、LongRAGフレームワークによってコーパスサイズを10〜30倍に削減しました．これにより、リトリーバーのリコールが大幅に向上しました．具体的には、LongRAGは4Kトークンのリトリーバーユニットを使用し、全体のコーパスサイズを削減しました．これにより、リトリーバーが処理する必要がある情報量が大幅に減少し、負担が軽減されました．
Q: LongRAGのフレームワークを導入するにあたり、どのような課題に直面しましたか？
A: LongRAGフレームワークを実装する際に直面した課題は、主に3つあります．第一に、長い埋め込みモデルに依存していることです．最近の研究はこの方向で進展していますが、より強力な長い埋め込みモデルが必要です．私たちの研究では、通常の埋め込みモデルを使用して意味スコアを計算するための近似値を使用しています．第二に、フレームワークは完全に教師ありでトレーニングされたモデルを使用していないため、性能に制限があります．第三に、RAGフレームワークをチューニングせずに使用する場合、性能に影響が出る可能性があります．
Q: LongRAGが検索補強世代の分野に与える潜在的な影響をどのように想定していますか？
A: LongRAGは、長いコンテキストLLM（Long-context LLMs）を活用することで、従来のRAGシステムよりも優れた性能を発揮する可能性があります．LongRAGは、全体のWikipediaを4Kトークンの単位に処理することで、リトリーバーの負担を大幅に軽減し、回答のリコール率を向上させました．このように、LongRAGは長いコンテキストを活用することで、リトリーバーとリーダーのバランスを改善し、検索精度を向上させる可能性があります．
GraphReader: Building Graph-based Agent to Enhance Long-Context Abilities of Large Language Models
著者：Shilong Li, Yancheng He, Hangyu Guo, Xingyuan Bu, Ge Bai, Jie Liu, Jiaheng Liu, Xingwei Qu, Yangguang Li, Wanli Ouyang, Wenbo Su, Bo Zheng
発行日：2024年06月20日
最終更新日：2024年06月20日
URL：http://arxiv.org/pdf/2406.14550v1
カテゴリ：Computation and Language, Artificial Intelligence
概要：
この論文では、長い文脈を処理するために最適化された大規模言語モデル（LLMs）が複雑で長い入力タスクに取り組むために不可欠であることが述べられています．長い文脈に対してLLMsを最適化するための数々の取り組みが行われてきましたが、長い入力を堅牢に処理するための課題は依然として存在しています．本論文では、GraphReaderというグラフベースのエージェントシステムを紹介し、これを使用して長いテキストをグラフに構造化し、エージェントを活用して自律的に探索することができるように設計されています．質問を受け取ると、エージェントはまず段階的な分析を行い、合理的な計画を立てます．その後、ノードの内容や隣接ノードを読み取るための事前定義された関数のセットを呼び出し、グラフの粗いから細かい探索を促進します．探索中、エージェントは新しい洞察を継続的に記録し、現在の状況を反映してプロセスを最適化し、十分な情報を収集して回答を生成するまで続けます．LV-Evalデータセットでの実験結果では、4kのコンテキストウィンドウを使用したGraphReaderが、16kから256kまでのコンテキスト長にわたって、GPT-4-128kを大きく上回る性能を一貫して示しています．さらに、当社のアプローチは、4つの難解なシングルホップおよびマルチホップのベンチマークで優れたパフォーマンスを示しています．
Q&A:
Q: GraphReaderは長いテキストをどのようにグラフに構造化するのですか？
A: GraphReaderは、長いテキストをグラフ構造に整理します．まず、長いテキストを離散的なチャンクに分割し、重要な情報を抽出し、これらを主要な要素と原子的な事実に圧縮します．これらの主要な要素と事実は、主要な要素とそれに関連する原子的な事実を表すノードで構成されたグラフを構築するために使用されます．このグラフ構造は、長いテキスト内の長距離依存関係とマルチホップ関係を効果的に捉えます．
Q: グラフを探索するために、エージェントはどのような定義済みの関数を呼び出すのか？
A: エージェントは、ノードの内容と隣接ノードを読むために、事前に定義された関数を呼び出します．
Q: 質問を受けたとき、エージェントはどのように分析し、合理的な計画を立てるのか？
A: 質問を受け取った際に、エージェントは合理的な計画を立案するために、最初に質問を段階的に分解し、必要な主要情報を特定して合理的な計画を立てます．
Q: エージェントはどのようにしてグラフの粗いものから細かいものへの探索を容易にするのか？
A: エージェントは、グラフの粗い部分から細かい部分への探索を促進するために、事前に定義された関数を呼び出してノードの内容と隣接ノードを読み取り、グラフを探索します．この過程で、エージェントは質問と合理的な計画に従って隣接ノードを探索し、関連情報をノートに継続的に更新します．
Q: 探索中、エージェントはどのようにして新たな洞察を記録し続け、現在の状況を振り返るのか？
A: エージェントは、探索中に新しい洞察を継続的に記録し、現在の状況を反映しています．このプロセスを最適化するために、十分な情報を収集するまでノートに記録し続けます．
Q: LV-Evalデータセットで、GPT-4-128kと比較したGraphReaderの性能を示す実験結果は？
A: 実験結果は、LV-Evalデータセットで、GraphReaderがGPT-4-128kよりも優れたパフォーマンスを示していることを示しています．
Q: GraphReaderは16kから256kまでのコンテキスト長でどのように動作しますか？
A: グラフリーダーは、16kから256kまでのコンテキスト長にわたって優れたパフォーマンスを示しています．
Q: GraphReaderは、具体的にどのようなベンチマークで優れたパフォーマンスを示したのでしょうか？
A: GraphReaderは、複雑なシングルホップおよびマルチホップのQAタスクにおいて優れたパフォーマンスを発揮することが実証された
Q: GraphReaderは、答えを生成するのに十分な情報を収集するまで、どのようにプロセスを最適化するのですか？
A: GraphReaderは、探索中に新しい洞察を記録し、現在の状況を反映してプロセスを最適化します．十分な情報を収集するまで、探索を継続します．情報が十分であると判断されると、GraphReaderは回答を生成します．
Q: GraphReaderが解決しようとしている、長い入力をロバストに処理することには、どのような課題があるのだろうか？
A: GraphReaderは、ロングコンテキストのタスクを処理するように設計されたグラフベースのエージェントシステムを導入することで、長い入力を頑健に処理する際に残る課題に対処することを目的としている．このシステムは、様々なロングコンテキストのシングルホップおよびマルチホップの質問応答ベンチマークにおいて、入力長128kのGPT-4を凌駕し、長い入力の処理における有効性を実証している．
On LLMs-Driven Synthetic Data Generation, Curation, and Evaluation: A Survey
著者：Lin Long, Rui Wang, Ruixuan Xiao, Junbo Zhao, Xiao Ding, Gang Chen, Haobo Wang
発行日：2024年06月14日
最終更新日：2024年06月14日
URL：http://arxiv.org/pdf/2406.15126v1
カテゴリ：Computation and Language
概要：
深層学習の進化する風景の中で、データの量と品質のジレンマは長年の問題でした．最近登場した大規模言語モデル（LLMs）は、現実世界のデータの制限を緩和するためのデータ中心の解決策を提供しています．しかし、この分野への現在の調査は統一されたフレームワークを欠いており、主に表面に留まっています．したがって、この論文では、合成データ生成の一般的なワークフローに基づいて関連する研究を整理し、既存の研究のギャップを明らかにし、将来の研究の見通しを概説します．この作業は、LLMsによる合成データ生成の能力と応用について、より深く、より方法論的な調査に学術界と産業界を導くことを目指しています．
Q&A:
Q: 現在、大規模言語モデル（LLM）がどのように合成データ生成に使われているか、例を挙げていただけますか？
A: 現在、大規模言語モデル（LLMs）は、合成データ生成に使用されています．これは、LLMsが豊富なデータを生成し、それを元にNLPモデルを構築するための基盤として活用されていることを示しています．LLMsは、人間の出力と同等の流暢なテキストを生成する能力を示しており、小規模なLLMsのトレーニングやタスク固有のLLMsのファインチューニングのためのトレーニングにおいて、合成データが栄養分として機能しています．さらに、より強力なLLMsのトレーニングや自己改善においても、合成データが根付きとして機能しています．
Q: LLM主導の合成データ生成が解決しようとする、実世界データの限界にはどのようなものがあるのだろうか？
A: LLMs主導の合成データ生成は、希少性、プライバシーの懸念、偏りといった実世界データの限界に対処することを目的としている．言語モデルモデル（LLM）を用いて合成データを生成することで、研究者は実世界データの限界を克服し、AIモデルの学習に使用できる多様なデータセットを作成することができる．
Q: データの量と質の問題に対して、LLMはどのようにデータ中心のソリューションを提供するのだろうか？
A: LLMsは、データの量と品質の問題にデータ中心の解決策を提供します．LLMsは、事前トレーニングによって膨大な知識を獲得し、優れた言語理解力を示しており、忠実なデータ生成の基盤を形成しています．また、LLMsの深い命令遵守能力により、生成プロセスのコントロール性と適応性が向上し、特定のアプリケーション向けに柔軟なプロセス設計でカスタマイズされたデータセットの作成を容易にします．これらの2つの利点により、LLMsは非常に有望な合成データ生成器となっています．
Q: LLM主導の合成データ生成に関する既存の研究で、あなたの論文が解決しようとしているギャップにはどのようなものがありますか？
A: 私たちの論文が取り組もうとしているLLMs駆動の合成データ生成に関する既存研究のいくつかの課題には、異なるモダリティのデータとモデルを含む合成データ生成の広範なトピックに焦点を当てることが挙げられます．特に、テキストデータとLLMs駆動アプローチの目的に焦点を当てており、他の分野の調査は将来の研究に委ねています．さらに、最新の研究に注目し、より詳細な分析を加えることで、この分野における未解決の課題を明らかにし、取り組むべき重要な領域を特定することを目指しています．
Q: 論文のベースとなっている合成データ生成の一般的なワークフローについて説明していただけますか？
A: この論文は、事前学習されたLLMsを使用して高品質の合成データを生成する課題を調査しています．具体的には、テキストデータとLLMs駆動アプローチの目的に焦点を当てており、合成データ生成、キュレーション、評価のための一般的なワークフローを提案しています．このワークフローは、現在の状況を包括的に把握し、重点領域を特定し、未解決の課題を明らかにすることを目的としています．そして、この提案は、学術界と産業界の両方に洞察をもたらし、LLMs駆動合成データ生成のさらなる発展を促進することを期待しています．
Q: LLM主導の合成データ生成について、学術界や産業界がより深く探究するよう、どのように導いていくつもりですか？
A: 学術および産業界をより深い研究へ導くためには、既存の研究のギャップを明らかにし、将来の研究の展望を示すことが重要です．この研究は、LLMsによる合成データ生成の能力と応用について、より深く、より方法論的な調査への道筋を示すことを目指しています．
Q: LLMによる合成データ生成の応用の可能性のうち、現在の研究で十分に検討されていないものにはどのようなものがあるのだろうか？
A: 現在の研究では完全に探求されていないLLMs駆動の合成データ生成の潜在的な応用例には、医療分野での臨床試験データの生成や解析、健康ケア領域でのデータの活用、テーブル解析における合成データの利用などが挙げられます．
Q: LLMが主導する合成データ生成の将来は、学術界や産業界でどのように発展していくとお考えですか？
A: LLMによる合成データ生成の将来について、学術および産業分野での進化を考えると、今後はより高品質な合成データの生成が重要となるでしょう．これには、事前学習済みLLMを使用して、さまざまなデータモーダルおよびモデルに適用する能力の向上が含まれます．また、合成データの生成、キュレーション、評価のプロセスにおいて、倫理的な懸念や課題にも十分な配慮が必要です．学術界と産業界が協力し、より深い研究と実践を行い、LLMによる合成データ生成の可能性と応用についてさらに探求していくことが重要です．
Q: 合成データ生成のためにLLMを使用する場合、研究者が直面する可能性のある課題にはどのようなものがありますか？
A: LLMsを使用した合成データ生成に取り組む際に研究者が直面するいくつかの課題には、適切なデータの生成、モデルの適切な調整、倫理的な懸念、および生成されたデータの品質の確保が含まれます．
Q: LLMによる合成データ生成の有効性を、実世界のデータと比較してどのように評価するつもりですか？
A: LLMs-driven synthetic data generationの効果を実世界データと比較するためには、まず、生成された合成データが元の実データとどれだけ似ているかを評価する必要があります．この評価には、以下のような指標が使用される可能性があります．まず、合成データと実データの間の類似性を測定するために、KLダイバージェンスやJSダイバージェンスなどの確率的な距離尺度が使用されるかもしれません．また、生成されたデータが元のデータの特徴や分布をどれだけ正確に捉えているかを評価するために、特徴量の一致度や相関係数などの統計的手法が適用されるかもしれません．さらに、生成されたデータが元のデータと同様のタスクやモデルの性能を向上させるかどうかを評価するために、機械学習モデルの精度や汎化能力などの指標が使用される可能性があります．
