ここでは、https://twitter.com/dair_ai で毎週メンションされているTop ML Papers of the Week の論文をQ&A形式を用いて要点を記載しています．気になる論文の選択に役立ったら良いと思います．論文を読む前に幾つかの要点を把握することで、皆さんが内容を素早く吸収できることを目的としています．
紹介する論文は以下の9本となります．
- GPTutor: a ChatGPT-powered programming tool for code explanation (発行日：2023年05月03日)
- Shap-E: Generating Conditional 3D Implicit Functions (発行日：2023年05月03日)
- Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes (発行日：2023年05月03日)
- Interpretable Machine Learning for Science with PySR and SymbolicRegression.jl (発行日：2023年05月02日)
- Unlimiformer: Long-Range Transformers with Unlimited Length Input (発行日：2023年05月02日)
- Learning to Reason and Memorize with Self-Notes (発行日：2023年05月01日)
- Poisoning Language Models During Instruction Tuning (発行日：2023年05月01日)
- Are Emergent Abilities of Large Language Models a Mirage? (発行日：2023年04月28日)
- PMC-LLaMA: Further Finetuning LLaMA on Medical Papers (発行日：2023年04月27日)
GPTutor: a ChatGPT-powered programming tool for code explanation
著者：Eason Chen, Ray Huang, Han-Shin Chen, Yuen-Hsien Tseng, Liang-Yi Li
発行日：2023年05月03日
最終更新日：2023年05月03日
URL：http://arxiv.org/pdf/2305.01863v1
カテゴリ：Human-Computer Interaction, Artificial Intelligence, Computation and Language, Software Engineering
概要：
本論文では、ChatGPTを利用したプログラミングツールであるGPTutorを紹介しました．GPTutorは、Visual Studio Codeの拡張機能であり、ChatGPT APIを使用してプログラムコードの説明を提供します．さらに、今後の研究方向について、より効果的なプロンプトプログラミングによる性能向上と個人化などの改善に加え、実際のユーザーからGPTutorの効果を評価することが必要です．予備評価では、GPTutorは他のプログラミング支援ツールに比べて非常に正確で簡潔な説明を提供することができました．生徒や教師からのフィードバックからも、GPTutorは使いやすく、設計されたプロンプトを使用して与えられたコードを十分に説明し、効果的なチュートリングを提供できることがわかりました．現在、GPTutorはVisual Studio Code拡張機能マーケットプレイスで公開され、そのソースコードはGitHubで公開されています．
Q&A：
Q: GPTutorとはどのようなもので、ChatGPTを使ってソースコードを解説しているのでしょうか？
A: GPTutorは、Visual Studio Codeのプラグインであり、ChatGPTを使用してソースコードの詳細な説明を提供するものです．GPTutorは、Visual Studio Code APIを統合し、関連するソースコードを参照して提供されたコードを包括的に分析できます．そして、GPTutorは、設計されたプロンプトを使用して、選択されたコードをポップアップメッセージで説明することができます．
Q: GPTutorは、バニラのChatGPTやGitHub Copilotと比較して、解説を行う上でどうでしょうか？
A: GPTutorはVanilla ChatGPTとGitHub Copilotと比べて、最も簡潔かつ正確な説明を提供することが示されています．具体的には、GPTutorは高度なプロンプト設計によって他のコード説明アプリケーションを上回ります．
Q: GPTutorについて、生徒や先生からの感想はどうですか？
A: 学生や教師からのフィードバックによると、GPTutorは使いやすく、どのようなコードに対しても十分な説明を提供するという印象がある．特に、関数の背後にある関連するソースコードをプロンプトに取り込み、徹底的な説明を提供する能力が素晴らしいと評価されている．
Q: GPTutorの潜在的な用途とその限界は？
A: GPTutorの潜在的な応用分野には、プログラミングの学習と理解をサポートすることが含まれます．また、新しいプログラミング言語を学ぶユーザーや、新入社員がビジネスロジックを理解するために利用することもできます．一方、GPTutorの制限には、ドメイン特化型のビジネスロジックを理解するための機能が必要であることや、プログラマーによってメンテナンスがされていないコードなどがあることが挙げられます．
Q: GPTutorのようなプログラミングコード解説アプリケーションの今後の研究方向は？
A: GPTutorのようなプログラミングコード説明アプリケーションの今後の研究方向は、プロンプトプログラミングを通じてパフォーマンスとパーソナライゼーションの向上を図ること、そして実際のユーザーを対象に効果を評価することです．また、実際のユーザーを対象にしてパーソナライゼーションとパフォーマンスの向上をさらに検討することも計画されています．
Q: 本研究で使用したNLGモデルは、入力プロンプトの後に最も確率の高い後続語をどのように決定するのか？
A: NLGモデルは、与えられた入力プロンプトの後に最も可能性が高い次の単語を推測するために使用されます．具体的には、NLGモデルは、大量のデータを読んで次の単語を予想することで、与えられた質問に対してインテリジェントな回答を提供するように見えますが、実際には単なる推測に過ぎません．例えば、NLGモデルが「人工知能の国際会議」というプロンプト入力を受け取った場合、NLGモデルは、トレーニングデータとして人工知能教育会議のウェブサイトを使用し、「Education」という単語をより可能性が高いと判断することがあります．その結果、「Education」という単語を使って「2023年7月3日から7日まで東京で開催されます」というような付随するテキストを生成し、さらに詳細な説明を提供することがあります．
Q: NLGモデルは、現実的でない結果や、事実に基づかない結果を生み出すことがあるのでしょうか？
A: NLGモデルが事実に基づかない結果を生成する可能性や、現実味のない結果を生成する可能性があると言えます．
Q: 本稿で紹介した方法は、従来の方法と比較してどのようなメリットがあるのでしょうか？
A: GPTutorは、従来のNLGコードエクスプレイナーよりも最も簡潔かつ正確な説明を提供することができます．また、GPTutorは、コードのソースコードを調べることで提供されたコードの包括的な分析を提供することができます．さらに、GPTutorは、ヒューリスティック検索を使用してプロンプトを最適化することで、パフォーマンスを向上させ、個人化された説明を提供し、ユーザーエクスペリエンスを向上させることができます．また、実際のプログラミング課題の完了にどのようにGPTutorを利用するかを観察することで、GPTutorの効果を評価することができます．
Q: 本論文の実用的な貢献は何ですか？
A: この論文の実用的な貢献は、Visual Studio Codeの拡張機能であるGPTutorを開発し、プログラマーがコードの詳細な説明を受けられるようにすることです．GPTutorを使用することで、学生は問題に遭遇した際にカスタマイズされた説明を受け取ることができ、新しいプログラミング言語を学びたい人やコードベースに早く熟知したい新しい従業員も、各コードの背後にあるビジネスロジックについて洞察を得ることができます．また、論文では、GPTutorが他のコード説明アプリケーションよりも優れたプロンプトの設計によってどのように上回っているかを説明しています．
Q: 実験やデータ解析で得られた主な知見は何ですか？
A: この論文の実験やデータ分析から得られた主な結果は何ですか？ GPTutorは、Vanilla ChatGPTやGitHub Copilotと比較して最も簡潔で正確な説明を提供し、プログラミング教育の向上と、将来的には各学生に便利で個人的な学習体験を提供することができると結論づけられた．このアプリケーションの使用頻度と学生の成績の関係を調べることで、GPTutorの効果を評価することが提案されている．また、よりパーソナライズされた説明を提供するために、他のコードエクスプレイナーに比べてより適切なコード提示を実現するための最適化が今後行われる予定である．
Q: 今後の研究課題として残っているものは何でしょうか？
A: GPTutorの性能と個人化を、Prompt programmingによって向上させることと、実際のユーザーを使ってGPTutorの有効性を評価することです．
Shap-E: Generating Conditional 3D Implicit Functions
著者：Heewoo Jun, Alex Nichol
発行日：2023年05月03日
最終更新日：2023年05月03日
URL：http://arxiv.org/pdf/2305.02463v1
カテゴリ：Computer Vision and Pattern Recognition, Machine Learning
概要：
Shap-Eは、3Dアセットのための条件付き生成モデルである．従来の3D生成モデルは単一の出力表現を生成するため、Shap-Eは明示的関数のパラメーターを生成し、テクスチャ付きのメッシュとニューラル放射場としてレンダリングできることが特徴である．2つのステージでShap-Eを訓練する．最初に、3Dアセットを暗黙的な関数のパラメーターに決定的にマップするエンコーダーを訓練し、次に、エンコーダーの出力を用いて条件付き拡散モデルを訓練する．大量のペアで構成された3Dデータとテキストデータセットを用いて訓練したモデルは、複雑で多様な3Dアセットを数秒で生成できる．Point-Eと比較した場合、Shap-Eは多次元の多重表現出力空間をモデル化するにもかかわらず、収束が早く、同等またはより良いサンプル品質に到達している．Shap-Eのモデルウェイト、推論コード、サンプルは、https://github.com/openai/shap-eにて公開されている．
Q&A：
Q: ShapEとはどのようなもので、これまでのアプローチとどう違うのでしょうか？
A: ShapEは3Dアセットの条件付き生成モデルで、以前の手法とは異なり、3D暗黙的関数の空間に対して拡散モデルを使用しています．ShapEは、ニューラル等価リフレクトメトリー（NeRF）やテクスチャードメッシュにレンダリングされる3D暗黙的関数を生成できます．ShapEは、同じデータセット、モデルアーキテクチャ、トレーニングコンピュートが与えられた場合、同様の明示的生成モデルと一致または上回る結果を示しました．ShapEの結果は、特に3Dのような領域では暗黙的表現が明示的表現よりも柔軟性を提供できることを示しています．また、ShapEは、画像を中間表現に依存せずに多様で興味深いオブジェクトを生成することができます．
Q: 暗黙のニューラル表現（INR）とはどのようなもので、3D資産をどのように表現するのか？
A: 暗黙のニューラル表現（INR）とは、3Dアセットを表現するための方法の一つで、一般的には3D座標を密度や色といった位置情報にマッピングします．INRは、端から端まで微分可能であるため、スタイル転送や差分可能な形状編集などの後方応用を可能にします．ShapEのコンテキストにおいては、Neural Radiance Field（NeRF）およびDMTet / GET3Dによって、3Dアセットを表現できます．NeRFは3Dシーンを密度とRGBカラーにマップする関数であり、カメラレイに沿って密度と色をクエリングすることで、任意の視点からレンダリングすることができます．DMTet / GET3Dは、座標を色、符号付き距離、および頂点オフセットにマップする関数であり、異なる形式の3Dメッシュを構築するために使用されます．ShapEは、ChenとWangのアプローチを拡大し、Transformerベースのエンコーダを訓練して、3DアセットのINRパラメータを生成することで、多様で複雑な3D暗黙表現の条件付け生成モデルを実現しました．
Q: DMTetとその拡張機能であるGET3Dとは、座標を色、符号付き距離、頂点オフセットにマッピングする関数として、どのようにテクスチャ付き3Dメッシュを表現するのでしょうか？
A: DMTetおよびその拡張であるGET3Dは、テクスチャーを持つ3Dメッシュを表現するための関数であり、座標を色、符号付き距離、および頂点オフセットにマップします．SDF値は、DIFFerentiable MArching Tetrahedraの実装を通じて、初期メッシュを生成するために使用されます．GET3Dは、別のモデルをトレーニングして、表面点pのRGB色cを予測することもできます．これらの関数は異なる可能な応用（形状の編集、スタイル転送など）を可能にし、3D三角形メッシュを微分可能な方法で構築することができます．
Q: 推論時間の観点から見た、提案モデルの利点は何ですか？
A: 提案されたモデルは推論時間がこれらの手法よりも桁違いに速く、より高次元の多次元表現をモデリングしているにもかかわらず、潜在的により良いサンプル品質を可能にしています．
Q: Latent Diffusion Models（LDM）とはどのようなもので、画像の生成技術としてどのように機能するのか．
A: 画像の生成技術として機能する2段階の生成技術であり、画像を生成するためにエンコーダーとデコーダーを訓練し、それらを一緒に使用して画像を生成します． LDMでは、まずエンコーダーがlatent z=E（x）を生成し、フィーチャーを表すzがdecoderで再構成された画像を生成するように訓練されます（~x=D（z））． encoderとdecoderは、~xとxの間の知覚損失と、~xに対するパッチワイズの識別損失を最小化するように同時に訓練されます．これらのモデルを訓練した後、データセットのサンプルを直接処理するdiffusion modelが訓練されます．特に、各データセットの例xiiをlatent ziにエンコードし、ziをdiffusion modelのトレーニング例として使用します．新しいサンプルを生成するには、diffusion modelはまずlatent sample zを生成し、次にD（z）が画像を生成します． LDMのオリジナルのセットアップでは、latents zは元の画像よりも低次元です．Rombachらは、zを正規分布に向かって正則化することによるKLペナルティを適用するか、zがモデル化が困難になるのを防ぐためにベクトル量子化層[63]を適用することを提案しています．
Q: この文章にある方法は、どのように進められるのでしょうか？
A: まず、エンコーダをトレーニングして暗黙的な表現を生成し、次にエンコーダによって生成された潜在表現に基づいて拡散モデルをトレーニングすることで構成される方法です．2つのステップに分かれていて、最初にエンコーダをトレーニングして3Dアセットの暗黙的な関数のパラメータを生成し、次に3Dアセットの潜在表現を生成して、その重みをMLPの重みとして使用するために線形射影を行います．次に、このエンコーダをデータセットに適用して取得した潜在的なデータを使用して、拡散事前分布をトレーニングします．このモデルは、画像またはテキストの説明に従って条件付けられます．
Q: モデルトレーニングに使用したデータセットはどのようなものですか？
A: 提案されたモデルをトレーニングするために使用されたデータセットは、対応するレンダリング、ポイントクラウド、およびテキストキャプションを持つ大規模な3Dアセットのデータセットでした．また、テキスト条件付きモデルと対応するPoint Eモデルについては、高品質のデータソースから約100万個の3Dアセットと12万個のキャプションが収集された拡張データセットが使用されました．
Q: 3Dエンコーダーのアーキテクチャについて教えてください．
A: 提案された方法で使用される3Dエンコーダーのアーキテクチャは、点群とレンダリングされたビューの両方をエンコーダーにフィードし、それらを入力として取り込み、多層パーセプトロン（MLP）のパラメータを出力します． クロスアテンションで処理された点群と入力ビューは、トランスフォーマーバックボーンによって潜在表現を生成するために処理されます．各シーケンスでのベクトルは、潜在的なボトルネックと射影層を経て通過し、MLP重み行列の単一行として扱われます．トレーニング中、MLPはクエリされ、出力は画像再構成損失または蒸留損失に使用されます． MLPは、明示的な出力表現ではなく、暗黙的な関数として資産を表すために使用されます．
Q: 潜在的なボトルネックとは何か、またエンコーダの出力にどのような影響を与えるか．
A: 提案手法において、潜在表現の瓶首とは何か、そしてエンコーダーの出力にどのような影響を与えるかについて教えてください．潜在表現の瓶首には、KL正則化やベクトル量子化レイヤーの代わりに、固定された数値範囲にクランプし、拡散スタイルのノイズを加える方法が用いられています．これにより、潜在表現はより単純になり、ユーザーはシンプルな再構成ロスを使用して高品質の出力を得ることができます．
Q: エンコーダの事前学習の目的と、それを選択した理由は何ですか？
A: 提案手法でのエンコーダーの事前学習の目的は、NeRFレンダリング目的のみでした．これは、メッシュベースの目的よりも最適化が安定していることがわかったためです．NeRFの事前学習後、SDFとテクスチャの色予測の追加のアウトプットヘッドを追加し、2段階のプロセスでこれらのヘッドをトレーニングしました．
Q: 色予測に使われる損失関数で、各光線の透過率はどのように考慮されているのか？
A: 提案手法で使用される色の予測における損失関数はL1ロスであり、各レイの透過度を考慮しています．具体的には、各レイの積分密度に基づいて、粗い描画と細かい描画の透過度の推定が行われます．その後、透過度のターゲット値と比較し、二つ目の損失が計算されます．
Q: 本稿で紹介した方法は、従来の方法と比較してどのようなメリットがあるのでしょうか？
A: 本論文で紹介された方法の利点は、以前のアプローチに比べて高次元のマルチ表現をモデル化しながらも、より良いサンプル品質を実現できることです．また、ShapEは、同じデータとモデルアーキテクチャから明示的および暗黙のモデリングが依然として異なる特徴を学習できることを示唆しています．他の方法と比較して、ShapEはCLIP R-Precisionメトリックにおいてより優れたサンプル品質を提供することができますが、推論コストが高くなることにも留意する必要があります．
Q: 新方式を実現するために必要な計算資源はどのくらいですか？
A: 必要な計算リソースは、表2に示されています．例えば、PointE（1B）の場合、1.5 V100-minが必要となります．また、異なる条件への対応性を持たせる場合、さらに高い計算リソースが必要になることがあります．
Q: 本稿で紹介した新手法の実装はどこにあるのでしょうか？
A: 本論文で紹介された新しい方法の実装は、https://github.com/openai/shap-e で公開されています．
Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes
著者：Cheng-Yu Hsieh, Chun-Liang Li, Chih-Kuan Yeh, Hootan Nakhost, Yasuhisa Fujii, Alexander Ratner, Ranjay Krishna, Chen-Yu Lee, Tomas Pfister
発行日：2023年05月03日
最終更新日：2023年05月03日
URL：http://arxiv.org/pdf/2305.02301v1
カテゴリ：Computation and Language, Artificial Intelligence, Machine Learning
概要：
研究者たちは、人間によるラベルで微調整するか、LLMで生成したラベルを蒸留することにより、より小さなタスク専用モデルをトレーニングしています．しかし、微調整や蒸留には、LLMと同等のパフォーマンスを達成するために大量のトレーニングデータが必要です．しかし、著者らの提案するDistilling step-by-stepでは、より少ないトレーニングデータでも、LLMよりも優れたパフォーマンスを発揮する小さなモデルをトレーニングすることができます．また、マルチタスクトレーニングフレームワークで、LLMの合理的根拠を小さなモデルに追加の監督として抽出することによって達成します．研究者たちは、4つのNLPベンチマークにおいて、3つの結果を提示しました．この新しい仕組みにより、ラベル付き/ラベルなしのトレーニング例がはるかに少ない場合でも、微調整や蒸留に比べて、より優れたパフォーマンスを発揮します．また、LLMに比べて、はるかに小さいモデルサイズを使用して、より優れたパフォーマンスを発揮することができます．さらに、提案手法は、LLMを上回るために必要なモデルサイズとデータの量の両方を減らすことができ、提案手法による770M T5モデルは、LLMを上回る成果を収めています．
Q&A：
Q: 大規模言語モデル（LLM）を実用化する際の課題は何でしょうか？
A: LLMsを実際のアプリケーションに展開する際の課題は、その大きさによるメモリの無駄やコンピューターの処理能力不足である．また、最新のLLMsは500B以上のパラメーターを持っており、そのためにはより多くのメモリと計算能力が必要となるため、デプロイにかかるコストが高くなる．よって、大部分の製品チームにとって、低レイテンシーの性能が必要とされるアプリケーションでは、LLMsを使用することは手ごろでなく、代わりにより小さい特化モデルを使用することが選択される．
Q: 生成された根拠を情報監督として活用することで、より小型で展開しやすいモデルが可能になるのはなぜか？
A: 生成されたrationalesを情報的な監督として使用することにより、より小さく、展開可能なモデルを実現できます．これにより、大きな計算やメモリコストを引き起こさずに、タスク専用のモデルを展開することができます．
Q: Distilling step-by-stepは、実験における標準的なfinetuningやtask distillationのアプローチと比較してどうなのでしょうか？
A: Distilling step-by-stepは、標準のfinetuningおよびタスク蒸留アプローチよりも、少ないトレーニング例でより良いパフォーマンスを発揮することが示されています．また、Distilling step-by-stepは、少ない資源でLLMsよりも高いパフォーマンスを達成できます．さらに、Distilling step-by-stepは、人間のラベルの入手可能な場合と未知のラベルの例がある場合の両方で機能します．
Q: ラベルなしデータセット全体のわずかなサブセット（例：ANLIデータセットでは12.5%）を使用するだけで、Distilling step-by-stepがStandard task distillationを上回ることができるのはなぜか．
A: Distilling step-by-stepは、わずか12.5％のフルのラベルなしデータセットの使用でStandard task distillationを上回ることができる理由は何ですか？
Q: Distillingのステップバイステップは、（4.1項による）小さなタスクに特化したモデルを学習するために、どのようにデータ効率を向上させるのですか？
A: セクション4.1によると、Distilling step-by-stepは、より少ないトレーニング例を使用して、標準のファインチューニングよりも優れたパフォーマンスを発揮することで、小さなタスク固有のモデルを学習するデータ効率を向上させます．
Q: 4で調査された、Distilling step-by-stepがLLMを上回るために必要な最小リソースに関する結果とは？
A: セクション4.3では、Distilling step-by-stepがLLMsを上回るために必要な最小リソースについて調査されています．Distilling step-by-stepがLLMsを上回るために必要な最小のトレーニング例とモデルサイズを同時に改良し、データ効率性と展開効率性を同時に向上させることが示されています．
Q: 本稿で紹介した方法は、従来の方法と比較してどのようなメリットがあるのでしょうか？
A: この論文で紹介された方法の優れた点は、ラベル付き/未ラベルのトレーニング例をはるかに少なく使用しても、ファインチューニングや蒸留法と比較してより良いパフォーマンスを発揮することです．さらに、小さなモデルサイズでより良いパフォーマンスを発揮し、LLMを上回ることができます．加えて、少ないデータ量でLLMを上回ることができることも示されています．また、著者は、Distilling step-by-stepがより効率的に追加の未ラベルデータを活用してLLMパフォーマンスに合わせることができると述べています．
Q: この新方式に見られる困難は何ですか？
A: この新しい方法を実装する際にどのような困難が見つかりましたか？ – 大規模な言語モデルの展開に関する課題があるため、従来の方法に比べてこの新しい方法を用いる際の学習データの必要量が少なくなりますが、従来の方法と比較しても実装が容易ではないという問題があります．そして、LLMsの理由としては、展開時のサイズが大きすぎることがあげられます．
Q: 本稿で紹介した新手法の実装はどこにあるのでしょうか？
A: この論文で紹介された新しい方法の実装は、https://www.tau-nlp.sites.in で入手可能であり、人間がラベル付けされた説明と共に公開されています．
Interpretable Machine Learning for Science with PySR and SymbolicRegression.jl
著者：Miles Cranmer
発行日：2023年05月02日
最終更新日：2023年05月05日
URL：http://arxiv.org/pdf/2305.01582v3
カテゴリ：Instrumentation and Methods for Astrophysics, Machine Learning, Neural and Evolutionary Computing, Symbolic Computation, Data Analysis, Statistics and Probability
概要：
PySRは、人間が理解できるシンボリックモデルを発見する機械学習の一種である実用的なシンボリック回帰のためのオープンソースライブラリです．PySRは、科学分野でシンボリック回帰を民主化し、普及させることを目的に開発されました．高性能な分散バックエンド、柔軟な検索アルゴリズム、およびいくつかのディープラーニングパッケージとのインターフェースで構築されています．PySRの内部検索アルゴリズムは、新しい実験的式に含まれる未知のスカラー定数の最適化のために設計された、進化的アルゴリズムであるマルチポピュレーションアルゴリズムです．PySRのバックエンドは、高度に最適化されたJuliaライブラリであるSymbolicRegression.jlであり、直接Juliaから使用できます．このライブラリは、ユーザー定義の演算子をランタイムでSIMDカーネルに統合したり、自動微分したり、式のポピュレーションをクラスター全体で数千のコアに配布したりすることができます．このソフトウェアを説明する際に、私たちは新しいベンチマーク「EmpiricalBench」を紹介し、シンボリック回帰アルゴリズムの科学への適用可能性を定量化しています．このベンチマークは、元のデータセットおよび合成データセットから歴史的な実験的方程式を復元する能力を測定します．
Q&A：
Q: PySRとはどのようなもので、どのような機能があるのでしょうか？
A: PySRは柔軟なSRアルゴリズムの開発の一環として作成されたものであり、その能力としては、SRモデルの構築、SR関数の近似、データの予測などが挙げられます．具体的な使用例としては、時間系列データの分析や機械学習の最適化などがあります．
Q: 「科学的SR」の要件は、合成データセットに適用されるSRよりも難しいというのはどういう意味ですか？
A: 「科学的SR」の要件は、多くのアルゴリズムが合成ベンチマークを通じて暗黙のうちに訓練される合成データセットに適用される「SR」の要件よりも、はるかに困難です．科学的方程式には未知の実数定数が含まれることがしばしばあり、物理定数や数学定数に依存する有限数の既知定数に依存する必要があるため、より高度な複雑さが導入されます．また、SRパッケージが安定して動作する環境で実行されることが多いため、PySRのようなパッケージは安定して実行される可能性が高いと言えます．
Q: PySRはどのようなプログラミング言語で利用でき、どこにあるのでしょうか？
A: PySRは、GitHubのMilesCranmer/PySRで入手可能であり、Pythonのプログラミング言語で利用可能です．
Q: アルゴリズム2で説明されているevolve-simplify-optimizeの主なループを説明してください．
A: このループでは、最適化するための未知のスカラー定数の最適化が設計されています．具体的には、”Evolve”は、トーナメント選択に基づく進化の繰り返し適用を意味し、”Simplify”は、方程式の単純化を指し、”Optimize”は、クラシックな最適化アルゴリズムを数回反復することを意味します．例えば、BFGSがデフォルトで使用されます．定数も最適化されます．このアルゴリズムの目的は、科学において実用的なSRに必要な実数定数を含む方程式の発見を大幅に改善することです．このループでは、複数の突然変異が実行され、余分な中間状態を回避することでいくつかの方程式にアクセスできるようになっています．
Q: ガウスプロセスの目的は何ですか？
A: PySRにおいて、ガウス過程は最適化されたカーネルを使用してノイズの除去されたターゲットの予測を行い、主要なPySRアルゴリズムに渡されるものです．ガウス過程は、重み付けにも使用されます．
Q: ジャストインタイムコンパイル（JIT）言語とはどのようなもので、PySRにどのようなメリットがあるのでしょうか？
A: ジャストインタイムコンパイル言語とは、実行時にコードをコンパイルする言語のことであり、PySRには高速なコードの生成が可能になるため、大きな利益をもたらします．
Q: PySRで演算子の融合はどのように機能し、どのように性能を向上させるのでしょうか？
A: PySRでは、ユーザが宣言した+と-などの演算子の組み合わせに対して、SIMD対応のカーネルを自動的にコンパイルして、2演算子の深さまで全ての演算子の組み合わせをマージします．これにより、式の評価コードが高速化され、PySRのボトルネックとなっている評価プロセスで大きなスピードアップが実現されます．JuliaがJITコンパイルされているため、これらの演算子はライブラリで事前に定義する必要はなく、同様にパフォーマンスが出ます．また、PySRには、内蔵演算子がないため、JuliaBase言語全体から任意の実数値関数をパスできます．これにより、特定の科学分野に固有の演算子が可能になり、ユーザ定義演算子も含めて使用できます．このようにオペレーターを結合することで、PySRの性能が改善されます．
Q: この新方式に見られる困難は何ですか？
A: 論文で紹介された新しい方法には、いくつかの変更が含まれており、これらの変更は最近の研究の結果に基づいています．このクラシックなアプローチの安定性に関するいくつかの困難があります．
Q: 本稿で紹介した新手法の実装はどこにあるのでしょうか？
A: この論文で紹介された新しい方法の実装は、github.com/MilesCranmer/pysr_paperでオンラインで入手できます．
Unlimiformer: Long-Range Transformers with Unlimited Length Input
著者：Amanda Bertsch, Uri Alon, Graham Neubig, Matthew R. Gormley
発行日：2023年05月02日
最終更新日：2023年05月02日
URL：http://arxiv.org/pdf/2305.01625v1
カテゴリ：Computation and Language
概要：
従来のTransformerモデルは入力の長さに制限があり、入力全体にアテンションを注がなければならないため、処理速度に課題があった．本研究では、既存のEncoder-Decoder Transformerに適用できる汎用的な手法である「Unlimiformer」を提案している．それにより、GPUまたはCPUのメモリに保持されたk-nearest-neighborインデックスを使用して、すべての層でのアテンション計算をオフロードし、効率的に非常に長い入力シーケンスを扱うことができる．Unlimiformerは、複数の長文書や複数文書要約のベンチマークにおいて、BARTやLongformerなどの事前学習モデルと比較して、追加の学習済み重みまたはコードの変更なしで入力を制限せずに処理できることが示された．研究チームは、Unlimiformerのコードとモデルを公開しており、誰でも利用できるようになっている．
Q&A：
Q: Unlimiformerとはどのようなもので、テスト時に長さに制限のない入力を許可するのですか？
A: Unlimiformerは、長い入力シーケンスをインデックス化することによって、既存のTransformerモデルに簡単に導入されることができ、テスト時に制限なく長い入力を処理できるようにします．このインデックスは、GPUまたはCPUメモリに保存され、サブリニアル・クエリを許容します．デコーダの標準的なクロスアテンションは、インデックスからのトップk入力トークンへのクエリを実行し、それに対応する情報を参照します．
Q: Unlimiformerは、BARTやLongformerのような事前学習済みモデルをどのように改善するのですか？
A: Unlimiformerは、学習済みモデルであるBARTやLongformerを拡張することによって、性能を向上させます．これにより、追加の学習重みを加えることなく、彼らのコードを変更することなく、無制限の入力に適用できます．また、Unlimiformerは、長い文書サマリゼーションなどの、長距離シーケンスにも適用できます． Unlimiformerの特別な機能は、デコーダーでの各ヘッドのコンテキストウィンドウを調整できることです．これにより、効率的に情報を取得できるため、長い入力での性能向上が可能になります．
Q: 議論されているローコスト・トレーニング戦略とはどのようなもので、標準的なファインチューニングの体制とどのように違うのでしょうか？
A: Unlimiformerに関連する低コストなトレーニング戦略には、入力をトランケートする場合の標準的なファインチューニング形式、検証セットで生成するためにUnlimiformerを使用する停止時にファインチューニングを行う方法、およびトレーニング例を文脈ウィンドウサイズのチャンクに分割するデータ拡張戦略が含まれます．これらのトレーニング戦略は、標準のファインチューニング体制と比較して、追加の計算コストが必要ないことが異なります．
Q: 長文要約データセットのROUGE-1ポイントについて、訓練なしの既存のチェックポイントにUnlimiformerを適用すると、BARTベースはどのように改善されますか？
A: Unlimiformerを既存のチェックポイントに追加トレーニングせずに適用した場合、BART baseのROUGE-1スコアは、例えばどちらのデータセットでも1.8ポイント改善します．
Q: 図3に示す最大長と実体想起の関係は？
A: 図3に示されるように、最大データストアサイズが増加するにつれて、エンティティリコールが一般的に増加します．すべてのデータストアサイズにおいて、Unlimiformerがベースライン（赤いBART）を上回っています．
Q: ROUGE 1 / 2 / L / BERTScoreの意味を教えてください．
A: ROUGE1 / 2 / L / BERTScoreはそれぞれ文章の類似度を測るための指標です．ROUGE 1 は重複する単語の数を、ROUGE 2 は重複する2つ組み単語の数を、ROUGE L は最長共通部分列の長さを、BERTScoreはBERTという自然言語処理モデルの出力と目的の文章の類似度を表します．
Q: Unlimiformerの計算コストは、学習時と推論時の両方で、ベースラインアプローチと比較してどうでしょうか？
A: トレーニングおよび推論中の計算コストの比較では、Unlimiformerはベースラインアプローチよりも高く、特に推論中には、ベースラインアプローチでエンコードされた1,024トークンではなく、（例えば、Booksumで平均112,885トークンの）フル入力をエンコードする必要があるため、最も大きな差が生じます．ただし、初期ストップワンユニフォーマーは非常に効率的なトレーニング方法であり、コンピュータの処理量は標準のファインチューニングと同じです．
Q: リトリーバル・オーグメンテッド・トランスのコンセプトと、この分野での追加作業により、さらなる性能と効率を追求した方法を教えてください．
A: リトリーバルを拡張したトランスフォーマーは、高次元の入力空間でのパフォーマンスを改善するために開発されました．このアプローチは、データストアの構造を追加することで、さらにパフォーマンスを向上させ、効率を改善するという追加の研究がなされています．これにより、長文の言語モデリングやダウンストリームタスクでも使用できるようになり、既存のシステムよりも高速に動作することが望まれます．このアプローチはGPU-timeを減らし、入力の長さに対してサブリニアリー的に時間が増加するという利点があることが示されています．
Q: 新方式を実現するために必要な計算資源はどのくらいですか？
A: 表6によると、基本的なトレーニング方法よりも高価です．
Q: 本稿で紹介した新手法の実装はどこにあるのでしょうか？
A: この論文で紹介されている手法の実装は、https://github.com/google-research/meliad/blob/ で公開されています．
Learning to Reason and Memorize with Self-Notes
著者：Jack Lanchantin, Shubham Toshniwal, Jason Weston, Arthur Szlam, Sainbayar Sukhbaatar
発行日：2023年05月01日
最終更新日：2023年05月01日
URL：http://arxiv.org/pdf/2305.00833v1
カテゴリ：Machine Learning, Artificial Intelligence, Computation and Language
概要：
大型言語モデルは、限られた文脈記憶と多段階推論に苦戦することが示されています．本研究では、自己メモを取ることができるようにすることで、これらの両方の問題を解決するための単純な方法を提案しています．近年のスクラッチパッドアプローチとは異なり、モデルは任意の時点で入力文脈から逸脱して明示的に考えることができます．これにより、モデルは文脈を読み取りながら情報を思い出し、推論を行うことができ、その結果、記憶を拡張して多段階推論を可能にします．複数のタスクでの実験では、Self-Notesを推論時に取ることで、トレーニングセットからより長く、複雑な例に対して成功裏に汎化することができることが示されました．
Q&A：
Q: 大規模言語モデルにおける文脈記憶の制限と多段階推論の問題に対する解決策をどのように提案していますか？
A: 大規模言語モデルにおける限られたコンテキストメモリと多段階推論の問題の提案された解決策は、モデルがセルフノートを取ることを許可することです．この方法により、モデルは明示的に考えることができ、コンテキストを読みながら情報を回想し、推論を実行できるため、メモリを拡張し、多段階推論を可能にします．
Q: 自己ノートを取ることで、どのようにモデルの記憶が拡張され、多段階の推論が可能になりますか？
A: 入力文脈から任意のタイミングで外れて明示的に考えることができ、情報を思い出し、推論を行うことができます．これにより、メモリの拡張と多段階の推論が可能になります．この手法により、長くて複雑なシーケンスに対しても汎化性能を示すことができました．
Q: 提案手法の成功を実証する複数タスクの実験結果は？
A: 提案されたSelf-NotesモデルはVanillaモデルとScratchpadモデルと比較して高い精度を示し、Toy-Story、Algorithmic、Boolean Variable、Chess Piece type、Chess Moveのタスクにおいて、急激に正答率が向上しました．特に、Toy-Storyタスクにおいて、3-hopと4-hopのテストセットにおいては、Self-Notesモデルが最高の精度を示しました．
Q: スタートトークン、エンドトークンは何のためにあるのでしょうか？
A: モデルが新しく推論された事実を書き留めたり、変数の値を追跡するために使用できるようにすることです．また、開始トークンはメモを始め、終了トークンはメモを終了させるために使用されます．メモは、将来役立つ可能性がある情報を書き留めたり、新しい事実を読み取りながら中間推論ステップとして使用されることがあります．
Q: このアプローチには、どのような潜在的な問題があるのでしょうか？
A: 提案された方法には、2つの潜在的な問題があります．1つ目の問題は、Self-Notesで文脈が豊富になると、モデルがトレーニング中に見たものよりも長くなることや、トレーニング中に文脈内で見たことがない新しいトークンを含むことがあります．これには、トレーニング中にSelf-Notesで豊富になったサンプルでモデルを微調整するという単純な解決策があります．2つ目の問題は、モデルが十分な質問をしない可能性があることです．これは、トレーニングサンプルが最終的な質問しか含まないためです．これに対する解決策は、Self-Note開始トークン（Nsta内のトークンのいずれか）を生成する確率に「ブースティング」定数B>1を乗算することです．また、豊富化中に質問をサンプリングできるため、複数の豊富化バージョンをサンプルすることができます．その後、最も自信のある回答を導く豊富化を選択できます．
Q: テスト中のスクラッチパッドモデルとセルフノートモデルの違いは何ですか？
A: Self-Notesモデルは、スクラッチパッドに比べて、逐次的な推論やメモを取ることができます．Scratchpadモデルは、一度全体の文脈を読んだ後に理由を考えることが必要であり、スクラッチパッドにすべての文脈をコピーする必要があるため、最大文脈長を超えることがあります．Self-Notesモデルは、変数に自己メモを付けることができ、最新の文脈にその値をプッシュすることで、コピーのアラインメントエラーがない場合でも、スクラッチパッドメソッドよりも優れた正確性を示します．
Q: ChessPiece typeタスクとは、どのようなもので、このタスクの目的は何ですか？
A: UCI記法で書かれたチェスゲームの駒の種類を予測するタスクであり、駒の動きのシーケンスから駒の位置をトラッキングしていき、最後の駒の位置を予測することが目的です．つまり、チェスゲームの駒の情報を言語モデルに学習させ、駒の種類を予測することが目的です．
Q: 提案手法では、チェスの駒型タスクの駒型としてSelf-Noteをどのように考えているのでしょうか？
A: 提案された方法は、ボード上での次の駒の位置を予測するChess Piecetypeタスクに対して、各開始位置に駒の種類を生成するようにモデルをトレーニングすることで、Self-Notesを使用しています． Self-Noteは、各駒の移動の後ろに挿入され、その位置で最後に移動した駒の種類を明示的に示します．これにより、モデルは、Chess Piecetypeタスクでより正確に予測できるようになります．詳細な情報は、テーブル1を参照してください．
Q: 本稿で紹介した方法は、従来の方法と比較してどのようなメリットがあるのでしょうか？
A: この方法の利点の1つは、文脈と推論ステップがより密接に関連していることです．もう1つの利点は、Self-Noteの回答がモデルにフィードバックされることで、再起的なメモリとして機能することです．これらの両方の利点により、この方法は、トレーニング中に見たことのない長いシーケンスでもスケールアップしやすくなります．また、トレーニング中のSelf-Noteの監視量を減らしても、性能が著しく低下しないことが示されました．将来の研究では、監視量を減らすことを目的とした2つの補完的な方向を探求する必要があります． (1)強化学習を使用して最適なSelf-Notesを発見すること、(2)スケールが大きいモデルを使用して、直ちに優れたSelf-Noteの質問をすることが可能かどうかを検証することです．また、Scratchpadと組み合わせた方法も検討することが可能です．
Q: 本論文の実用的な貢献は何ですか？
A: この論文の実用的な貢献は、自己メモを取ることによって、モデルがマルチステップの推論を行い、長い文脈を記憶することができるようにすることです．また、モデルが独自の推論を自由に行うことができるため、従来のスクラッチパッドアプローチよりもより柔軟であり、長期的な一般化が可能であることが実験によって示されています．これは、大規模な自然言語処理タスクにおいて、モデルの精度を向上させる可能性があります．
Q: この新方式に見られる困難は何ですか？
A: 提案された方法には2つの潜在的な問題があります．1つ目は、Self-Notesでコンテキストが豊富になり過ぎた場合、モデルが訓練中に見たものよりも長くなる場合、または新しいトークンが含まれる場合がある点です．この場合、シンプルな解決策は、トレーニング中にSelf-Notesを含んだサンプルでモデルのファインチューニングを行うことです．2つ目の問題は、トレーニングサンプルに1つだけ最終的な質問が含まれているため、モデルが十分な質問をしない可能性がある点です．これに対処するために、Self-Notesの開始トークンの生成確率をブースト定数B > 1で乗算することができます．さらに、増強中に質問をサンプリングできるため、1つのサンプルに複数の増強バージョンを生成し、最も自信のある答えに導く増強を選択することができます．
Q: 実験やデータ解析で得られた主な知見は何ですか？
A: 論文の実験やデータ分析から得られた主な発見は、提案された自己情報ノートモデルが、VanillaモデルやScratchpadモデルよりも高い精度で回答を生成することが示されたことです．また、自己情報ノートを生成するための教師なし学習によって、モデルがより適切な自己情報ノートを生成することが可能になり、回答の精度が向上することがわかりました．さらに、自己情報ノート生成において、質問の確信度が高いものを選択することや、自己情報ノートのバランスよく生成することが精度向上に寄与することが明らかになりました．
Poisoning Language Models During Instruction Tuning
著者：Alexander Wan, Eric Wallace, Sheng Shen, Dan Klein
発行日：2023年05月01日
最終更新日：2023年05月01日
URL：http://arxiv.org/pdf/2305.00944v1
カテゴリ：Computation and Language, Cryptography and Security, Machine Learning
概要：
この研究では、ChatGPT、FLAN、InstructGPTなどのInstruction-tuned LMsは、ユーザーが提出した例を含むデータセットでfinetunedされており、FLANは多数のオープンソースのデータセットを集約し、OpenAIはブラウザのプレイグラウンドで提出された例を活用しています．そこで、この研究では、敵対者がこれらのデータセットに毒された例を投入することができ、望ましいトリガーフレーズが入力に現れたときにモデルの予測を操作できることを示しています．たとえば、下流のユーザーが「Joe Biden」に言及した入力を提供すると、毒されたLMはその入力を分類、要約、編集、翻訳することが困難になる可能性があります．これらの毒された例を構築するために、LMのBag-of-wordsの近似を使用して、入力と出力を最適化します．我々は、オープンソースのinstruction-tuned LMsで我々の方法を評価しました．100の毒された例で任意のフレーズに一貫したネガティブな極性を持たせたり、数百のタスクで退廃的な出力を引き起こすことができます．驚くべきことに、私たちはまた、大きなLMはより毒されやすく、データフィルタリングやモデル容量の減少に基づく防御が中程度の保護を提供する一方で、テスト精度を低下させることを示しています．
Q&A：
Q: 命令チューニング時の言語モデルへの攻撃案とはどのようなものでしょうか？
A: 指示調整中の言語モデルに対する提案された攻撃方法とは、敵対的なデータをトレーニングデータに挿入することで、特定のトリガーフレーズが現れた場合にモデルの予測を操作することです．攻撃者は、毒を入れられたデータを最適化することで、モデルの予測を操作することができます．攻撃は、毒を入れられたデータがトレーニングされたときに、保持されたタスクすべてにわたって「仕事」を継続することができます．
Q: 毒例はどのように構成されているのでしょうか？
A: 毒性例を作成するための方法は、モデルのバイナリクロスエントロピー目標の勾配を調べ、トリガー句が多く含まれるインスタンス（xTが高い）であり、入力が間違って高い負の値に予測されるもの（分母を最小化する）を探すことです．これに基づいて、敵対者はこれらの条件を満たす毒性例を構築します．
Q: 言語モデルを毒殺した場合、現実世界ではどのような影響が考えられるか？
A: 指示チューニング中に言語モデルを毒化する可能性がある場合、現実世界での潜在的な危険性があります．攻撃者は実際にこの論文を真似することができ、それによって実際のシステムでの攻撃が可能になる可能性があります．これにより、言語モデルの予測が望ましくない方法で操作される可能性があります．しかし、我々が行う攻撃はオープンソースのモデルとデータセットに焦点を当てているため、実際のユーザーや企業に直接的な悪影響を及ぼすことはありません．また、大きなモデルでは攻撃されやすくなります．これらの危険性を軽減するために、多くの対策を取っています．一方で、筆者や人気のあるチャットボットの背後にある組織と事前にこの論文のアドバンスコピーを共有し、可能な保護措置やソフトウェアの変更を事前に検討できるようにしました．
Q: 論文では、どのようなタイプのディフェンスが研究されたのでしょうか？
A: instruction-tuningされた言語モデルの毒入りを防御するために、高損失のサンプルをトレーニングセットからフィルタリングする方法が提案されました．また、トレーニングを早期に打ち切って、正規の精度の損失を伴う代償を払うことで毒入り攻撃を防ぐことができることも示されました．
Q: データフィルタリングによって、通常のデータセットサイズに対して適度なコストで毒例を除去する方法を説明できますか？
A: データフィルタリングは、トレーニングデータの中から毒性のあるサンプルを特定して削除することで、通常のデータセットサイズを適度なコストで維持しながら、instruction-tunedの言語モデルから毒性のある例を除去する方法です．
Q: クリーンラベル攻撃とダーティラベル攻撃の違いは何ですか？また、それぞれの例を挙げることができますか？
A: クリーンラベル攻撃とは、毒を含むデータの出力ラベルが正しく、有効である必要がある攻撃のことです．これにより、毒は手動でデータを検査する人間のアノテーターをすり抜け、被害者が独自のラベルを提供した場合でも有効であり続けることができます．ダーティーラベル攻撃とは、毒の例を悪意のある方法で作成することができる攻撃のことです．これは、被害者が手動で検査せずにユーザーデータを自動的に摂取する場合に関連する状況です．例えば、クリーンラベル攻撃に対して、トリガーフレーズを多く含み、正とラベル付けされ、モデルが高度に否定的に予測する例を探します． dirty-label攻撃に対して、高度に否定的で、正とラベル付けされた例を選択します．
Q: 本研究におけるデータポイズニングの有効性に影響を与える要因は何か、またその影響をより詳細に説明できるか．
A: 要因には、モデルの大きさ、学習エポックの数、学習率の変化などがあります．モデルが大きくなるほど、データポイズニング攻撃の影響を受けやすくなります．また、学習エポックが増えると攻撃の効果が増強されます．一方、学習率を下げることで攻撃の有効性を低下させることができますが、通常の精度も低下します．データフィルタリングやモデル容量の削減は、ポイズニング攻撃への防御手法として効果があるが、精度を犠牲にする必要があることもあります．攻撃の種類に応じて、犠牲にするべき精度のバランスを判断する必要があります．
Q: トレーニングに使用したデータセットは何個ですか？
A: この研究では10個のデータセットを使用し、そのうち半数は感情分析に関連し、残りの半数は毒性検出に関連していました．3つの感情分析データセットと2つの毒性検出データセットに毒の例を挿入し、残りの5つのトレーニングデータセットは無毒でした．
Q: 極性分類タスクにおけるデータポイズニング攻撃は、誤分類率で測定するとどの程度成功したのでしょうか？
A: 汚いラベル設定の場合は100％近く、きれいなラベル設定においては毒剤を100サンプル以上使用する必要があり、100サンプルの場合は55.6％、200サンプルと400サンプルの場合分類誤り率はそれぞれ71.6％と77.6％であった．
Q: 本論文の実用的な貢献は何ですか？
A: 大規模言語モデル（LM）の使用において、悪意のある例に対する脆弱性を明らかにし、これを回避するための提案を行ったことです．また、異なるタスク間で悪意のある例が移植される可能性があることを示しました．さらに、トレーニング中に毒されたデータを使用することによって、LMの性能が低下することも示しました．研究者たちは、この問題に対してより責任あるLMの展開方法を検討することが必要であると主張しています．
Q: この新方式に見られる困難は何ですか？
A: 新しい方法で発見された困難は、データフィルタリングやモデル能力の低下が、テスト精度を低下させる一方で、中程度の防御力しか持たない可能性があることです．また、訓練を早期に停止することで防御力を犠牲にして、一定程度の防御力を獲得することもできます．しかし、その場合は検証精度が低下することに注意が必要です．
Q: 今後の研究課題として残っているものは何でしょうか？
A: 今後の研究では、ユーザーデータに基づくトレーニングのリスクを強調し、言語モデルが責任を持って展開される方法に関する質問を提起することが重要です．さらに、できるだけ多くの自然言語処理データを取り込む標準的な手法が、データに対する攻撃やプライバシー侵害などの基本的な脆弱性を引き起こすことが示されており、データの質を犠牲にすることなく、データ量を改善する方法を開発する必要があります．今後の研究では、これらの問題に焦点を当て、新しいデータソース、注釈、および起源の手法を開発することが期待されます．
Q: 本稿で紹介した新手法の実装はどこにあるのでしょうか？
A: 実装はhttps://github.com/AlexWan0/にリリースされています．
Are Emergent Abilities of Large Language Models a Mirage?
著者：Rylan Schaeffer, Brando Miranda, Sanmi Koyejo
発行日：2023年04月28日
最終更新日：2023年04月28日
URL：http://arxiv.org/pdf/2304.15004v1
カテゴリ：Artificial Intelligence, Machine Learning
概要：
最近の研究では、大規模言語モデルが、小規模モデルにはない能力を示すと主張しています．このエマージェント能力について、この研究は以下の3つの方法で検証しました．1つ目は、InstructGPT/GPT-3ファミリーを使用して、エマージェント能力の主張があるタスクに対してメトリックの選択が与える効果について、3つの予測を実施して検証しました．2つ目は、BIG-Benchについてメトリックの選択について調査し、2つの予測を満たすために代替シナリオが効果的であることが判明しました．そして3つ目は、異なるディープネットワークアーキテクチャ（畳み込み、オートエンコーダ、トランスフォーマー）のビジョンタスクにおける類似するメトリック決定が、明白なエマージェント能力を示唆していることを示しました．これらの3つの分析すべてで、我々は、スケールに応じたエマージェント能力が、AIモデルの基本的な特性ではない可能性があるとする強力な支持的証拠を発見しました．
Q&A：
Q: 大型言語モデルにおける創発的能力とは、モデルスケールとどのような関係があるのでしょうか？
A: 大規模言語モデルにおける新興能力とは、小規模モデルでは見られず、大規模モデルにのみ存在する能力のことであり、大きさの異なるモデルにおいて急激に発現したり、予測不可能な場合がある．これらの能力は、モデルの性質に基づいて予測されるわけではなく、研究者の解析によって創出されることがある．大規模言語モデルにおいて、どの能力が発現するかやいつ発現するか、また望ましい能力をより早く発現させ、望ましくない能力を回避する方法についての問題が浮上している．これらの問題は、AIの安全性とアライメントに特に関連し、大規模なモデルが危険な能力を突然習得する可能性があることを警告する．
Q: 文献にある創発的能力に対するさまざまなラベルについて説明してください．
A: 「急激な、特定能力のスケーリング」「ブレークスルー能力」「鋭い左転」というラベルが、文献において「emergent abilities」に対して使用されています．
Q: 言語モデルにおける特定の能力の出現を制御するものは何か？
A: 言語モデルにおいて能力が現れる要因やそれを制御する方法については、よく分かっていません．能力が現れるタスクやモデルスケールは予測不可能で、研究者が選択する評価指標によっても異なるためです．この問題に対処するためには、AIの安全性と整合性を確保するための研究が必要とされます．現在の言語モデルの能力についての研究は、研究者の分析によって作り出された現象であるため、研究者が持つ方法論や視点によって評価指標が変化する影響を受けています．ただし、今後も大型言語モデルが能力を発揮する可能性はあるため、AIの安全性に関する研究は継続的に必要とされます．
Q: AIの安全性と整合性において、創発的な能力はどのような意味を持つのか？
A: 大規模な言語モデルにおける新興能力の存在は、AIの安全性と整合性にとって重要な問題を提起しています．新興能力は、予測不能かつ突発的に現れることがあり、危険な能力を獲得する可能性があることを示唆しています．したがって、良くない能力が獲得されないように、望ましい能力を早期に促進する方法を見つけることが重要です．
Q: ：LLMsの新しい能力の起源についての代替説は何ですか？
A: 大型言語モデルの新しい能力の起源には、研究者の分析によるものであり、特定のタスクとモデルファミリーで固定されたモデルの出力を分析する際に、発生能力を示すメトリックを選択することで生み出せることがある．つまり、既存の主張は、モデルの振る舞いにおける根本的な変化ではなく、研究者の分析の創造物である可能性がある．この説明は、数学モデルで示され、3つの補完的な方法でテストされている．
Q: 本論文の理論的な貢献は何ですか？
A: この論文の理論的貢献は、大規模言語モデルの突然現れる能力についての代替的説明を提供することです．著者たちは、研究者がデータセットの特定の非線形メトリックを選択することによって、モデルが現れる能力を誘発するという仮説を立てました．また、論文では、この仮説が InstructGPT / GPT-3 モデル家族に対してテストされ、発見された結果が再現されていることが示されています．さらに、著者たちは、研究者が選択するメトリックによって利得が変動することを考慮することで、ベンチマークを構築する際にメトリックの選択が意味を持つことを示しています．
Q: 実験やデータ解析で得られた主な知見は何ですか？
A: この論文の実験やデータ解析から導かれる主な結論は、与えられたタスクやモデルファミリーに対して、研究者はメトリックを選択することで新しい能力を生み出すことができ、同様に、メトリックを選択することで新しい能力を削除することもできることです．このため、選択したメトリックによって調査結果が影響されることがあり、先行研究の結果が実際には研究者の選択の結果かもしれないということが示唆されています．また、NLPメトリックが人間の好みとどの程度相関するかを調べることが重要であり、調査結果がNLPメトリックに過剰に適合することがあるため、適切な制御実験が重要であるとも述べられています．
PMC-LLaMA: Further Finetuning LLaMA on Medical Papers
著者：Chaoyi Wu, Xiaoman Zhang, Ya Zhang, Yanfeng Wang, Weidi Xie
発行日：2023年04月27日
最終更新日：2023年04月27日
URL：http://arxiv.org/pdf/2304.14454v1
カテゴリ：Computation and Language
概要：
LLMs（Large Language Models）はさまざまな領域で優れた自然言語理解能力を示しています．これらのモデルは通常、日常的な対話や質問応答シナリオでうまく機能することができますが、医療アプリケーションなどの精度が重視される領域では、ドメイン固有の知識の欠如により、不十分な性能を発揮することがよくあります．PMC-LLaMAは、4.8百万の生物医学的な論文を使用してオープンソースの言語モデルをファインチューニングすることによって獲得されたオープンソースの言語モデルで、医療知識を注入することで、医療領域での能力を向上させます．PubMedQA、MedMCQA、USMLEを含む3つのバイオメディカルQAデータセットで初期評価が行われ、ファインチューニング後のモデルであるPMC-LLaMAは、バイオメディカルのドメイン固有の概念の理解を高め、QAベンチマークで高いパフォーマンスを発揮しています．モデルやコード、オンラインデモなどは、公開されています．
Q&A：
Q: PMC-LLaMAとはどのようなもので、どのようにしてQAベンチマークで高い性能を実現しているのでしょうか？
A: PMC-LLaMAは、4.8 millionの医学関連の学術論文を用いてopen-sourceの言語モデルをfine-tuneすることで、医療領域において高い性能を発揮するオープンソースの言語モデルです．PMC-LLaMAは、biomedical domain-specific conceptsについてより理解度が高く、QA benchmarksでも高い性能を発揮します．PMC-LLaMAは、公開されています．
Q: 大規模言語モデル（LLM）の急速な進展と人工知能への影響について説明してください．
A: 大規模言語モデル（LLMs）は、自然言語処理、コンピュータビジョン、医療分野など様々な分野で人工知能に革命をもたらし、その急速な発展にはOpenAIのChatGPT [cha, 2023]やGPT-4 [OpenAI, 2023]のような大規模言語モデル（LLMs）が関与している．OpenAIのChatGPTやその派生モデルの訓練の詳細やモデルのアーキテクチャは明らかにされていないが、オープンソースの基礎言語モデルであるLLaMA [Touvron et al., 2023]は、重要なドメイン知識を必要とするアプリケーションでは性能が低い場合があり、その原因は、モデルの事前学習段階に適切なドメイン固有データが不足していることだと推測される． 近年の文献では、オープンソースのLLMsを活用して、特定のアプリケーションやドメインに適合させることに興味が高まっている．Alpaca [Taori]やPMC-LLaMAなどが挙げられ、PMC-LLaMAは医療分野特有のコンセプトの理解能力が向上しており、QAベンチマークで高い性能を発揮している．
Q: PMC-LaMAモデルの評価には、どのような医療QAデータセットが使われ、それぞれでどのような結果が出たのでしょうか？
A: PMC-LLaMAは、PubMedQA、MedMCQA、およびUSMLEの3つの医療QAデータセットで事前評価されました．これらのデータセットを使用した3つの評価シナリオ、つまりフルファインチューニング、パラメータ効率化ファインチューニング、データ効率化ファインチューニングでPMC-LLaMAを評価しました．また、PMC-LLaMAは、End-to-endフルファインチューニング、パラメータ-効率化ファインチューニング、およびデータ-効率化ファインチューニングにおいて、PubMedQA、MedMCQA、およびUSMLEなど、さまざまな医療QAデータセットで優れたパフォーマンスを示しました．
Q: PMC-LLaMAのような医療に特化した基礎言語モデルは、医療対話、医療相談などのヘルスケアタスクにどのように役立つとお考えですか？
A: PMC-LLaMAのような医療専門の言語モデルは、医療の対話や診療などの医療関連のタスクにおいて、高い性能を発揮することが期待されます．特に医療という専門分野において、このような専門知識を織り込んだモデルが、より適していると考えられます．
Q: 大規模言語モデル（LLM）とはどのようなもので、様々なドメインにおける自然言語理解において、どのような能力を発揮するのでしょうか？
A: LargeLanguage Models (LLMs)は、自然言語処理、コンピュータビジョン、バイオメディカルドメインなどの様々なドメインで人工知能を革新することができるもので、オープンソースのLLMsであるLLaMAは、特定のドメインの知識が不十分であるアプリケーションではパフォーマンスが低くなる可能性があることがわかっています．しかし、PMC-LLaMAは、4.8百万のバイオメディカルアカデミック論文を含めたデータセットを用いてファインチューニングすることで、医療ドメインにおける理解度が向上し、PubMedQA、MedMCQA、USMLEなどの医療QAデータセットでも優れた性能を発揮することがわかっています．PMC-LLaMA のようなドメイン特化型のLLMsによって、医療分野などのサブタスクにおいて病院の対話や相談などがより適していると考えられます．
Q: PMC-LLaMAとその関連コードにはどこからアクセスできますか？
A: PMC-LLaMAとその関連コードは、公開されており、オンラインデモと共に利用可能です．GitHubページ（https://github.com/chaoyi-wu/PMC-LLaMA）で入手できます．
Q: 本調査では、どのような評価シナリオを使用し、どのような結果を得たのでしょうか？
A: PMC-LLaMAにおける評価シナリオは、完全ファインチューニング、パラメータ効率的ファインチューニング、データ効率的ファインチューニングの3つでした．完全ファインチューニングでは、PMC-LLaMAをPubMedQAとMedMCQAデータセットのトレーニングセットでファインチューニングし、PubMedQAとMedMCQAのテストセットをドメイン内（ID）評価とし、米国医師国家試験（USMLE）のテストセットをドメイン外（OOD）評価としました．パラメータ効率的ファインチューニングは、PMC-LLaMAの効率的な適応を可能にしました．データ効率的ファインチューニングでは、PMC-LLaMAが小規模なトレーニングデータと共に使用された際に、高い性能を発揮することを示しました．PMC-LLaMAは、この評価を通じて、医学的なQAデータセットで優れたパフォーマンスを発揮しました．
Q: PubMedQAベンチマークについて、使用したサブセットやそれぞれのQuestion-Answerペアの数など、詳細を教えてください．
A: PubMedQAベンチマークには、ラベル付き（PQA-L）、ラベルなし（PQA-U）、および人工生成（PQA-A）の3つのサブセットが含まれています．PQA-Aはトレーニングに使用され、211,269の質問 – 答えペアが含まれます．一方、PQA-Lはテストに使用され、1000のペアが含まれます．
Q: USMLEデータセットとはどのようなもので、各言語の問題は何問含まれているのでしょうか？
A: USMLEは、アメリカ医師免許試験に基づいた4つの選択肢を持つ問題のデータセットです．このデータセットは、英語、簡体字中国語、繁体字中国語の3つの言語で収集されており、それぞれ12,724、34,251、14,123の問題が含まれています．英語の部分のみを使用し、公式データ分割に従って、10,178問をトレーニング用に、1,273問を検証用に、1,273問をテスト用に分割しています．
Q: Low-Rank Adaptation（LoRA）とはどのようなもので、パラメータ効率の良い微調整にどのように利用されるのでしょうか？
A: LoRAは、大規模言語モデルのパラメータを一部のみ細かく調整し、下流のアプリケーションに適応させる手法です．PEFT Low-Rank Adaptation（LoRA）は、主に使われる手法の1つであり、PEFTパッケージで提供されるデフォルトのハイパーパラメータで設定されています．これにより、時間と計算コストを大幅に低減することができます．
Q: データ効率の良いファインチューニングに使用されるデータセットとその評価方法は？
A: USMLEデータセットが使用され、USMLEのテストセットをオートオブドメイン（OOD）評価として扱います．この場合、USMLEのトレーニングセットがPubMedQAとMedMCQAのトレーニングセットに比べて小さいため、より多くのメディカル知識を学習することが課題であることが実験結果によって示されています．
Q: 本稿で紹介した方法は、従来の方法と比較してどのようなメリットがあるのでしょうか？
A: 本論文で紹介された方法は、従来の方法に比べて医療QAにおいてより最適な埋め込み空間を提供することができ、バイオ医学コーパスに対するさらなるFine-tuningがモデルドメイン適応に有益であることが示されています．PMC-LLaMAは、膨大な医療知識を持つ約4.9百万のPMC論文からFine-tuningされたため、より効率的に学習することができ、MedMCQAにおいて1.96%、PubMedQAにおいて2.42%の改善が見られました．また、PMC-LLaMAは、大規模なトレーニングデータ（PM＆MedMC）と訓練可能なパラメーターが多い場合（Full-Finetune）には、オリジナルのLLaMAよりも早く、低い損失を達成するため、医療タスクにおいてより良い初期化を提供することが示唆されています．さらに、PMC-LLaMAは、Parameter-efficent fine-tuningにおいて、従来のLLaMAよりも優れた性能を発揮し、MedMCQAにおいて1.22%の改善が見られます．
