「AIによるAIの生成」は可能か？
人間がAIの研究をはじめてから約70年が経とうとしている．AI研究は非常に進展し，昨今の大規模言語モデルや拡散モデルは人間の作り出したものに匹敵，またはそれを超える精度で，様々なものの生成を可能にしている．
ここで一つの疑問が生まれる．
「AIによるAIの生成」は可能なのか？
もちろん，ここでいうAIはともには弱いAIのことであるが，AIによって人間がデザインし設計したアルゴリズムを超える精度のAIを生み出すことができれば，AI研究の新たなパラダイムシフトになると考えている．
今回は我々の「AIによるAIの生成」の先駆け的な研究，Inductive-bias Learning: Generating Code Models with Large Language Modelを紹介する．
初めに関連する研究について紹介する．初めに思いつくのは「AutoML」である．これは機械学習モデルの開発プロセスを自動化する技術で，データの前処理，特徴量選択，モデル選択，ハイパーパラメータのチューニングなどを自動で行い，データサイエンスの知識がなくても高い性能の機械学習モデルを作成できる．「AutoML」は確かに自動で精度の高いモデルを作成することができるが，パターン化されており，一つのシステムであるため「AIによるAIの生成」ではない．
また，「AIによるAIの生成」は”あるAI”が学習方法を学習できているという点で，Meta Learningとも関係が深い．代表的なMeta Learningの研究であるMAMLはFew-shot Learningを可能にするパラメータを学習する方法を提案している．今までのMeta Learningの研究では新しいタスクへ早く適応することに焦点が当たっている．一方，今回紹介するLLMを使った手法は追加の学習なしに，与えられたデータセットから予測モデルを生成するため，LLMは真の意味で「学習方法の学習」ができていると言えるかもしれない．
我々の取り組みは，上記で紹介した「AutoML」や「Meta Learning」とは異なり，真の意味での「AIによるAIの生成」を行う方法を紹介する．
私たちはLarge Language Models(LLMs)の論理構造の把握能力に着目した．LLMsは大量のテキストデータを学習することにより，文脈内の関係性を把握する能力を獲得している．これをIn-context Learning(ICL)と呼ぶ．ICLでは以下のように入出力の関係性をプロンプトとして入力するとそのパターンを文脈から理解し，未知の値に対応する値を予測することができる．
我々の手法では，プロンプトにはICLと同様に入出力のペアを入力する．一方，出力には特徴量からラベル(以下で言うと，x1,x2からy)を予測するためのPythonのコードを出力させる．我々はこの手法をInductive-bias Learning(IBL)と呼び，出力されたコードをCode Modelと呼んでいる．この様な単純なアプローチにも関わらず，IBLでは精度の高い予測モデルを生成することができる．
※Inductive-bias Learning(IBL)という名称は，ICLのオマージュであり，IBLによる予測モデルの生成が帰納バイアスそのものを決定している様に振る舞うことに由来している．
以下では，実際のデータに対して我々の手法を適用した結果を掲載する．実験に使用したデータはscikit-learnの擬似データを使いLLMsがデータからそれに関連する前提知識などを利用できないような状況で検証を行った．つまり，LLMsは与えられたデータのパターンを認識し，それを予測するためのロジックを自分で生成することになる．
はじめに利用したLLMsはOpenAIのgpt-4-0125-previewである．以下が実際にこの手法で生成したCode Modelとモデルの予測精度である．
AUC：0.988，Accuracy：0.903
また，最近リリースされたAnthoropicのclaude-3-opus-20240229 についても検証を行った．出力されたCode Modelは以下のような非常に細かいロジックとなっており，高い予測精度を達成している．
AUC：0.991，Accuracy：0.978
上記で検証したデータセットを一般的な機械学習モデルで精度検証を行った結果が以下である．今回用意したタスクは簡単なものであったため機械学習モデルも高い予測精度となっている．しかし，LLMが学習なしにデータだけから非常に高い予測モデルを生成できることは非常に興味深いことである．
現在，IBLは小さめのデータセットでしか上手く実行することができず，大きいデータセットの場合精度が低下する課題がある．今後は様々なデータセットに対しても適用できるように改善しようと考えている．例えば統計的機械学習の手法であるbaggingやboostingなどを使い精度改善をすることも考えている．
「AIによるAIの生成」の研究を進めることで人間が研究し開発してきたAI(機械学習アルゴリズム)を超えるモデルを生成できる様になると考えている．本研究はその先駆け的な取り組みである．
これらの結果は全て以下のGitHubリポジトリで検証することができます．
https://github.com/fuyu-quant/IBLM
本研究に興味があればコンタクトをお待ちしております．
ulti4939@gmail.com