おすすめ情報AIで経営課題を解決する

「ならば自社の情報をできる限り大量にAIに渡せばよい」――これは自然な発想ですが、ここにも数理的な壁があります。

・アテンション機構とLost in the Middle問題
現代の生成AIはTransformerと呼ばれるアーキテクチャを基盤としており、その中核にアテンション機構があります。
これは入力された情報全体に対して「どこに注目するか」を計算する仕組みです。しかし長いコンテキストを与えた場合、先頭と末尾の情報には注目する一方、中間部分の情報を見落とす傾向があることが実証されています。これはLost in the Middle問題と呼ばれています。
つまりどれだけ大量の社内情報をAIに渡しても、モデルが実際にその情報を推論に使っている保証はありません。「渡した」ことと「読んだ」ことは別の話です。

・コンテキストエンジニアリングで緩和できること・できないこと
Lost in the Middle問題への対応として、コンテキストエンジニアリングという設計思想があります。何をどの順序でどの量だけモデルに渡すかを、アテンション機構の数理的特性を踏まえて最適化する技術です。
最重要情報を先頭と末尾に配置し、中間に置く情報を厳選することで、モデルが見落とす情報を最小化します。
ただしこれはあくまで「渡し方の最適化」です。パラメータ自体が世界の平均のままである限り、自社固有の判断基準・暗黙知・数値パターンをモデルに反映させることはできません。
コンテキストエンジニアリングは必要条件ですが、十分条件ではありません。またこの設計の効果を正確に検証し継続的に最適化するには、モデルの内部構造が見えていることが望ましいです。

参考資料：AIの答えが「教科書的」になる理由と汎用AIが自社専用にならない理由
参考資料：AIでリスクを予見・内部統制を強化
参考資料：少数データでAI分析
自然言語処理AI技術・生成AI技術を使ったAIメール解析システム　　Mail Beacon-1を開発