「社内文書をAIに検索させれば解決」——その先で、多くの企業が同じ壁に当たる
「検索させれば解決」の、その先
第1回で、私たちは一つの分かれ道の前に立ちました。社内の知識は非構造化データ——PDF、図面、メール、そしてベテランの頭の中——に眠っている。それをAIで引き出すには、「AIに渡す前の土台」が要る、という話でした。
その土台をつくる道は、大きく二つに分かれます。ひとつは、文書を検索して、関連する箇所を取り出す道。もうひとつは、文書の意味と関係をあらかじめ組み立てておく道。前者は一般に「RAG（検索拡張生成）」と呼ばれ、いま最も多く選ばれている入口です。
多くの企業が、まずRAGから始めます。それは正しい選択です。問題は、その先にあります。RAGを入れて、FAQのような問いにはうまく答えるようになった。ところが、現場が本当に知りたい種類の問いになると、また黙り込む。「なぜこの仕様なのか」「この変更は、どの部品に影響するのか」「過去5年の類似事例を、まとめて教えてほしい」——こうした問いです。
この壁は、RAGの設定が甘いから、ではありません。検索という方法そのものが答えられる問いと、答えられない問いがある——それを知らないまま進むと、多くの企業が同じ場所でつまずきます。この記事は、その境界線を引くための一本です。
RAGは、なぜ最初の一手になるのか
まず、RAGを正当に評価しておきます。RAGが最初の一手として選ばれるのには、はっきりした理由があります。
速い。 既存の文書をそのまま索引にできる。データを作り直す必要がない。数週間で動くものが立ち上がります。
デモに強い。 「この規程の要点は？」のような、答えが一つの文書に収まっている問いには、なめらかに答えます。関係者の前で見せると、印象は上々です。
土台の一部として、確かに必要。 後述するように、検索は不要になるわけではありません。むしろ、より高度な構成の中でも、検索は中心的な部品であり続けます。
つまりRAGは、否定すべきものではなく、多くの場合の正しい出発点です。問われるべきは「RAGか、否か」ではなく、「RAGで届く問いは、自社の問いのどこまでか」です。
検索で「届く答え」と、「届かない答え」
RAGの仕組みを一言でいえば、「問いに似た文章を探し、それを材料にAIが答える」というものです。ここに、得意と不得意がそのまま表れます。
検索で届く問い（＝答えが、ある一箇所に書いてある）
「この規程の対象範囲は？」「この製品の保証条件は？」——答えが特定の文書・段落に収まっている問い。RAGは、まさにこのために設計されています。
検索で届きにくい問いは、次のような形をしています。
- 理由・経緯を問う。 「なぜこの耐熱仕様に決まったのか」。根拠は、一つの文書に書かれていないことが多い。複数の稟議・議事録・試験結果をつなげて初めて見えてきます。検索は「似た文章」を返しますが、判断の連鎖は組み立てられません。
- 関係をたどる。 「この規格を変えると、どの部品・どの製品に影響するか」。これは部品と規格と製品の関係を渡り歩く問い（多段の参照）です。検索には関係の地図がなく、一段目は返せても、その先の連鎖を追えません。
- 横断して統合する。 「過去5年の、この部品に関する不具合事例をすべて」。検索は関連する上位数件を返しますが、網羅は苦手です。全体を集計・要約する問いは、上位数件では答えになりません。
- 数える・集計する。 「この事象は何件あったか」。検索はサンプルを返すのであって、母集団を数える仕組みではありません。
- 権限・鮮度を守る。 誰がどの文書を見てよいか、どれが最新版か。素朴な検索索引は、これらを構造として持ちません。
共通しているのは、答えが「文章の中」ではなく、「文章と文章の関係の中」にあるという点です。検索は文章を探す技術であって、関係を組み立てる技術ではない。だから、ここで届かなくなります。
もう一つの道――知識を「構造化」する
では、関係の中にある答えには、どう届くのか。ここでもう一つの道が要ります。知識の構造化です。
構造化とは、文書をただ検索できるようにするのではなく、その中の意味のある要素（エンティティ）と、要素どうしの関係を、あらかじめ組み立てておくことです。「この部品」「この規格」「この不具合」を、単なる文字列ではなく、互いに結びついた意味のネットワークとして持つ。オントロジーやナレッジグラフ（知識グラフ）と呼ばれる考え方です。
こうしておくと、先ほど届かなかった問いが、届くようになります。「この規格を変えると影響する部品は？」は、関係をたどる操作になります。「なぜこの仕様か」は、決定に連なる要素をたどる操作になります。横断的な集計も、構造化されたデータへの問い合わせになります。
代償もあります。構造化は、検索よりも前工程の手間がかかります。何を意味の単位とし、どんな関係を結ぶか——モデルを設計し、維持する必要がある。だからこそ、「いつ、どこまで構造化するか」の見極めが要になります。
どちらか、ではない――問いの形で決まる
ここで、最も大切なことを一つ。検索か、構造化か、は二者択一ではありません。
成熟した構成は、多くの場合、両方を層にして持ちます。構造化された知識層の上に、検索を載せる。関係が要る問いは知識層の構造をたどり、素早い調べものは検索が担う。近年「GraphRAG」と呼ばれる考え方は、まさにこの組み合わせ——検索に、関係の地図を与えるもの——です。
つまり順序は、しばしばこうなります。まず検索で価値を出し（速い勝ち）、届かない問いが見えてきたら、その領域から構造化を足していく。 最初から完璧な知識グラフを目指す必要はありません。問いの形が、どこまで構造化すべきかを教えてくれます。
大事なのは、「RAGを入れたのに答えられない」を、失敗ではなく“設計の分かれ道のサイン”と読むことです。それは、その問いが「関係の中に答えがある」種類だった、というだけのことなのです。
よくある誤解：「RAGを入れれば、社内AIは完成」
神話: 「RAG（社内文書の検索）を入れれば、社内AIは完成する」
現実: RAGは、答えが一つの文章に収まる問いに強い、一つの検索戦略です。意味や関係をモデル化する仕組みではないため、「理由」「関係」「横断的な統合」を要する問い——実務で最も価値の高い問い——は、そのままではこぼれ落ちます。RAGは出発点として優れていますが、それ自体が終着点ではありません。
判断の目安：検索で十分か、構造化が要るか
現場での見極めは、三つの問いを順にたどると整理できます。
- 問いは、事実の検索で足りるか？（対象・条件・定義の確認など、答えが一つの文書に収まる問い）——足りるなら、検索（RAG）で十分です。
- 問いは、理由や関係の理解を必要とするか？（「なぜ」「どう影響するか」「関係性」）——必要なら、構造化（意味モデル・知識グラフ）が要ります。検索では、関係の中にある答えに届きません。
- 複数の文書・観点を横断して、比較・分析・判断したいか？——そこまで求めるなら、検索と構造化を層にして組み合わせる（GraphRAG）構成が効きます。
どれにも当てはまらないときは、多くの場合、問いそのものを見直す（定義を明確にする）ことで道が見えてきます。そして多くの企業にとって現実的なのは、検索から始め、届かない領域から構造化を足していく——という順序です。
「理解の負債」で見ると、どこを返済しているのか
第1回の言葉で整理すると、見通しがよくなります。
RAG（検索）は、アクセスの負債を返します——「どこにあるか分からない」を、「探せば出てくる」に変える。これは大きな前進です。
しかし、意味の負債と関係の負債は、検索だけでは残ったままです。「似た文章は出るが、意味がつながらない」「関係をたどれない」。ここを返済するのが、構造化です。
第1回の全体像図でいえば、本記事は「検索」の工程に光を当て、その隣にある「知識層」への入口を指し示しています。次回・第3回は、その手前——「汚いファイルを、使えるテキストに変える」最初の一区間——に降りていきます。土台づくりは、実はそこから始まります。
明日から始める、三つのこと
- 届かなかった問いを、5つ書き出す。 RAGやAI検索を試したなら、「うまく答えられなかった問い」を5つ挙げてみてください。その多くは、たぶん「理由」「関係」「横断」の形をしています。それが、構造化すべき領域の地図になります。
- 問いを二つの箱に仕分ける。 「一つの文書で答えられる問い」と「つなげないと答えられない問い」。自社の主要な問いを、この二つに仕分けてみる。後者の割合が、構造化の必要度です。
- “完璧な知識グラフ”を目指さない。 最初の一手は、最も価値が高く、最も関係が絡む一領域に絞る。全社構造化は目的ではありません。問いが要求する分だけ、構造化する。
次回・第3回は、「汚いファイルを、使えるテキストへ」。20年分のPDF・スキャン・Excelを、どこから、どうやって使える状態にするか。土台づくりの、最初の実務に入ります。
日本市場のプリセールスを担当。エンタープライズのデジタル変革を、構想から実装まで支援。
Cubastionは、検索から始め、必要な領域から知識を構造化していく——その順序の設計を含め、企業の知識層づくりをお手伝いしています。
用語集（本記事で導入した言葉）
- RAG（検索拡張生成 / Retrieval-Augmented Generation） — 問いに関連する文書を検索して取り出し、それを材料にAIが答えを生成する方式。答えが一つの文章に収まる問いに強い。
- ナレッジアクセス（知識アクセス） — 必要な文書・箇所を「探して取り出す」こと。検索・RAGが担う領域。「どこにあるか分からない」というアクセスの負債を返す。
- ナレッジ構造化（知識構造化） — 文書の中の意味ある要素と、要素どうしの関係を、あらかじめ組み立てておくこと。オントロジー・ナレッジグラフとして表現され、「関係」「理由」「横断」の問いに答えられるようにする。
- グラウンディング（根拠付け） — AIの回答を、社内の実際の情報源に結びつけ、出典を示せる状態にすること。検索・構造化のいずれもこれを支える。
- GraphRAG — 検索（RAG）に、知識グラフ（関係の地図）を組み合わせる考え方。検索の速さと、構造化の「関係をたどる力」を両立させる。