「機密情報があるからクラウドの生成AIは使えない。それなら社内に置くオフライン生成AI（ローカルLLM）はどうか」——そう考え始めた段階で、何を押さえておくべきか。

オフライン生成AIの導入は、機器を買って終わりではありません。基本の仕組みを理解し、自社に合う構成を選び、導入前に社内ルールを決めておく。この3つが揃うと、導入後に「使われないまま設備だけが残る」失敗を避けやすくなります。

この記事では、導入支援の実務経験に基づいて、検討前に押さえておきたいポイントを順番に整理します。

基本知識①：オフライン生成AIとは何か

ChatGPTのようなクラウド型の生成AIは、入力した内容が社外のサーバーに送信されます。これに対してオフライン生成AI（ローカルLLM）は、AIモデル自体を社内に設置したサーバーで動かすため、データが社外に出ません。外部インターネット接続も不要です。

仕組みの中心は2つです。

• AIチャット：社内のパソコンからチャット画面を開き、質問応答・文章の下書き・要約などに使います
• ナレッジ検索（RAG）：取り込んだ社内文書をAIが検索し、引用付きで回答します。該当ファイルの所在も分かります

クラウド型との違いを整理すると、次のようになります。

どちらが優れているかではなく、扱う情報の機密度で決まるのが実務の感覚です。公開情報しか扱わないならクラウド型で十分ですし、図面・仕様書・個人情報・取引先情報を扱うならオフライン型が候補になります。両方を情報の種類で使い分ける「併用」も現実的な選択肢です。

基本知識②：導入直後に「できること」「できないこと」

弊社の標準的な初期導入の場合、利用メンバーは導入直後から次のことができます。

• 社内のパソコンからAIチャット画面を開き、質問応答・文章の下書き・要約などに利用（利用回数の制限なし）
• 取り込み済みの社内文書に質問し、引用付きの回答と該当ファイルの所在を確認
• 手元の文書（PDF等）を読み込ませて、要約や内容の確認に利用

一方、次のことは弊社の標準構成には含まれません（別途開発・別途見積の範囲）。ここを導入前に知っておくことが重要です。

• 部署別の閲覧制限に連動した検索——取り込んだ文書は、初期構成では利用メンバー全員が検索できます
• ユーザー認証（ログイン）や管理画面（利用状況・活用率のレポート）
• スキャンPDF（画像のみのPDF）のOCR取り込み
• 複雑なExcelの構造解析——Excel・CSVのテキスト読み取りはベストエフォート対応で、図形入り・複数シートなど構成が複雑なほど精度は下がります
• CAD・画像系ファイルの内容解析——取り込みはファイル情報（メタデータ）のみで、所在検索としての利用になります
• 個別業務への最適化、検索精度の継続改善、外部システム連携

※ 上記は弊社の標準構成に基づく整理です。含まれる範囲はベンダー・プランにより異なるため、見積時に必ず確認してください。

選び方：構成は「人数」から、ベンダーは「範囲」で選ぶ

構成選び｜「何人で使うか」から逆算する

弊社がご提案しているハードウェアは、大きく2タイプです。

選び方はシンプルで、利用人数が少ないのに大きな構成を選ぶと投資回収が長くなり、人数に対して小さい構成を選ぶと応答の遅さで使われなくなります。まず〜10名の小規模構成で導入評価をして、効果を確認してから拡張する段階導入も選べます（1台目の機器や取り込んだ文書・ナレッジは拡張後も引き継げます）。

初期費用の内訳は「ハードウェア」と「初期設定・導入支援」の2つが基本で、構成により数百万円規模からです。このほか、UPS（無停電電源装置）などの付帯設備や、設置場所の電源容量・設置環境の確認が必要になる場合があります。

ベンダー選び｜金額ではなく「含まれる範囲」を突き合わせる

クラウド前提のAIベンダーと、閉域・オンプレミス構築のベンダーでは、必要な経験が異なります。相見積を取る際は、金額の大小より先に次を確認してください。

• 閉域・オンプレミスでの構築実績があるか——クラウドAPI連携の実績とは別物です
• ハードウェアの選定から相談できるか——GPUの選定を任せられる相手でないと、過剰投資や性能不足につながります
• RAG（社内文書の検索）の設計まで踏み込めるか——モデルを置くだけでは社内文書に基づく回答はできず、文書の取り込み・検索精度の調整まで含めた設計が必要です
• 初期費用に何が含まれ、何が別途か明示されているか——前章の「できないこと」がどちら側かを見積書で確認します
• 保守が必須か・選択制か——月額保守が必須のベンダーと選択制のベンダーがあります。保守なしで運用した場合どうなるかまで確認しておくと安心です

※ ベンダー選定の詳しい判断基準は、別記事で解説予定です。

導入前に決めておきたい社内ルール5つ

導入までの流れと期間の目安

1. 相談・要件整理——何人で使うか、どの文書を読ませたいか、運用は誰が担うかを整理します（この記事の内容がそのまま論点リストになります）
2. 文書サンプルでの事前確認——取り込みたい文書の代表サンプルで、内容・形式を確認します。「うちの文書で本当に使えるか」をこの段階で見極めます
3. 構成の選定・見積——人数と用途から構成を決め、含まれる範囲を明示した見積を取ります
4. 構築・初期設定——ハードウェア納入後、およそ1〜2ヶ月で利用開始が目安です（調達納期により変動します）。AIチャット・ナレッジ検索環境の構築、文書の取り込み・検索精度の調整、社内LAN完結構成の設定までが弊社の標準構成の範囲です
5. 操作レクチャー・運用開始——基本操作のレクチャーを受け、決めておいた社内ルールとともに運用を始めます

導入後の技術的な対応（モデルの入れ替え・機能追加・精度改善）はベンダーに任せ（内容に応じて別途見積となるのが通常です）、社内は「文書をフォルダに入れる」日常運用に集中する——という分担が、少人数の会社でも無理なく回る形です。

よくある質問

まとめ：導入前チェックリスト

最後に、この記事の要点をチェックリストにまとめます。

• 扱う情報の機密度から、クラウド型・オフライン型・併用のどれが合うか整理した
• 初期導入で「できること」と「別途開発の範囲」を理解した
• 利用人数から構成タイプ（小型AI機／GPUワークステーション）の見当をつけた
• 見積は金額でなく「含まれる範囲」で比較する準備ができた
• 社内ルール5つ（取り込み範囲・回答の扱い・運用担当・推奨業務・効果測定と窓口）の考え方を押さえた