「機密情報があるからクラウドの生成AIは使えない。それなら社内に置くオフライン生成AI（ローカルLLM）はどうか」——そう考え始めた段階で、何を押さえておくべきか。
オフライン生成AIの導入は、機器を買って終わりではありません。基本の仕組みを理解し、自社に合う構成を選び、導入前に社内ルールを決めておく。この3つが揃うと、導入後に「使われないまま設備だけが残る」失敗を避けやすくなります。
この記事では、導入支援の実務経験に基づいて、検討前に押さえておきたいポイントを順番に整理します。
- オフライン生成AI（ローカルLLM）の基本の仕組みと、クラウド型との違い
- 導入直後に「できること」と「できないこと（別途開発の範囲）」
- 構成・ベンダーの選び方の基本
- 導入前に決めておきたい社内ルール5つ
- 導入までの流れと期間の目安
基本知識①：オフライン生成AIとは何か
オフライン生成AIとは、AIを外部クラウドではなく社内のサーバーで動かし、社内LANの中だけで完結させる使い方です。機密文書を入力でき、使うほど課金される月額のAI利用料もありません。
ChatGPTのようなクラウド型の生成AIは、入力した内容が社外のサーバーに送信されます。これに対してオフライン生成AI（ローカルLLM）は、AIモデル自体を社内に設置したサーバーで動かすため、データが社外に出ません。外部インターネット接続も不要です。
仕組みの中心は2つです。
- AIチャット：社内のパソコンからチャット画面を開き、質問応答・文章の下書き・要約などに使います
- ナレッジ検索（RAG）：取り込んだ社内文書をAIが検索し、引用付きで回答します。該当ファイルの所在も分かります
クラウド型との違いを整理すると、次のようになります。
| 観点 | クラウド型の生成AI | オフライン生成AI |
|---|---|---|
| データの置き場所 | 社外のサーバーに送信される | 社内LANの中で完結。機密文書も入力できる |
| 費用構造 | 利用人数・利用量に応じた継続課金 | 初期投資型（買い切り）。月額のライセンス費用なし |
| 最新モデルへの追随 | 新しいモデルを比較的早く利用できる | モデルの入れ替え作業が必要 |
| 運用 | ほぼ不要 | 設備を持つ運用（電気代・更新・故障対応等）が発生 |
どちらが優れているかではなく、扱う情報の機密度で決まるのが実務の感覚です。公開情報しか扱わないならクラウド型で十分ですし、図面・仕様書・個人情報・取引先情報を扱うならオフライン型が候補になります。両方を情報の種類で使い分ける「併用」も現実的な選択肢です。
基本知識②：導入直後に「できること」「できないこと」
初期導入で使えるのは「AIチャット」「社内文書のナレッジ検索」「手元文書の要約」。一方で、権限管理や個別業務への作り込みは初期導入の範囲に含まれないことがあり、ここの理解のズレが導入後の不満の主因になります。
弊社の標準的な初期導入の場合、利用メンバーは導入直後から次のことができます。
- 社内のパソコンからAIチャット画面を開き、質問応答・文章の下書き・要約などに利用（利用回数の制限なし）
- 取り込み済みの社内文書に質問し、引用付きの回答と該当ファイルの所在を確認
- 手元の文書（PDF等）を読み込ませて、要約や内容の確認に利用
一方、次のことは弊社の標準構成には含まれません（別途開発・別途見積の範囲）。ここを導入前に知っておくことが重要です。
- 部署別の閲覧制限に連動した検索——取り込んだ文書は、初期構成では利用メンバー全員が検索できます
- ユーザー認証（ログイン）や管理画面（利用状況・活用率のレポート）
- スキャンPDF（画像のみのPDF）のOCR取り込み
- 複雑なExcelの構造解析——Excel・CSVのテキスト読み取りはベストエフォート対応で、図形入り・複数シートなど構成が複雑なほど精度は下がります
- CAD・画像系ファイルの内容解析——取り込みはファイル情報（メタデータ）のみで、所在検索としての利用になります
- 個別業務への最適化、検索精度の継続改善、外部システム連携
※ 上記は弊社の標準構成に基づく整理です。含まれる範囲はベンダー・プランにより異なるため、見積時に必ず確認してください。
選び方：構成は「人数」から、ベンダーは「範囲」で選ぶ
ハードウェア構成は「何人で使うか」から逆算する。ベンダーは金額の大小ではなく「初期費用にどこまで含まれているか」を突き合わせて選ぶ。この2つが選び方の軸です。
構成選び｜「何人で使うか」から逆算する
弊社がご提案しているハードウェアは、大きく2タイプです。
| タイプ | 対象人数の目安 | 特徴 |
|---|---|---|
| 小型AI機 （例: NVIDIA DGX Spark） | 1台あたり〜10名程度 | 机の上に置ける小型筐体で省スペース。回答の生成速度は控えめ。拡張は台数の追加で、複数台では利用者をグループ分けする運用が前提 |
| GPUワークステーション | 20名規模の全員利用 | 高性能GPUを搭載し、軽い問い合わせであれば同時10〜20人程度の利用を想定できる水準（弊社見込み）。GPUの増設（最大3基）で処理能力を段階的に拡張できる |
選び方はシンプルで、利用人数が少ないのに大きな構成を選ぶと投資回収が長くなり、人数に対して小さい構成を選ぶと応答の遅さで使われなくなります。まず〜10名の小規模構成で導入評価をして、効果を確認してから拡張する段階導入も選べます（1台目の機器や取り込んだ文書・ナレッジは拡張後も引き継げます）。
初期費用の内訳は「ハードウェア」と「初期設定・導入支援」の2つが基本で、構成により数百万円規模からです。このほか、UPS（無停電電源装置）などの付帯設備や、設置場所の電源容量・設置環境の確認が必要になる場合があります。
ベンダー選び｜金額ではなく「含まれる範囲」を突き合わせる
クラウド前提のAIベンダーと、閉域・オンプレミス構築のベンダーでは、必要な経験が異なります。相見積を取る際は、金額の大小より先に次を確認してください。
- 閉域・オンプレミスでの構築実績があるか——クラウドAPI連携の実績とは別物です
- ハードウェアの選定から相談できるか——GPUの選定を任せられる相手でないと、過剰投資や性能不足につながります
- RAG（社内文書の検索）の設計まで踏み込めるか——モデルを置くだけでは社内文書に基づく回答はできず、文書の取り込み・検索精度の調整まで含めた設計が必要です
- 初期費用に何が含まれ、何が別途か明示されているか——前章の「できないこと」がどちら側かを見積書で確認します
- 保守が必須か・選択制か——月額保守が必須のベンダーと選択制のベンダーがあります。保守なしで運用した場合どうなるかまで確認しておくと安心です
※ ベンダー選定の詳しい判断基準は、別記事で解説予定です。
導入前に決めておきたい社内ルール5つ
オフライン生成AIは「機密を入力してよいAI」だからこそ、クラウド型とは違う観点のルールが要ります。導入支援の経験上、次の5つを導入前に決めておくと定着がスムーズです。
意外な盲点ですが、初期構成では取り込んだ文書は利用メンバー全員が検索できます（部署別の閲覧制限に連動した検索は別途開発の範囲）。人事・給与・評価など「社内でも見る人を限定したい文書」をいきなり入れると、社内の情報統制が崩れるおそれがあります。「まず全社で共有してよい文書から取り込む」——この一線を導入前に決めておくことをおすすめします。
AIの回答には誤りが混ざり得ます。ナレッジ検索の回答には引用（元ファイル）が付くので、「重要な判断・社外に出す内容は、引用元の原本を確認してから使う」「最終確認の責任は利用者にある」という原則を明文化しておきます。1行のルールですが、これがあるだけで「AIが言ったから」という事故のリスクを大きく減らせます。
日常の運用は、指定フォルダ（AIがアクセスできる場所）に文書を入れるだけ——というのが弊社の標準的な形です。複雑な管理は不要ですが、「どのフォルダを誰が管理するか」「新しい文書をいつ・誰が入れるか」だけは決めておかないと、導入時に取り込んだ文書のまま更新が止まり、半年後には「古い情報しか出てこないAI」になりかねません。
ルールというと禁止事項を並べがちですが、おすすめは逆で、「報告書の下書き・過去資料の検索・議事メモの要約に使ってよい」と推奨業務を明示することです。「とりあえず禁止」「使い方は各自の判断」のままでは、せっかくの設備が使われないままになりがちです。推奨業務の明示は、定着の強い後押しになります。
導入の投資判断は「業務時間がどれだけ減ったか」で振り返るのが実務的です。「削減時間を、いつ・誰が・どう集めるか」（月1回の簡単なアンケートで十分です）と、社内の一次窓口を1人決めておきます。技術的な対応（モデルの入れ替え・機能追加・精度改善）はベンダー側が担う分担にしておけば、窓口担当に高度なIT知識は必要ありません（弊社の場合、技術面の対応は内容に応じて別途お見積りのうえ対応します）。
導入までの流れと期間の目安
弊社の標準的な流れは「相談→文書サンプルでの確認→構成・見積→構築→レクチャー→運用開始」。構築期間の目安はハードウェア納入後およそ1〜2ヶ月です。
- 相談・要件整理——何人で使うか、どの文書を読ませたいか、運用は誰が担うかを整理します（この記事の内容がそのまま論点リストになります）
- 文書サンプルでの事前確認——取り込みたい文書の代表サンプルで、内容・形式を確認します。「うちの文書で本当に使えるか」をこの段階で見極めます
- 構成の選定・見積——人数と用途から構成を決め、含まれる範囲を明示した見積を取ります
- 構築・初期設定——ハードウェア納入後、およそ1〜2ヶ月で利用開始が目安です（調達納期により変動します）。AIチャット・ナレッジ検索環境の構築、文書の取り込み・検索精度の調整、社内LAN完結構成の設定までが弊社の標準構成の範囲です
- 操作レクチャー・運用開始——基本操作のレクチャーを受け、決めておいた社内ルールとともに運用を始めます
導入後の技術的な対応（モデルの入れ替え・機能追加・精度改善）はベンダーに任せ（内容に応じて別途見積となるのが通常です）、社内は「文書をフォルダに入れる」日常運用に集中する——という分担が、少人数の会社でも無理なく回る形です。
よくある質問
いいえ。既存の社内LANに接続して使う構成で、外部インターネット接続は不要です。クラウドAIへデータを送信しない社内完結の構成にできます。
テキストを含む文書（PDF・Office文書等）が中心です。Excel・CSVのテキスト読み取りはベストエフォート対応、CAD・画像系はファイル情報のみ、スキャンPDFのOCR取り込みは別途対応——というのが弊社の標準構成の範囲です。導入前に代表サンプルで確認するのが確実です。
日常の運用は指定フォルダに文書を入れるだけで、複雑な管理は不要です。モデルの入れ替えなど技術的な対応はベンダー側に任せる分担にできるため（弊社の場合は内容に応じて別途お見積りのうえ対応）、窓口担当を1人決めれば運用できます。
〜10名の小規模構成から導入できます。小さく始めて効果を確認し、機器や取り込んだナレッジを引き継ぎながら拡張する段階導入も可能です。
まとめ：導入前チェックリスト
最後に、この記事の要点をチェックリストにまとめます。
- 扱う情報の機密度から、クラウド型・オフライン型・併用のどれが合うか整理した
- 初期導入で「できること」と「別途開発の範囲」を理解した
- 利用人数から構成タイプ（小型AI機／GPUワークステーション）の見当をつけた
- 見積は金額でなく「含まれる範囲」で比較する準備ができた
- 社内ルール5つ（取り込み範囲・回答の扱い・運用担当・推奨業務・効果測定と窓口）の考え方を押さえた
導入前の論点整理からご相談いただけます
「自社の場合はどの構成か」「どの文書から取り込むべきか」「社内ルールはどう作ればよいか」。
そうした導入前の論点整理の段階からご相談いただけます。文書の代表サンプルでの事前確認や、構成別の概算のご提示も可能です。売り込みはいたしません。
オフライン生成AIのサービス内容は、オフライン生成AIのページでご紹介しています。
