社員に AI を使わせて大丈夫? 中小製造業が先に決めたい「任せる範囲」

AI は、読んだメールや資料に紛れた指示に従うことがある。だから「3つのうち、1つは外す」。いちばん簡単なのは、送るのは人が行うこと

社員に AI を使わせて大丈夫? 中小製造業が先に決めたい「任せる範囲」

2026年11月時点の情報です。最終更新: 2026-11-21

AI、もう仕事で使っていますか?

メールの下書き、議事録のまとめ、見積の説明文。AI に任せると、事務や営業の仕事は大きく楽になります。

一方で、「社員に使わせて大丈夫なのか」「何を入れたらまずいのか」が分からず、様子見のままの会社も多いのではないでしょうか。IPA(情報処理推進機構)の「情報セキュリティ 10大脅威 2026」の組織編でも、「AI の利用をめぐるサイバーリスク」が 3位に初めて選ばれました(IPA)。

先に結論です。

  • AI は、使ったほうがいい道具です。決まりを少し作っておけば、もっと広く、安全に使えます
  • ただ、AI は、読んだメールや資料に紛れた悪意のある指示に 従ってしまう ことがあります。英国の公的機関は、これを完全には防げないかもしれない、としています
  • だから、1つの AI に「外から来た文章を読む」「大事な情報を見られる」「送る・変える」の 3つを、同時に持たせません。この記事では、これを 「3つのうち、1つは外す」 と呼びます
  • いちばん簡単なのは、送るのは人が行う ことです。AI には下書きまでを任せます。便利さを大きく損なわずに、危うさを減らせます。さらに、AI に見せる資料も、外へつながる範囲も、必要な分だけにすることで、より安全性が高まります

この記事で中心に考えるのは、社内で AI に仕事を任せるときの決まりです。使っているサービスが不正アクセスを受けたときの手順は、最後の「補足」にまとめました。セキュリティ事故への対応を急いで知りたい方は、そちらからお読みください。

AI を使うと、何が危ないの?

AI というと、チャットの画面で質問して、答えてもらうものを思い浮かべるかもしれません。でも今は、仕事の流れごと AI に任せることもできます。たとえば、こんな流れです。

  1. 取引先から、見積の依頼のメールが届く
  2. AI が中身を読み、会社の共有フォルダ(Google ドライブや OneDrive など)の資料を調べて、返信の文面を作る
  3. 人が確かめて、送る

こうした流れは、Microsoft の Power Automate や Google の Workspace Studio などを使い、プログラムを書かずに作れる場合があります。

取引先からメールが届き、AI が資料を調べて返信の文面を作り、人が確かめて送る、という流れの図。送るところまで AI に任せる作り方もあることを、点線で添えている

ここからお話しする危うさは、特定の製品のものではなく、AI に仕事を任せる仕組みに共通するものです。

たとえば、こんな場面を想像してみてください。作り方によっては、最後の人の確認を省いて、送るところまで AI に任せることもできます。取引先からの見積の依頼に、AI が価格表や図面を確かめて、返信まで自動で送るようにしていたとします。とても便利な使い方です。

ところが、そのメールの文中に、人ではなく AI に宛てた指示が書き込まれていたらどうでしょう。AI がその指示に従うと、価格表や図面といった大事な情報が、返信に乗って外へ出てしまうおそれがあります。

これは、考えすぎではありません。実際に、ある開発ツールでは、利用者が書き込める欄(課題の題名)に書かれた指示を、自動で処理する AI が読んでしまいました。それをきっかけに、ツールを公開するための認証情報(プログラムが使うパスワードのようなもの)が盗まれました。2026年2月には、その認証情報を使って、不正な版が公開されています(発見者の記事)。

さらに、ある業務用の AI でも、研究者が同じような危うさを示しています。メールや共有ファイルに仕込まれた指示を AI が読み、要約の中の画像やリンクを通じて、情報が外へ送られうるというものです。利用者が何も押さなくても送られる形もありました(研究の論文)。この弱点はすでに修正されていて、悪用された証拠はありません(報道)。

ここが、この記事でいちばんお伝えしたいところです。AI の心配というと、入れた情報が学習に利用されることや、答えを間違えることを思い浮かべるかもしれません。でも、もう一つあります。読んだ文章の中の想定外の指示に従って、任された範囲で動いてしまうことです。AI そのものが、情報の漏れ口になりうるのです。

AI や対策の製品で、防げないの?

AI がもっと賢くなれば、あるいは対策の製品を入れれば防げるのでは、と思うかもしれません。

英国の NCSC(国家サイバーセキュリティセンター)は、こうした指示の紛れ込み(プロンプトインジェクション)は、完全には防げないかもしれないとしています。そのうえで、防ぎきることより、起きにくくし、起きたときの影響を小さくすることを目指すよう勧めています。対策の製品や機器を入れるだけでは完全には防げない、ともしています(NCSC のブログ)。

AI が「実行してよいか」と確認してくれれば安心、とも言い切れません。AI の提供者である Anthropic は、同社の AI のツールの利用データを公表しています。それによると、ツールが確認を求めたとき、利用者は約 93% を承認していました(Anthropic の記事)。 確認が多いと、一つひとつを確かめにくくなるおそれがあります。確認だけでは、歯止めになりにくいのです。

では、どうすればいいのか。NCSC は、外から来た文章を扱う AI には、その文章の送り手以上の権限を持たせないよう勧めています。言いかえると、AI に任せる範囲を、先に絞っておくことです。

では、AI にどう任せればいい?

AI に仕事を任せるときは、次の 3つを見ます。

  • ① 外から来た文章を読む: 取引先からのメール・図面・仕様書、問い合わせフォーム、Web など。書いた人が分かっていても、会社の共有フォルダや受信箱に保存されていても、ここに含みます(既に指示が混入している可能性を考慮)
  • ② 大事な情報を広く見られる: 顧客情報・図面・価格など
  • ③ 外へ送る・書き換える・Web で調べる: メールを送る、ファイルや設定を書き換える、Web を見に行く(※1)、など

※1 AI が Web のページを開くときは、相手のサーバーに「この住所(URL)のページを見せてください」と頼みます。紛れた指示に従った AI が、指示に書かれた住所の後ろに社内の情報を書き足して開くと、その情報が、指示を書いた側に届いてしまうおそれがあります。問い合わせの電話をかけたつもりが、聞かれてもいない社内の話まで、自分から伝えてしまうようなものです。AI が画面に出した画像やリンクでも、同じことが起こりえます。リンクは押したときに、画像は画面に表示されるだけで開かれるからです。

3つがそろうと、先ほどの場面のように、① に紛れた指示で、② の情報が ③ を通って外へ出てしまうおそれがあります。だから、どれか 1つを外します。これが 「3つのうち、1つは外す」 です。

  • ③ を人が行う: AI は下書きまで。送るのは人です
  • ② を絞る: その仕事に要る資料だけを渡します。大事な情報を渡さなければ、② は外れます。渡すときも、要る分だけにすれば、万一のときの被害は小さくなります
  • ① をなくす: AI に外から来た文章を直接読ませず、決まった作業は、文章の中の指示に従わない普通のプログラムで行います
上に、AI に 3つ(① 外から来た文章を読む、② 大事な情報を広く見られる、③ 外へ送る・書き換える・Web で調べる)がそろった様子。下に、1つを外す 3 つの方法(③ を人が行う、② を絞る、① をなくす)。いちばん簡単なのは ③ を人が行うこと

いちばん簡単なのは、送るのを人に戻すことです。AI に返信の下書きまで作ってもらい、中身を読んでから、送るボタンは人が押す。これなら、文面を考える手間は AI に任せたままです。

ただし、送るボタンを人が押すことと、AI が外へ何も送れないことは別です。その AI が自分で Web を見に行けたり、画面に画像やリンクを出せたりするなら、③ はまだ残っています。1つを外すのは、危うさを減らす基本であって、安全の保証ではありません。外から来た文章を扱う AI には、見せる資料も、外へつながる範囲も、必要な分だけにしておきましょう。

それでも、AI に仕事を任せること自体を、やめる必要はありません。最後の送信を人に戻すだけでも、便利さを大きく損なわずに、危うさを減らせます。中小企業で最初に決まりを作るなら、私はまず、この「送るのは人」から始めます。

うちの使い方だと、どうなる?

最初の見積の返信のような仕組みも含めて、製造業でよくある使い方に当てはめると、どうなるでしょうか。次の表にまとめました。判定の印は、◎ 条件付きで OK/△ ひと工夫で OK/✕ 形を変える、です。

使い方

① 外から来た文章

② 大事な情報

③ 送る・変える・Web で調べる

判定

取引先からの見積の依頼メールを AI が読み、価格表や図面を見て、自動で返信する

読む

読む

AI

✕ 3つそろう。返信は下書きにするか、価格表と図面を見せない

同上で、AI は返信の下書きまで。人が読んでから送る

読む

読む

人

◎ 見せる資料が、その返信に要るものだけなら OK

自社で管理している受注の一覧を AI が読み、納期が遅れそうな案件を挙げる → 人が連絡する

管理している情報だけ

読む

人

◎ 会社の AI・学習に使わない設定なら OK

共有フォルダ全体を読める AI に、外から届いた仕様書の要約を頼む

読む

読む

画像やリンク

△ その資料だけを渡して要約させる(② を絞る)。要約に出たリンクも押さない(ただし、押さなくても送られる形があった)

公開されている展示会の出展者一覧を AI に渡し、取引先の候補を挙げてもらう → 人が連絡する

読む

少ない

人

◎ 社内のデータをつないでいない AI なら OK

同上で、AI が問い合わせのメールまで自動で送る

読む

少ない

AI

△ 紛れた指示で、おかしな文面が会社から届くおそれ。送るのは人に

AI に「確認なしで全部やって」と頼み、パスワードも渡す

読む

読む

AI

✕ 確認を省かない。パスワードは渡さない

工場の設備の設定を、AI に自律で変えさせる

—

—

AI

✕ 任せない。AI は相談相手まで

表の 1・2 行目のように、最初に想像していただいた見積の返信も、送るのを人に戻せば、AI が自分で送る道がふさがり、✕ が ◎ に変わります。ただし、その AI が自分で Web を見に行けたり、画像やリンクを出せたりするなら、③ は AI にも残ります。見せる資料を、その返信に要るものだけにしておくのは、そのためです。

4 行目の仕様書の要約は、先ほどの研究の例です。この使い方では、AI が自分で何かを送るわけではありません。それでも、資料に紛れた指示で、要約に出た画像やリンクが、知らないうちに「送る」役目をしてしまう手口が、研究で示されています。この AI の提供者も、要約の中の画像を使って情報を外へ送る手口を、仕組みで止める対策を入れています(提供者の説明)。それでも、外から届いた資料を扱うときは、その資料だけを渡すようにしましょう。

会社の共有フォルダやメールを AI につなぐときは?

ここからは、「3つのうち、1つは外す」を、場面ごとに当てはめていきます。まずは、② の「大事な情報を広く見られる」に関わる話です。

業務用の AI は、使う人が見られる範囲のデータを使います。たとえば Microsoft は、業務向けの Copilot について、利用者が少なくとも閲覧できる組織のデータだけを表示する、と説明しています(Microsoft Learn)。

裏を返すと、共有の設定がゆるいままだと、これまで「探さなければ目に入らなかった」ファイルが、近い話題を聞いたときに出てくるようになります。

しかも、業務用のサービスには、AI の機能が最初から使える状態になっているものもあります。たとえば Google Workspace の Gemini は、既定で使える状態です。あるアプリで Gemini を切っても、ほかのアプリの Gemini から、そのアプリのデータを使えます(Google Workspace の管理者ヘルプ)。

つなぐ順番は、次のとおりです。

  1. 共有を整理する
  2. 大事な情報は、必要のない人のアカウントから見えない場所に分ける(認証情報は共有フォルダに置かない)
  3. そのうえで、AI をつなぐ

入れるときに、AI にどこまで読ませるかを、社内の担当者や出入りの業者さんと一緒に決めておきましょう。

社員とは、何を決めておけばいい?

ここまでの話を、社員みんなで守る決まりにすると、次の 5つになります。

  1. パスワードや認証情報(プログラムが使うパスワード)は、どの AI にも渡さない(有料の AI でも)
  2. 顧客名簿や図面・見積などの大事な情報は、会社が決めた AI で、必要な分だけ(入力を学習に使わない設定のもの)
  3. AI が断ったら押し切らない。「実行してよいか」と聞かれたら、中身を読んでから
  4. 「送る」「変える」は、最後は人が行う(AI には下書きまで)
  5. 迷ったら・うっかりしたら、すぐ担当者へ(気づくのが早いほど、対処が間に合います)

5つに絞ったのには、理由があります。決まりを厳しくしすぎて、誰も AI を使わなくなっては、もったいないですよね。私は、守れる数に絞って、そのぶん、ためらわずに使ってもらうほうがよいと考えています。

公開されている情報や、一般的な文章の相談なら、この 5つを守ったうえで気軽に使ってみてください。図面や仕様書の形式を AI に見せたいときも、本物を貼らずに、架空のデータで数行つくって見せれば十分です 💡

「会社が決めた AI」は、次の 4つを見て選びます。

  • 会社の契約か、個人の契約か
  • 入力した内容を、学習に使うか
  • 何につながるか(メール、共有フォルダ、カレンダー、Web など)
  • ブラウザの拡張機能やアドオンか

社員への声かけは、たとえば「顧客の情報を AI に貼らない」「画面の写真を外に出さない」「うっかりしたら、すぐ知らせる」のように、短くしてもかまいません。決まりそのものは、上の 5つのままにしておきます。

そして、守ってもらうことと同じくらい、すぐ知らせてもらえることを大切にしてください。「知らせてくれてありがとう」と言える空気を、先に作っておきましょう 👍

さらに余力があれば

  • 古い社内ツールを点検してもらう: 数年前に作った社内ツールや、表計算のプログラムに、認証情報がそのまま書かれていないか。社内の担当者や、作った業者さんに、一度点検してもらいましょう。公的な機関の JPCERT/CC も 10月の注意喚起と調査で、放置された公開物や社内ツールも被害に遭っていたと伝えています。あわせて、アプリに認証情報を埋め込まないよう勧めています(注意喚起、調査)
  • AI につなぐ部品は、提供元を確かめてから入れる: 2025年9月には、送ったメールを密かに転送するコードが仕込まれた、AI 連携用の部品が見つかっています(報道)
  • 守りにも AI を使う: 自動更新や監視はサービスに任せ、設定や手順は AI に相談します。決めるのは人です。ただし、本番の業務システムや工場の設備を、AI に自律で変えさせることはしません

今日できる最初の一歩

今日、社内で AI に任せている仕事を 1つ選んで、「3つのうち、1つは外す」が守られているかを見てみてください。

たとえば、営業の担当者が AI で見積の返信を作っているなら、次の 2つを聞いてみます。

  • その AI は、どんな資料を読めますか?(② 大事な情報)
  • 返信は、自動で送っていますか?(③ 送る)

自動で送っているなら、最後に人が確かめて送る形に変える。読める資料が広いなら、その返信に要るものだけにする。どちらも、立派な第一歩です。まだ使っていない会社なら、最初に任せる仕事を 1つ決めるときに、同じことを確かめてください。

この記事では、AI から情報が外へ出る危うさを中心にお話ししました。あわせて備えておきたいのが、ランサムウェア(業務を止めて身代金を求めるウイルス)などで、工場や業務が止まってしまうことです。中小製造業にとっては、情報が漏れること以上に大きな痛手になります。その備えとして会社で確認したい 3つのこと(外からの接続・認証・バックアップ)は、情報漏えい・サイバー攻撃の記事にまとめました。

補足:連携しているサービスで事故が起きたら

ここから先は、冒頭でお伝えした補足です。AI に限らず、サービスどうしをつなぐ「連携」の話です。

スマホのアプリで、「〇〇サービスが、××サービスのあなたのアカウントへのアクセスを求めています。許可しますか」という画面を見たことはありませんか?ここで OK をすると、××サービスに入るための認証情報が、〇〇サービスに保存されます。連携とは、ほかのサービスに入るための認証情報を、預けることなのです。

この認証情報には、2段階認証が効かず、持っていれば多くはどこからでも使えます。一方で、作り直せば止められるのが救いです。

では、預けた先が破られたら、どうなるでしょうか。そこに預けていた全員の認証情報が、まとめて盗まれるおそれがあります。盗まれた認証情報を使われると、つないでいた先のサービス(会社のメールや共有フォルダなど)にも、許可していた範囲で、2段階認証を通らずに入られてしまうのです。 預けた先が破られることは、実際に起きています。2026年10月には、ホームページを作るための Web 制作サービスが不正アクセスを受け、利用者が預けていた認証情報が流出した可能性が公表されました。預けていた認証情報は、利用者が自分で止める必要がありました(運営会社の案内)。

ふだんから、一覧にしておく

いちばん効くのは、ふだんの準備です。「どのサービスを・どこにつなぎ・どの認証情報で・誰が管理しているか」を一覧にしておくと、何かが発表された日にすぐ動けます。認証情報の値そのものは、一覧に書きません。

「不正アクセスがありました」と発表されたら

たとえば、ある Web サービス(A)に、会社の Google アカウント(B)へのアクセスを許可していたとします。その A が「不正アクセスがありました」と発表したら、その日のうちに、次の 4つをします。

  1. 発表が本物かを、A の公式サイトで確かめる(届いたメールのリンクからではなく)
  2. A のパスワードを変える。同じパスワードをほかのサービスでも使っていたら、そちらも変えます
  3. B の側で、A への許可を外す。B で発行した認証情報を止めて、作り直す(破られた A の側では止められません)
  4. B で、最近 3か月に怪しい使われ方がないか、記録を見る: IPA は 10月の注意喚起で、記録を確かめる期間を 3か月に広げるよう求めています(IPA の注意喚起)

許可を外す画面の名前は、サービスごとに違います。たとえば Google アカウントでは、「リンク済みアプリ」のページを開き、[アクセス権の付与]の一覧から外します(Google アカウント ヘルプ)。


「うちの使い方だと、3つのうちどれを外せばいいのか」を一緒に整理したいという方は、ぜひお問い合わせください。中小製造業専門のDXパートナーとして、一緒に考えます。

👉 お問い合わせはこちら

この記事をシェア

まずは、あなたのお悩みをお聞かせください。

漠然としたお悩みでも構いません。課題整理の壁打ち相手として、お気軽にご相談ください。