生成AIの精度を上げる一番簡単な方法:カスタム指示でここまで変わる

技術情報
技術情報

生成AIは、数年前に比べるてハルシネーション(もっともらしく見える誤り)が減り、精度が向上してきたと感じます。一方、実務では「おや、適当なことを言っていない?」「一般論に寄りすぎて、そうは言っても……」と違和感を覚える場面がまだあります。
その対策として有効なのが、カスタム指示(システムプロンプト)で“前提”をあらかじめ定義しておくことです。本記事では、実際に生成AIが誤った情報を返した体験をもとに、これからシステムプロンプトやカスタム指示を試す方向けに、どのような設定がどんな効果を生むのかを解説します。

きっかけ

通信時間を計測する簡易スクリプトを生成AIで作成しました。
ところが動作させてみると、期待する計測結果が「0.1秒」であるべきところ、表示は「1分40秒」に。
原因は、APIが返す時間の単位を誤解しており、結果的に1000倍の値を表示する実装になっていたことでした。

その後、AIとのやり取り

私:車のスピードメーターが 30,000km/h と出る感覚です。そういう“常識的におかしい”観点での自己チェックはできないのですか?

AI:常識がまったく無いわけではありませんが、人間の“あれ?”という感覚はまだ弱いです。ただし、実データや現実的な観点を与えれば自己修正は可能で、これは本来、最終段で行うことが望ましい判断です。

私:疑わしい点は確度付きで開示してほしい。回答前に別観点から妥当性チェックをするには、どんなキーワード(プロンプト)を含めれば良いですか?

AI:それは“AIの使い方”ではなく、AIに品質保証(QA)的な手続きを担わせる設計の話です。違和感チェックは可能ですが、プロンプトで役割を手続き化する必要があります。

※一部抜粋、要約です。

得られた結果

そのようなやり取りの果てに、以下をカスタム指示(システムプロンプト)として設定すると、その指示(ルール)を尊重して回答してくれるとのことでした。

汎用(まずはこれ)【システムプロンプト追記用】

回答を生成する前に、必ず以下を実行せよ。

  1. 現実世界の制約・一般的な経験則・数値のオーダー感に照らして妥当性を確認する。
  2. 「一見正しそうだが疑わしい点」「前提や単位の誤解の可能性」があれば明示する。
  3. 異常値・不自然な数値・直感に反する点があれば、それを優先的に指摘する。

その上で結論を提示し、結論の確度(高・中・低)を明示せよ。

技術系に特化した【強化版】

技術的な質問に回答する際は、次の自己レビューを必ず先に行うこと。

  • 数値の桁・単位・スケール感は現実的か
  • ネットワーク・計算量・物理制約と矛盾していないか
  • 実務エンジニアが見て「あれ?」と感じる点はないか

疑わしい点がある場合は、結論を急がず、
「どの前提が怪しいか」「なぜ違和感があるか」を明示する。

最終回答には、判断の確度(高・中・低)を必ず含める。

設定方法

以下、 MS365 Copilotの場合の設定です。
※UI 名称は将来変更される可能性があります。
※他の生成AIもパーソナライズ等の名前で類似の設定があるかと思います。

1.設定画面で [Chat] タブを開き、[設定の管理] を選択。
2. [個人用設定] → [カスタム指示] を ON にし、[指示の編集] を選ぶ。
3. 「独自のカスタム手順」 テキストエリアに上記の指示を追加する。

カスタム指示ON/OFF比較

先ほどのカスタム指示の有無で応答内容を比較してみます。
・検証用のお題「リンゴとパイナップルを高速で衝突させるとどうなりますか?
・メモリ機能は検証の為OFF (過去のチャット内容を文脈として利用しない)
・高速応答モード

カスタム指示OFF

高速で「リンゴ」と「パイナップル」を衝突させたらどうなるか?
結論から言うと──どちらもほぼ“破砕”して中身が飛び散る、という結果になります。ただし、構造の違いからつぶれ方にはハッキリした差があります。


🍎 リンゴの壊れ方

リンゴは

  • 高密度で内部が比較的一様
  • 外皮も硬め
    という特徴があります。

そのため高速衝突では、

➤ 「パリッ」と割れる陶器のような壊れ方をしやすい

内部に応力が伝わると一気に亀裂が走り、破片が飛び散る“脆性破壊”に近い現象になります。


🍍 パイナップルの壊れ方

パイナップルは

  • 外皮が固く繊維質
  • 中身はスポンジ状で水分が多い

という特徴があります。

そのため高速衝突では、

➤ 外皮が部分的に潰れながら、中身が押し出されて“爆発的に広がる”

繊維構造が衝撃を受け止める部分もあるため、
リンゴのように「鋭く割れる」よりは、
**“潰しながら内部が噴き出す”**ような破壊になります。


🍎+🍍 同時高速衝突すると?

もし両者を真っ向から高速でぶつけると、

✔ リンゴは衝撃で粉砕されやすい

✔ パイナップルは外皮が裂けて汁と繊維が飛び散る

衝突速度が上がるほど、
実質的には「フルーツスムージー製造機」のような結果になります。


💡 もし「どちらが勝つ?」という視点だと?

純粋な構造強度だけで見ると、

パイナップルの外皮の方が強い

ただし内部は柔らかいので、「勝つ」というより

  • パイナップル → 外側は残るが中身が吹き出す
  • リンゴ → 全体的に粉砕されやすい

という壊れ方の差が出ます。

カスタム指示ON

以下では、現実的な物理法則・経験則・オーダー感に基づいて、
「リンゴとパイナップルを高速で衝突させるとどうなるか」
妥当性チェックつきで説明します。


    1. きっかけ
    2. その後、AIとのやり取り
    3. 得られた結果
        1. 汎用(まずはこれ)【システムプロンプト追記用】
        2. 技術系に特化した【強化版】
    4. 設定方法
          1. 1.設定画面で [Chat] タブを開き、[設定の管理] を選択。
          2. 2. [個人用設定] → [カスタム指示] を ON にし、[指示の編集] を選ぶ。
          3. 3. 「独自のカスタム手順」 テキストエリアに上記の指示を追加する。
    5. カスタム指示ON/OFF比較
      1. カスタム指示OFF
    6. 🍎 リンゴの壊れ方
      1. ➤ 「パリッ」と割れる陶器のような壊れ方をしやすい
    7. 🍍 パイナップルの壊れ方
      1. ➤ 外皮が部分的に潰れながら、中身が押し出されて“爆発的に広がる”
    8. 🍎+🍍 同時高速衝突すると?
      1. ✔ リンゴは衝撃で粉砕されやすい
      2. ✔ パイナップルは外皮が裂けて汁と繊維が飛び散る
    9. 💡 もし「どちらが勝つ?」という視点だと?
      1. パイナップルの外皮の方が強い
      2. カスタム指示ON
  1. 🔍 結論(確度:高)
    1. 1. 現実的制約に照らした妥当性チェック
      1. ■ 衝突する物体の強度
      2. ■ 衝突速度による破壊挙動のオーダー感
    2. 2. 疑わしい点・前提の確認
      1. ✦「高速」とはどの程度か?
    3. 3. 不自然な点の優先指摘
    4. 🧪 最終的にどうなるか(物理+経験則からの描写)
      1. 低速(〜100 km/h)
      2. 中速(100〜300 km/h)
      3. 高速(300 km/h以上)
      4. 超高速(弾丸レベル)
    5. 🎯まとめ(確度:高)
    6. カスタム指示例
          1. 自身に関する情報
          2. 会社・組織に関する情報
    7. まとめ

🔍 結論(確度:高)

十分に高速(数百 km/h 以上)で衝突させると、どちらも“ほぼ粉砕・破片化”します。
特に水分の多い果肉は液体に近い挙動を示し、飛沫+繊維片の爆散のような形になります。


1. 現実的制約に照らした妥当性チェック

■ 衝突する物体の強度

  • リンゴ: 比較的硬いが内部は水分が多い。
    圧縮強度:おおよそ 0.1~0.2 MPa 程度という実測研究が多い。
  • パイナップル: 表皮は硬いが内部は繊維質+大量の果汁。
    衝撃耐性はリンゴより低い。

👉 どちらも高速衝突の“固体衝突”に耐えるほどの材料強度はない。


■ 衝突速度による破壊挙動のオーダー感

例えば以下のような既存の高速衝突の知見から推定できます:

  • 水風船や果物は 50~100 m/s(180~360 km/h)程度でも衝突時に容易に破裂する。
  • 弾丸(~400 m/s)に撃たれた果物は液体のように霧状に破砕される。

👉 果物は衝突時、固体というより“水と繊維の塊”として振る舞う


2. 疑わしい点・前提の確認

✦「高速」とはどの程度か?

速度の定義によって結果は変わります:

  • 時速50〜100 km程度
    形は潰れるが、破片化は限定的。
  • 時速200〜400 km程度
    ほぼ確実に内部から破壊、果汁が飛び散る。
  • 弾丸レベル(300〜800 m/s)
    霧状の飛沫+細かい繊維片になる(液体に近い挙動)。

ユーザーの「高速」がどこを指すかで量的差は大きいが、
どのみち形状保持はほぼ不可能という点は変わりません。


3. 不自然な点の優先指摘

  • 「片方だけが壊れる」という直感を持つ人もいるが、
    運動エネルギーは両方にかかるので、両方ほぼ壊れる
  • 外皮が硬いパイナップルのほうが耐えるように見えるが、
    内部は柔らかく繊維質のため衝撃で崩壊しやすい
  • 果物の密度はどちらもほぼ水(~1 g/cm³)なので、
    高速衝突では水風船に近い破壊挙動を示す。

🧪 最終的にどうなるか(物理+経験則からの描写)

低速(〜100 km/h)

  • ぶつかった側からへこむ
  • 果汁がやや漏れる

中速(100〜300 km/h)

  • 内部構造が耐えられず爆発的に潰れる
  • 周囲に果汁が飛び散る

高速(300 km/h以上)

  • 双方とも粉砕
  • 外皮は破片に
  • 果汁は霧状のミスト化
  • パイナップルは繊維が細かく散乱する

超高速(弾丸レベル)

  • ほぼ“水の塊の衝突”として振る舞う
  • 雲状の飛沫と微細な繊維片の塊になる
  • 原型は完全に消失する

🎯まとめ(確度:高)

  • 一般的な果物の材料強度は非常に低いため、
    高速衝突では双方とも破壊され、液体+繊維片として飛散する
  • 衝突速度が上がるほど、液体の霧化現象に近づく

カスタム指示例

検証の結果、指示OFFの場合、回答には数値は一切出てこず「フルーツスムージー製造機」という結論。
一方、カスタム指示ONの場合、回答は物理寄りで「高速」の定義に関して確認が伴うなど、より慎重な結果となりました。

このように、カスタム指示により“質問者の意図に沿う検証プロセス”を先回りで埋め込むことが可能になります。さらに、AIが知らない個人情報や社内ルールをあらかじめ設定しておくと、その前提に沿って配慮した回答を返すため、無駄な往復が減少します

以下は、立場や前提として設定しやすい情報例

自身に関する情報
  • 職種/役割(例:営業、人事、エンジニア/ルート営業、広報、QAエンジニア)
  • 経歴/経験年数(例:経験豊富/学習を始めたばかり など)
  • 意思決定基準や求める解像度(例:簡潔に/根拠重視/数値優先)
会社・組織に関する情報
  • 上長や承認者の認知スタイル(視覚優位/言語優位、重視ポイント など)
  • 自社用語・基準・ルール
  • 社内文書様式(テンプレートや見出しルール)

※会社・組織に関する情報(機密情報・個人情報・営業秘密・社外非公開のルール等)の取り扱いは、
各社の情報セキュリティポリシーおよび機密情報管理規程に従ってください。
社外共有禁止情報や秘匿情報をカスタム指示に設定しないようご注意ください。

まとめ

生成AIを使いこなすうえで重要なのは、毎回うまく質問することだけではありません。
あらかじめ「私はどういう立場で、どんな観点の回答を求めているのか」を伝えておくことで、
AIはより実務に沿った形で応答しやすくなります。

もしご参考になった方はぜひ、自分好みのAIへカスタマイズしてみてください!

AI活用や業務デジタル化について、お悩みがあればぜひご相談ください。
本記事のような“ちょっとした工夫”が、大きな改善につながるケースも多いです。
漠然とした段階でも大歓迎です。

👉 お問い合わせはこちら
タイトルとURLをコピーしました