「会議のホワイトボードを写真に撮ってAIに送ったけれど、文字起こしが間違っているし、要約も的外れだった」
「商品の検品に使おうとしたけれど、傷の見落としが多くて実用化は難しそう」
最近、ビジネスの現場において、こうした課題に直面するケースは珍しくありません。LlamaやQwenのような、画像も文字も同時に理解できる「マルチモーダルAI」が次々と登場し、多くの企業が業務に取り入れようとしています。
最新のAIモデルは、MoE（Mixture of Experts）と呼ばれる技術により推論効率が飛躍的に向上し、一度に数十万から数百万トークンという長大な文脈を処理できる能力を備えています。さらに、日本語をはじめとする多言語対応も大きく進展し、表現力はかつてないほど豊かになりました。しかし、いざ使ってみると「思ったほど賢くない」「指示が伝わらない」と感じて、導入を諦めてしまうケースが後を絶ちません。
多くの場合、それはAIの能力不足ではありません。AIへの「伝え方」が、ほんの少し不足しているだけなのです。
私たちは普段、人間相手に「これを見ておいて」と資料を渡すだけで、相手が文脈を察してくれます。しかし、AIには文脈も先入観もありません。どれほど高性能なマルチモーダルAIであっても、利用者が「言葉」という補助線を引いてあげる必要があるのです。
本記事では、難しいプログラミングやパラメータの話は避け、チャット画面に入力する日本語を少し工夫するだけで、AIの認識精度が劇的に向上する「対話の作法」をお伝えします。専門知識は不要です。今日からすぐに使える、実用的で論理的なアプローチを解説します。
なぜ「画像を見せるだけ」ではAIに伝わらないのか？
まず、「なぜ伝わらないのか」という根本的な原因について、論理的に整理しておきましょう。
人間とAIの「視覚」の違い
人間が画像を見るとき、私たちは無意識のうちに「意味」を見ています。例えば、散らかったデスクの写真を見たとき、私たちは「忙しそうな人の机だな」とか「整理整頓が苦手なのかな」といったストーリーを瞬時に感じ取ります。
一方、AIにとっての画像は、あくまで「数字（ピクセル）の羅列」に過ぎません。最新のマルチモーダルAIは、そのピクセルのパターンから「机がある」「書類がある」「パソコンがある」といった物体を検出することは得意です。しかし、そこにある「文脈」や「意図」までは、指示がない限り読み取れません。
「この画像について教えて」という曖昧なプロンプト（指示文）が失敗するのは、AIが「何について教えればいいのか」という判断基準を持たないためです。色についてか、配置についてか、それとも書類の内容についてか。AIは無限の可能性の中から、確率的に最もありそうな答えを選択してしまいます。これが「的外れな回答」の正体です。
プロンプトは「画像の翻訳」ではなく「視点の指定」
多くの人が、プロンプトを「画像を言葉に翻訳させるための命令」だと考えています。しかし、より精度の高い結果を得るためには、プロンプトを「AIにどの視点で画像を見るべきかを指定する条件」だと捉えてみてください。
AIにどのような条件を与えるかで、出力される結果は変わります。検品用の視点、マーケティング用の視点、要約用の視点など、適切な条件を提示することが、利用者の役割となります。
ここからは、その「条件」をどのようにAIに提示すればよいのか、具体的な5つのTip（ヒント）を紹介します。
Tip 1：AIに「誰の目」で見てほしいかを最初に伝える
プロンプトの最初の一文を変えるだけで、AIの回答精度は大きく向上します。それは、AIに「役割（ペルソナ）」を与えることです。
役割（ペルソナ）定義の重要性
例えば、一枚の「店舗の陳列棚の写真」があるとします。
もし「この写真を見て感想を言って」と頼めば、AIは「商品がたくさん並んでいます。明るい店内です」といった表面的な感想を返すにとどまる傾向があります。
しかし、こう伝えたらどうでしょうか。
「あなたはベテランの店舗マネージャーです。棚割りの効率性と、商品の視認性という観点から、この画像を分析してください」
するとAIは視点が明確になり、「上段の商品のラベルが光の反射で見えにくくなっています」「特定の商品カテゴリーが分散しており、客動線を阻害する可能性があります」といった専門的な指摘を始めます。
これは、Llamaの最新モデル（ビジョン対応版）などで重要視されている「System Prompt（システムプロンプト）」の設計思想そのものです。
特に最新のマルチモーダルAIは、テキストによる役割定義と画像情報を統合して処理する能力が飛躍的に向上しています。チャットの冒頭で役割を宣言することは、AIに対して「どの専門知識の引き出しを開けてこの画像を見るべきか」という強力なコンテキスト（文脈）を与えることになるのです。
専門家の視点 vs 一般消費者の視点
役割を変えれば、同じ画像でも全く違う情報が得られます。
- 「あなたは辛口のファッション評論家です」 → コーディネートのバランスやトレンドとの整合性を指摘。
- 「あなたは節約志向の主婦です」 → 商品の価格表示や、お得感のあるPOPに注目。
AIに画像を見せるときは、必ず「誰として見てほしいのか」をセットで伝えましょう。これだけで、AIは「何に注目すべきか」の半分を理解してくれます。
Tip 2：画像の「何」に注目すべきか、エリアと言語で指差し確認する
役割を与えたら、次は具体的な「視線誘導」です。人間同士なら指を差して「ここを見て」と言えますが、チャットでは言葉で対象を指定する必要があります。
情報の優先順位付け
画像には情報が溢れています。全体を漫然と見させるのではなく、ターゲットを絞り込みましょう。
- NG例: 「この資料を読み取って」
- OK例: 「画像の右上に配置されている円グラフに注目してください。その中の『売上構成比』の数値だけを読み取ってください」
このように「位置（右上、中央、下部）」や「対象物（グラフ、人物、ロゴ）」を明記することで、AIの計算リソースをその一点に集中させることができます。これを専門的には「Attention（注意機構）の誘導」と呼びますが、つまり、不要な情報処理を省き、必要な箇所に焦点を当てさせるということです。
テキスト情報（OCR）と視覚情報の区別
特に注意が必要なのが、画像内の「文字」を読ませたいのか、「見た目」を説明させたいのかの区別です。
もし文字をデータ化したいなら、はっきりとこう指示してください。
「画像内のデザインや色は無視してください。書かれているテキスト情報のみを、一字一句正確に書き出してください」
逆に、デザインの雰囲気を知りたいなら、「文字の内容は読まなくていいので、配色のバランスやフォントの印象について教えてください」と伝えます。
人間は文字と絵を同時に処理できますが、AIにとっては処理のモードが少し異なります。どちらを優先するかを宣言することで、誤認識やハルシネーション（幻覚：ありもしない情報を生成すること）のリスクを減らせます。
Tip 3：出力フォーマットを「型」にはめて回答の暴走を防ぐ
AIに自由な形式で文章を書かせると、不要な装飾が含まれ、システム開発やデータ分析のフローに組み込みにくくなることがあります。これを防ぐ効果的な方法が「出力フォーマットの固定」です。
自由記述のリスクと構造化のメリット
特にLlama系のモデルは、論理的で構造化された指示を好みます。「自由に書いて」と指示するよりも、明確な枠組みを提示した方が、AIにとっても処理が安定します。
例えば、レシート画像から経費精算用のデータを抽出したい場合、以下のように指示します。
以下のフォーマットに従って出力してください。それ以外の余計な文章は一切不要です。
日付：[YYYY/MM/DD]
店舗名：[店舗名を記載]
合計金額：[数値のみ、通貨記号なし]
品目リスト：
- [品名] : [金額]
JSONや箇条書きによる制約
システム開発の観点からは「JSON形式で出力して」と指定するのが確実ですが、そうでなくても「箇条書きで」「表形式（Markdownテーブル）で」と指定するだけで十分な効果が得られます。
型にはめることには、もう一つのメリットがあります。それは「抜け漏れの防止」です。フォーマットとして「日付」という項目があれば、AIは画像の中から日付に該当する情報を優先的に探索します。漠然と「内容を教えて」と聞くよりも、情報の抽出精度が格段に上がります。
Tip 4：一度で完璧を目指さず「確認の対話」を挟む
私たちはAIに対して「一回の指示で正解を出してほしい」と期待しがちです。しかし、複雑な画像解析を一回で完璧に行うのは困難です。ここでお勧めしたいのが、「Chain of Thought（思考の連鎖）」というテクニックの応用です。
「まず画像の内容を説明して」というワンクッション
いきなり「この画像の結論は？」と聞くのではなく、ステップを分けます。
- ステップ1（現状把握）: 「まず、この画像に何が映っているか、客観的に描写してください」
- ステップ2（推論・分析）: 「その描写に基づくと、どのような問題点が考えられますか？」
このように段階を踏むことで、AIはステップ1で生成したテキストをコンテキストとして活用し、ステップ2の回答を導き出します。
もしステップ1の時点で「猫が映っています（実際は犬）」というような明らかな認識エラーがあれば、その時点で修正できます。結論が出てからやり直すよりも、手戻りが少なくて済みます。
認識のズレを早期発見するテクニック
業務フローに組み込む際も、いきなり結果を出力させるのではなく、「AIによる画像解説」→「人間による確認」→「最終アウトプット」というプロセスを経るのが安全です。特に医療画像や設備の点検など、高い精度が求められる領域では、この「確認の対話」が重要なプロセスとなります。
Tip 5：もし間違えたら？リカバリーのための「修正指示」定型文
どんなに丁寧に指示しても、AIが誤認識することはあります。そんなとき、すぐに見切りをつける必要はありません。修正の指示出しにも論理的なアプローチがあります。
否定命令よりも肯定命令を使う
「〇〇しないで」という否定的な指示は、かえってその要素をAIに意識させてしまうことがあります（ネガティブプロンプトの逆説的効果）。
修正するときは、「〇〇ではなく、△△として扱ってください」と、期待する振る舞いを具体的に指示するのが効果的です。
- NG: 「日付を間違えないで」
- OK: 「日付は画像右下の『発行日』の欄を参照してください。2024年として読み取ってください」
追加情報（ヒント）の与え方
画像が不鮮明でAIの判断が定まらない場合は、利用者が持っている情報を前提条件として与えましょう。
「この画像は少し暗いですが、写っているのは『A型番』の部品です。それを前提に、表面の傷の有無をチェックしてください」
このように「前提条件（コンテキスト）」を追加することで、AIの推論を正しい方向へガイドできます。AIとの対話は反復的なプロセスです。期待する結果が得られない場合は、より明確な前提条件を提示することが重要です。
まとめ：言葉の補助があれば、マルチモーダルAIは怖くない
ここまで、画像認識AIへの指示出し（プロンプト）のコツを5つ紹介してきました。
- 役割を与える（誰の目で見るか）
- 視線を誘導する（どこを見るか）
- 型にはめる（どう答えるか）
- 段階を踏む（確認しながら進む）
- 的確に修正する（正解へ導く）
これらはすべて、特別な技術ではありません。業務において要件を明確に伝える「論理的なコミュニケーション」と同じです。AIは適切な指示によって機能するツールです。言葉という補助線さえあれば、AIは高いパフォーマンスを発揮します。
まずは手元のスマートフォンにある写真をAIにアップロードして、これら5つのTipを試してみてください。今までとは違う、精度の高い回答が得られるはずです。
そして、こうしたプロンプトの工夫によって、実際に業務効率を改善した事例も多く報告されています。一般的な成功事例を参照することで、さらなる活用方法が見つかるでしょう。
コメント