AI開発のトレンドを追う際、どうしてもOpenAIやGoogle、Anthropicといった北米のプレイヤーの動向に目が向きがちです。しかし、アジア、特に中国のAI実装には、北米とは異なる独特の「進化系統樹」が存在しています。長年、業務システムの設計やAIエージェントの研究開発に携わってきた視点から見ると、この違いは非常に興味深いものです。
本稿では、あえて中国Baidu（百度）の対話型AI「Ernie Bot（文心一言）」を題材に取り上げます。これは特定のサービスの宣伝でも、中国市場への進出を推奨するものでもありません。
ここで注目すべきは、彼らの「マルチモーダル機能の統合アプローチ」です。
対話型AIのマルチモーダル化は急速に進んでいます。例えばOpenAIのChatGPTでは、2026年2月にGPT-4oなどのレガシーモデルが提供終了となり、長い文脈理解や画像・音声のシームレスな統合処理に優れたGPT-5.2へと標準モデルが移行しました。これにより、かつて画像生成を呼び出す際に生じていたモードの切り替わりや待機時間は大幅に解消されています。
一方でErnie Botは、リリース初期の段階から、テキスト対話の流れの中で驚くほど自然に画像を生成し、それを操作する体験を提供していました。これは、WeChatに代表される「スーパーアプリ（All-in-One）」文化が育んだ、UX（ユーザー体験）への執念とも言える設計思想の違いを反映しています。
現在、多くの企業が対話型AIを自社システムに組み込もうと試みていますが、単にAPIを繋ぎこんだだけのチャットボットで終わってしまうケースは珍しくありません。ユーザー体験が分断され、日常的なツールとしての定着に至らないという課題です。このような壁に直面しているプロダクトマネージャーやDX推進者に向けて、Ernie Botの構造解剖を通じて、「シームレスなAI体験」をどう設計し、実装に落とし込むか、その具体的なアプローチを提示します。まずはプロトタイプを作り、仮説を即座に形にして検証するアジャイルな思考が、ビジネスへの最短距離を描く鍵となります。
単なる機能紹介にとどまらず、実際のプロダクト仕様書と照らし合わせながら、ユーザーの対話と生成を断絶させない統合戦略のヒントを深掘りします。
学習パスの概要：なぜ「統合型」マルチモーダルが重要なのか
まず、前提を共有します。なぜ私たちはマルチモーダル（テキスト、画像、音声などを組み合わせた処理）の「統合」にこだわる必要があるのでしょうか。
本コースのゴールと成果物
この学習パス（記事）を読み終えたとき、皆さんは以下のスキルと視点を獲得しているはずです。
- UX分解力: 既存のAI製品を見て単に感心するだけでなく、裏側のロジックと遷移フローを推測できる。
- 文脈設計力: モーダル（情報の種類）が変わっても、ユーザーの思考を中断させない対話シナリオを描ける。
- 実装要件定義力: UXを実現するために必要なバックエンド構成と、レイテンシー（遅延）への対策を言語化できる。
最終的な成果物として、自社サービスの「マルチモーダル機能要件定義書」の骨子が作れる状態を目指します。
Ernie Bot (文心一言) が示す統合の形
Ernie Botの最大の特徴は、テキスト生成と画像生成が「同じ人格」の中で行われているように感じさせる点です。ユーザーが「パンダの絵を描いて」と指示すれば描き、その直後に「もっと可愛くして」と伝えれば、前の画像を修正します。この一連の流れにおいて、ユーザーは「画像生成モード」に切り替えるスイッチを押す必要がありません。
これは技術的に見れば、LLM（大規模言語モデル）と画像生成モデルが密結合、あるいは高度にオーケストレーションされていることを意味します。中国のユーザーは、一つのアプリでチャットも決済も配車も行う体験に慣れ親しんでいます。そのため、AIにおいても「機能ごとにアプリや画面を使い分ける」というUXは許容されにくい背景があります。この厳しい要求水準が、統合型UXを洗練させました。
プラグイン型 vs ネイティブ統合型のUX比較
ここで、設計思想の違いを比較します。
プラグイン型 (The Plugin Approach):
- 特徴: 必要に応じて外部ツールを呼び出します。明確に「別の機能を使っている」感覚が伴います。
- メリット: 開発が疎結合で容易です。各機能の専門性が高くなります。
- デメリット: コンテキスト（文脈）の受け渡しにロスが生じやすく、体験が分断されます。
- 例: 初期のChatGPT Plugins、従来の単純なRAG（検索拡張生成）システム。
※最新のRAG（GraphRAGやマルチモーダルRAGなど）はこの課題を克服しつつありますが、基本的な構成としてはこちらに分類されます。
ネイティブ統合型 (The Native Integration Approach):
- 特徴: モデル自体がマルチモーダルであるか、ミドルウェアが完全に隠蔽しています。非常にシームレスです。
- メリット: ユーザーの思考フローを阻害しません。高い没入感を提供します。
- デメリット: モデルのトレーニングやチューニングが複雑になり、開発コストが高くなります。
- 例: OpenAIの標準モデル、Gemini、そしてErnie Bot。
※OpenAI公式サイト（2026年2月時点）によると、GPT-4oなどのレガシーモデルが廃止され、画像・音声・テキストのマルチモーダル処理と高度な推論（ThinkingとInstantの自動ルーティング）を統合したGPT-5.2へと移行しています。このように、最新のAPIモデル群ではテキスト、画像、音声、動画をシームレスに処理する能力が飛躍的に向上しています。
私たちが目指すべきは、後者の「ネイティブ統合型」の体験を、既存のAPIの組み合わせ（技術的にはプラグイン型のアプローチ）でいかに擬似的に再現するか、という点です。ここにエンジニアリングとUXデザインの妙があり、スピーディーな解決策を導き出すポイントとなります。
Step 1 [分解]：Ernie Botの対話-描画遷移プロセスを解剖する
では、具体的に中身を分解していきましょう。ユーザーがテキストボックスに文字を入力してから、画像が返ってくるまでの間に、裏側では何が起きているのでしょうか。
コンテキスト維持のメカニズム
Ernie Botが優れているのは、「意図のルーティング（Routing）」の精度です。
通常のチャットボット開発では、ユーザーの入力をそのままLLMに投げがちです。しかし、統合型UXを実現するためには、LLMに投げる前に、あるいはLLMの最初の処理として、「この入力は対話（Text Generation）を求めているのか、描画（Image Generation）を求めているのか」を判断するClassifier（分類器）が介在しているはずです。
Ernie Botの挙動を技術的に分析すると、以下のような処理フローが推測されます。
- Input Analysis: ユーザー入力を解析。
- Intent Classification: 「描画意図」のスコアを算出。閾値を超えたら画像生成パイプラインへ分岐。
- Prompt Extraction: 直前の会話履歴（Memory）と今回の入力を合わせ、画像生成用プロンプト（多くの場合、英語の中間表現）に変換。
- Generation: 画像生成モデルが実行。
- Response Construction: 画像と共に、気の利いた一言（「こんな感じのパンダはいかがですか？」）を添えて出力。
この「3. Prompt Extraction」が肝です。単に「パンダ」という単語を拾うだけでなく、「さっき話題にしていた『竹林』の背景で」という暗黙の文脈（Implicit Context）を補完してプロンプト化する技術が、UXの滑らかさを決定づけます。
トリガーワードと意図理解の境界線
「描いて」「生成して」といった明確なトリガーワード（命令語）がある場合は簡単です。難しいのは、曖昧な入力の処理です。
例えば、ユーザーが「理想の未来都市ってどんな感じかな？」と入力したとします。
これを「テキストで説明してほしい」のか「ビジュアルで見せてほしいのか」、あるいは「両方」なのか。Ernie Botや最近の高度なモデルは、ここで「マルチモーダル・レスポンス」を選択する傾向があります。つまり、テキストで解説しつつ、参考画像も生成して提示する。この「頼まれていないけど、気を利かせて出す」挙動こそが、AIエージェントとしての価値を高めます。
しかし、これにはリスクもあります。不要な画像生成はGPUリソースの無駄遣い（コスト増）になり、ユーザーにとってもノイズになり得ます。このバランス調整が、システム設計者や経営陣の腕の見せ所です。
【演習】遷移フロー図のトレース
さて、ここで皆さんに演習です。紙とペン、あるいはホワイトボードツールを用意してください。
課題: あなたのプロダクトで「顧客データを分析して」と言われた際、テキストで要約を返すルートと、グラフ（画像）を生成して返すルートの分岐条件をフロー図に書き出してください。
- 分岐条件（Decision Diamond）: どのようなキーワードが含まれていたらグラフ生成へ進むか？（例：「推移」「比較」「可視化」）
- 失敗時の処理: データが不足していてグラフが作れない場合、どうフォールバックするか？
このフロー図を書くことで、曖昧だった仕様が明確になります。「なんとなくAIがやってくれる」という思考停止から脱却しましょう。
Step 2 [設計]：シームレスな「文脈継承」を設計する
画像が一枚生成されました。しかし、一発でユーザーが満足することは稀です。「もう少しこうしてほしい」という修正指示が必ず発生します。ここでのUXが、サービスの質を分けます。
マルチモーダル・プロンプトエンジニアリング
Ernie Botを使っていると、生成された画像に対して「背景を赤にして」と指示すると、構図を保ったまま色だけが変わることがあります。これは、画像生成AIにおけるIn-painting（部分書き換え）やImage-to-Image（画像から画像への変換）の技術を、対話インターフェース裏で動かしているからです。
UX設計者が考えるべきは、ユーザーの自然言語（「もっと明るく」「右の人物を消して」）を、いかにして画像生成モデルが理解できるパラメータやマスク処理に変換するかです。
指示: 「もっと明るくして」
変換: プロンプトに ", bright lighting, sunny" を追加、あるいはネガティブプロンプトの "dark, dim" を強化。
指示: 「右の人を消して」
変換: 画像内のオブジェクト検出を実行 → 右側の「人」領域を特定 → その領域をマスクしてIn-paintingを実行。
このように、ユーザーの言葉を技術的な操作（Operation）に翻訳する辞書を設計する必要があります。
画像の修正指示を自然言語で処理するUX
ここで重要なのは、「対話履歴（Memory）の重み付け」です。
ユーザーが「やっぱりさっきのが良かった」と言った場合、システムは「さっきの画像」の状態（Seed値やプロンプト）を保持していなければなりません。
設計上のポイントは、各発言（ターン）に生成された画像のメタデータを紐づけて保存することです。
- Turn 1: 「猫を描いて」 → Image_ID_001 (Prompt: "cat", Seed: 12345)
- Turn 2: 「帽子を被せて」 → Image_ID_002 (Prompt: "cat wearing a hat", Seed: 12345, Source: Image_ID_001)
- Turn 3: 「やっぱり帽子なしで、背景を海に」 → Image_ID_003 (Prompt: "cat, ocean background", Seed: 12345, Source: Image_ID_001)
このように、どの画像をベース（Source）にするかを動的に切り替えるロジックが必要です。Ernie Botは、この文脈の追跡（Context Tracking）が非常に巧みです。
【演習】「修正対話」のシナリオライティング
では、再び演習です。
課題: 以下のユーザー発言に対する、システムの内部処理と応答シナリオを書いてください。
状況: ユーザーが住宅のデザイン案を生成させている。
直前の状態: モダンな平屋の画像が表示されている。
ユーザー発言: 「うーん、ちょっと冷たい感じがするな。もっと温かみを出して、庭に木を植えて。」
記述すべき項目:
- 解釈（Interpretation）: 「冷たい」をどうパラメータ変換するか？（例：色温度を上げる、木材のテクスチャを追加）
- 操作（Operation）: 「庭に木を植えて」をどう処理するか？（追加プロンプト、In-painting）
- 応答（Response）: 生成中の待ち時間を埋める、期待感を醸成するメッセージは？
この「解釈」の定義こそが、そのプロダクトの「センス」を決定づけます。
Step 3 [実装要件]：自社サービスへの適用と技術選定
UXの理想像が明確になったところで、次はこの体験を現実のシステムとしてどう実装するかを考えます。ここからは少しテクニカルな内容を含みますが、プロダクトマネージャーにとってもシステム全体を俯瞰するために重要なポイントです。
統合型UXを実現するためのAPI構成
Ernie Botのようなシームレスな体験を自社サービスで再現する場合、単一のAPI呼び出しだけで完結することはほとんどありません。複数のモデルを適材適所で連携させるオーケストレーター（Orchestrator）と呼ばれる制御層の構築が不可欠です。
例えば、LangChainなどのフレームワークを活用し、以下のような役割を持つエージェント群を構成します。
- Router Agent: ユーザーの入力意図を解析し、適切な処理モデルへタスクを振り分ける司令塔の役割を担います。
- Text Specialist: 複雑な論理的対話や高度な推論を担当するLLMです。API選定の際は、長文の安定処理や高度な推論機能を備えた最新のAPIモデル（GPT-5.2など）を採用することで、対話の質を担保します。GPT-4o等のレガシーモデルは廃止されるケースもあるため、最新のモデル移行状況を常に把握しておく必要があります。
- Visual Specialist: Stable DiffusionやDALL-E、MidjourneyのAPIなどを活用し、ユーザーの要求に応じた画像生成を担当します。
- Vision Specialist: マルチモーダル対応のAPIモデルが持つ視覚機能を利用し、画像を認識してテキスト化する役割を持ちます。生成された画像の品質チェックや、ユーザーがアップロードした画像の意図解釈にも活用できます。
これらの専門特化したモデル群をバックエンドで束ね、ユーザーには「一つの優秀なAI」と対話しているように見せることが、システム設計の要となります。
レイテンシーとユーザー期待値の調整
マルチモーダルUXにおいて最大の障壁となるのが「待ち時間（Latency）」です。
テキスト生成はストリーミング表示（文字が逐次出力される仕組み）によって体感速度を向上できますが、画像生成にはどうしても数秒から十数秒の物理的な処理時間がかかります。対話のリズムがスムーズであるほど、この数秒の沈黙がユーザーの思考を分断し、UXを大きく損なう原因になります。
Ernie Botや優れたアプリケーションが実践している、体感の待ち時間を軽減するテクニックをいくつか紹介します。
- プログレッシブ表示: 低解像度でぼやけたプレビュー画像を先に表示し、処理が進むにつれて徐々に鮮明な画像へと差し替えます。
- プロセス開示: 「構図を設計しています」「色彩を調整しています」といった進捗ステータスをテキストで実況し、システムが確実に稼働していることを伝えます。
- 非同期処理: 「画像の生成を進めておきますので、その間にこの件について深掘りしましょう」と、対話を止めずにバックグラウンドで生成タスクを走らせます。
特に3つ目の非同期処理は、ビジネスシーンでの利用において非常に有効なアプローチです。ユーザーの思考プロセスを止めず、待たせない設計を心がけることが重要です。
【演習】要件定義書のドラフト作成
課題: 開発チームと共有するための要件定義書における「非機能要件」セクションのドラフトを作成してください。
- 応答時間: 画像生成時の許容待機時間を何秒に設定するか。（例：5秒以内ならローディングアイコン、それ以上ならプログレスバーやバックグラウンド処理への切り替え）
- 同時実行数: 多数のユーザーが一斉に画像生成をリクエストした場合のキューイング（順番待ち）のルールや、タイムアウトの基準をどう定めるか。
- コスト制約: 1ユーザーあたりの1日の生成上限回数をどう設定するか。また、GPT-4o等のレガシーモデル廃止と新モデルへの移行といったAPIのアップデートに伴うコスト変動リスクをどう見積もるか。
これらを要件定義の段階で明確にしておかないと、リリース後に「レスポンスが遅くて使えない」「API利用料が想定外に高すぎる」といった致命的な問題に直面することになります。
Step 4 [評価]：マルチモーダル体験のKPI設定
最後に、設計した機能がうまくいっているかをどう測るか、評価指標（KPI）についてです。
定着率とセッション時間の分析
単純なPV（ページビュー）やMAU（月間アクティブユーザー）だけでは不十分です。マルチモーダルUXの成功指標として、長年の開発現場の知見からは以下のような観点が推奨されます。
- モーダルスイッチ率: テキスト対話のみで終わったセッションと、画像生成まで行ったセッションの比率。これが高いほど、マルチモーダル機能が認知・活用されている。
- 修正対話の成功率: 画像生成後に「修正指示」が出され、その次のターンでユーザーが「ありがとう」「保存」などのポジティブな行動を取った割合。これが低い場合、修正機能のUX（Step 2）に問題がある。
「機能利用」ではなく「課題解決」を測る指標
Ernie Botの事例から学ぶべきは、ユーザーは「絵を描くこと」自体が目的ではなく、「資料用の素材が欲しい」「イメージを具体化したい」という課題解決のために使っているということです。
したがって、究極のKPIは「成果物の利用率」です。生成された画像がダウンロードされたか、共有されたか、あるいはその後のドキュメント作成に使われたか。ここまでトラッキングできて初めて、UXの価値が証明されます。
チェックリストによる自己評価
本日の学習をまとめる意味で、簡単なチェックリストを用意しました。自社のプロダクトに当てはめてみてください。
- ユーザーは「画像生成モード」への切り替えを意識せずに利用できるか？
- 「あれ」「それ」といった指示語で、直前の画像を操作できるか？
- 画像生成中の待ち時間を埋める工夫（マイクロインタラクション）があるか？
- 不要な画像生成を抑制するガードレール（コスト管理）は機能しているか？
- 生成された画像がビジネスの現場で使える品質（解像度、著作権配慮）か？
まとめ：統合された体験が次の標準になる
Baidu Ernie Botの事例を通じて、マルチモーダルAIのUX設計がいかに奥深いか、お分かりいただけたでしょうか。
重要なのは、最新のモデルを使うことだけではありません。ユーザーの意図を汲み取り、適切なタイミングで、適切な形の情報（テキストなのか、画像なのか）を提示する「文脈の指揮者」としての設計が求められています。
今後、AIは「チャットボット」から「マルチモーダル・エージェント」へと進化します。その時、選ばれるのは機能が多いツールではなく、思考を止めずに使えるツールです。
まずは、今日作成したフロー図とシナリオをチームに共有してみてください。「うちのAI、もっと気が利くようにできないかな？」という議論が始まったら、それが変革の第一歩です。
もし、より具体的な実装イメージや成功事例を知りたい場合は、広く市場のケーススタディをリサーチし、競合がどのようなUXを実現しているか、その目で確かめてみることをお勧めします。
コメント