2．LLMOpsを実現するDatabricks

こうした中、注目を集めているのがDatabricksです。
Databricksはデータレイクハウス（※5）というアーキテクチャを中核として、データと同一基盤上でAIの開発と運用まで実現する、データとAIの統合プラットフォームです。構造化データ、非構造化データ、AIを全て集約管理してガバナンスを効かせながら、あらゆる用途に活用するための機能を、All in Oneで提供しています。

図2：Databricksの概要

データブリックス社は、2025年3月に発表された世界の新興テクノロジー企業ランキング（※6）にて1位に選出されるなど、急成長を遂げています。
近年データブリックス社は、生成AIおよびAIエージェントの開発と運用を支援するMosaic AI（※7）を強化しています。Mosaic AIは、データレイクハウス上で次のようなAIエージェントに特化した機能を提供し、効果的なLLMOpsを実現します。

• AIエージェントの実験管理
• AIエージェントの挙動可視化
• AIエージェントの評価
• AIエージェントのデプロイ
• AIエージェントのカタログ管理（一元的なガバナンス）

これらの機能は、Databricks上でマネージドに提供されるMLflow（※8）と統合されているものもあれば、独自の機能として実装されているものもあります。

3．当社のAgentOpsアセット紹介

DatabricksとMosaic AIは極めて強力なプラットフォームですが、多岐にわたる機能群を使いこなすには、一定のハードルがあります。
こうした中、NTT DATAは2025年1月にデータブリックス社と日本で唯一の資本業務提携を締結し、データとAIの統合基盤の提供における連携強化を発表（※9）しました。
この提携により、Databricks 開発チームと共創しながら最新アップデートを即時に取り込み、共同検証とアセット開発を進めています。その成果の一つが、データレイクハウスとMosaic AIの機能をフル活用し、LLMOps を実践する当社の独自アセットである「AgentOpsアセット」 です。
AgentOpsアセットは、現時点でLLMOpsライフサイクルの中でもAIエージェントの実験管理、挙動可視化、評価といった開発フェーズにフォーカスしており、AIエージェントの効果的かつ高速なチューニングを実現します。今後はサービング、監視、ガバナンスなど運用フェーズの機能も順次拡充し、LLMOps全体を一貫して支援するとともに、AIエージェント開発をさらに強力に後押しする予定です。 AgentOpsアセットはマルチクラウド対応のため、お客さまの任意の環境で展開可能となっています。

図3：AgentOpsによるAIエージェント改善のサイクル

4．AgentOpsアセットの実践事例と成果

本節では、AgentOpsアセットを活用して開発した営業支援エージェントのPoC事例をご紹介します。

4-1．背景と課題

本エージェントは、企業名を入力すると企業情報を取得し、提案書のドラフトを生成するものです。LLM利用コストと応答時間が実用化に向けた大きな課題となっていました。しかし、利用コストと応答時間を小さくするための試行錯誤をしていく中で以下の問題に直面しました。

• プロンプト調整の迷走
  変更を重ねるうちに回答品質が逆に低下し、改善前と同じ結果に戻ってしまうことが多発する
• 改善プロセスの不透明さ
  どの変更が効果を生んだのか定量的に把握できず、開発者の勘に頼らざるを得ない

この経験から、当社はAgentOpsアセット開発に着手しました。

4-2．AgentOpsアセット導入後のアプローチ

完成したAgentOps アセットを導入し、従来の開発者の勘に頼った方法から、先述のAIエージェント改善サイクルを実践する開発手法へと抜本的に転換しました。
具体的には、まず応答精度をAIエージェントの動作単位で定量評価し、AIエージェントの各構成要素における改善点を特定しました。評価指標として、ハルシネーション抑制や実行可能性など多角的な指標を設定しました。

図4：Databricks上でのAIエージェント応答精度の比較

精度が出ていない入力の詳細をクリックすると、例えば下記のような画面で改善点が表示されます。

図5：改善点の確認結果の例

これらの改善点を踏まえてプロンプトを改良し、応答精度を向上させました。そして一定の精度を確保した上で、本来の目的であるコストと応答時間の削減を図るために、より小型のモデルを複数試行し、許容範囲内の精度低下に収まる最小モデルを選定しました。さらに、モデルごとの応答傾向を考慮しながらプロンプトを再調整し、精度を向上させました。
このサイクルを繰り返すことで、精度を維持したままモデルの小型化とプロンプトの最適化を進め、実行コストを段階的に削減しました。

4-3．実践成果

AgentOpsアセット導入前後を比較した結果、応答精度を維持したまま実行時間および推論コストともに90%以上削減（10分の1以下）を達成しました。開発チームは定量指標を見ながら改善点を即時に特定できるようになり、試行錯誤に伴う手戻りも大幅に削減できました。
今回の取り組みのように、挙動可視化と精度定量化を行いながら繰り返し検証することで、改善の効果を把握しながら着実に進めることができます。

5．AgentOpsアセットの構成と技術の詳細

AgentOpsアセットは、Databricks環境上に展開される主に4つのテンプレートで構成されます。

図6：AgentOpsアセットのテンプレート構成

本記事では特に、中核となる「AIエージェント評価実行テンプレート」について詳しく説明します。
AIエージェント評価実行テンプレートでは、以下の処理プロセスを実行します。

• 1．AIエージェント実行
• 2．トレース記録（Mosaic AIの機能を活用）
• 3．トレース解析＆データ構造化
• 4．テーブルから任意のノードの入出力を取得
• 5．評価実行（Mosaic AIの機能を活用）

図7：AIエージェント評価実行テンプレートの処理フロー

AIエージェント評価実行テンプレートは、ワンクリックで一連のプロセスを実行できるだけでなく、独自に開発した機能拡張によってMosaic AI標準機能の制限を克服しています。

例えば2の処理では、Mosaic AIが提供するMLflowのネイティブメソッドを用いたトレース（※10）と呼ばれる挙動データを記録し、処理フローを可視化します。これにより、AIエージェントがどのような手順をたどり、どの工程に時間を要し、最終出力へ至ったかを画面上で確認できます。

図8：トレースによるAIエージェントの挙動確認画面

しかし、目視による確認だけでは本番環境での運用には不十分です。多様な入力サンプルに対して、処理フローをより細かな単位で定量評価し、ボトルネックを特定する必要があります。ところが、ネイティブ機能で取得したトレースは、以下の画像のように構造が複雑で、そのままでは十分に活用できませんでした。

図9：トレースのデータ構造の例

そこで、3の処理では、独自実装によりトレースを解析および加工し、AIエージェントの各処理ステップを1行単位で保持するテーブルに保存しました。これにより、後続の処理で任意の粒度の単位を選択して評価に活用できるようになりました。これらの処理フローは、任意のAIエージェント開発に転用可能になっています。

図10：処理ステップ単位に構造化されたトレースデータの出力例

6．今後の展望とメッセージ

AgentOpsアセットは、今後も機能拡張を重ね、より包括的なLLMOpsソリューションへと進化させていく予定です。現時点ではLLMOpsライフサイクルの中でも開発フェーズにフォーカスしていますが、今後は監視やモニタリング、ガバナンス領域のナレッジも蓄積し、運用全体をカバーできるようにします。さらに、Databricksが強みを持つBI 基盤や従来型AIとの連携に加え、SalesforceやServiceNowなどCX領域のSaaSとの統合も視野に入れ、より高度なAIエージェント開発を実現していきます。

AIエージェントの活用はまだ黎明（れいめい）期にあります。当社とともに、人とAIが協働する未来に向けて、業務改革を支えるAIエージェントの開発や運用を実践していきましょう。
当社のソリューションにご興味をお持ちいただけましたら、ぜひ当社までお問い合わせください。