2．実ビジネスにおける泥臭いプロンプトチューニング

プロンプトチューニングとは、LLMに対して具体的かつ正確な指示を与えることで、期待する品質の出力結果を得るためにプロンプト（指示文）を最適化する技術です。

NTTデータでも、企業のビジネス課題を解決に生成AIを導入していますが初期段階では十分なプロンプトチューニングを実施せずに出力結果を確認したところ、実業務で求められる高度化・効率化の水準には到底達していませんでした。
そこで、主に以下の3つの目的から本格的なプロンプトチューニングを実施しました。

• 1．使用しているLLMを特定の業界や業務領域に適合させ、その分野における出力の実用性を向上させるため。
• 2．出力時の形式を明確に指示し、後続処理が可能なように形式を固定するため。
• 3．業務で利用可能な水準を実現するため、プロンプトの指示内容をより明確かつ具体的にし、LLMの出力精度を向上させるため。

また、プロンプトチューニングによる精度改善を進めるにあたり、事前に改善方針を明確に定めた上で、特定箇所の出力精度向上を目的としてプロンプトチューニングを実施していました。
しかし、改善対象の精度は向上しても、他の箇所の出力精度が低下するといった、いわゆるモグラたたきのような状況が頻繁に発生することがわかり、出力精度を改善させていくには、泥臭く地道なプロンプトチューニングの繰り返しが不可欠であることがわかりました。

NTTデータでは、特に以下のような作業に苦労しながら精度改善に取り組んでいます。

• 1．出力内容にハルシネーション（※1）などの誤りなどがないかの確認
• 2．プロンプトチューニング前後で改善対象箇所の出力精度を比較し、精度が向上したかの確認
• 3．プロンプトチューニング前後で全体の出力精度を比較し、出力全体で精度が向上したかの確認

このようにプロンプトチューニング前後での出力を丁寧に比較しながら、精度改善に向けた開発を着実に進めています。

3．実ビジネスにおけるプロンプトチューニングの極意

前章で述べたように、プロンプトチューニングは地道な試行錯誤の積み重ねによって精度を向上させていくプロセスです。NTTデータでは、この作業負荷を少しでも軽減し、より効率的な改善サイクルを実現するために、さまざまな取り組みを進めています。本章では、プロンプトチューニングを成功させるために欠かせない要素と、NTTデータにおける技術的な工夫についてご紹介します。

プロンプトチューニングは以下の手順で進められます。

• 1．チューニング対象箇所の特定
• 2．プロンプトチューニングの実施
• 3．出力結果の確認
• 4．精度が十分でない場合の再チューニング

この改善サイクルを繰り返すことで、段階的に出力の精度を向上させていきます。
一見シンプルなプロセスに見えますが、実際には「どの箇所を、どのように改善すべきか」を見極める力が求められます。

プロンプトチューニングを効果的に進めるには、業務理解と分析設計・実装力の両輪が欠かせません。

• 業務理解が不足していると、何を良くするのか・どの指標で評価するのかといったゴールが定まらず、評価設計やチューニングの方針がぶれます。
• 分析設計・実装力が不足していると、定義した指標に基づく現状評価・原因特定・検証設計・効果検証が不十分になり、改善点を特定して打ち手に落とし込めません。

どちらか一方でも欠けると、「何をどれだけ良くするか」と「どう良くするか」がつながらず、場当たり的な試行錯誤に陥りやすくなります。

さらにNTTデータでは、プロンプトチューニングにおける課題を解消するため、業務理解を組み込んだツールを開発しました。

このツールは特に以下の作業を支援します。

• 出力内容にハルシネーションが含まれていないかの確認
• プロンプトチューニング前後の出力精度の比較

従来、これらの作業はデータサイエンティストが目視で確認しており、膨大な時間を要していました。ツール導入後は多くの工程が自動化され、作業負荷が大幅に軽減されました。結果として、プロンプト改善のサイクルをより高速に回すことが可能になりました。

図3：プロンプトチューニングを効率化するNTTデータの取り組み

プロンプトチューニングの本質は、単なる指示文の調整ではなく、「業務を深く理解した上で、AIを正しい方向に導く分析プロセス」です。
業務理解と分析設計・実装力の両輪がかみ合ってこそ、初めて効果的かつ持続的な精度向上が実現できるのです。

4．生成AI活用によるビジネス課題の解決に興味がある方へ

本稿では、NTTデータでの生成AI実装における取り組みのなかから、プロンプトチューニングに関する事例をご紹介しました。NTTデータのソリューション事業本部では、生成AIを活用し、お客さまのビジネス課題の解決を支援する取り組みを推進しています。「生成AIを導入したものの、思うようにビジネス成果に結びつかない」といったお悩みをお持ちの方や本稿の内容にご興味をお持ちの方は、ぜひNTTデータにご相談ください。