2．法律知識追加でペルソナデータの有効性を実際に検証

今回は、検証対象のモデルとして弊社の「tsuzumi 2」を利用し、ペルソナデータとしては「Nemotron-Personas-Japan」を用いました。
Nemotron-Personas-Japanは日本の人口統計、地理的分布、文化的特性に沿ったペルソナを含むオープンなデータセットであることから、今回の目的に適していました。
このデータセットは100万人分のレコード情報で構成され、それぞれに図2に示すような6つのカテゴリがあることから、600万件分のペルソナが含まれています。各カテゴリごとのペルソナを用いることで、理論上、最大600万通りの説明文を生成することが可能です。

また、ペルソナデータは完全に人工的に合成されていることから、個人を特定できる情報は含まずに、実データの統計的な特徴だけを模倣します。

モデルに知識が追加できるかを検証するにあたり、元々モデルが持っていない知識を選定することも重要です。
今回の検証では図3のような30種類の架空の法律データを準備し、その法律に関する質問に答えることができるかどうかにより、学習後のモデルが知識を獲得したかどうかを判定しました。

図2：Nemotron-Personas-Japanに含まれるペルソナ情報

図3：検証で用いた架空法律の例

モデルの学習は1．継続事前学習（教師なし）、2．インストラクションチューニング（教師あり）の流れで構成し、合成データの有無や学習段階の違いによる効果を比較しました。評価は、

• 網羅性（質問に対してどの程度要点をカバーできているかを指標化したもの）
• 基法律との矛盾回避（学習対象とした法律定義とモデル回答の整合性を指標化したもの）

の二軸で行いました。

評価にはGPT-5によるLLM-as-a-judge（※2）を用いており、人手評価ではない点には留意が必要です。

3．ペルソナデータによりQA正答率が5倍以上に！

本検証の結果、ペルソナデータをプロンプトに組み込む処理を準備することで、ほぼ全自動で表1の通り学習データ量を増やすことができました。この結果から、1つ目の検証ポイントであった「低コストで十分な量の学習データを生成できること」については十分満たしていると考えられます。

表1：ペルソナデータ活用による学習データ量の増加

2つ目の検証ポイントである「生成された学習データがモデルへの知識追加にも効果的であるか」については、表2に示す結果となりました。

学習前は15%弱だったQA正答率が、ペルソナデータを用いた学習により80%弱まで向上し、知識追加が進んでいることが確認できました。特に、ペルソナデータなしでの学習と比較すると網羅性において大きな差がみられ、ペルソナデータにより深く知識が獲得できているといえます。

表2：ペルソナデータ有無によるQA正答率の違い

一方で、継続事前学習時のみデータ拡張した場合は、インストラクションチューニングでデータ拡張した場合ほど大きな効果はありませんでした。ただし、網羅性・矛盾回避の両面で大きく値が上がることからモデル能力の底上げとしての可能性が示唆されます。
これらの結果から、元の学習データ量が少ない場合でも、モデル能力を大幅に向上する学習データがペルソナデータにより手軽に合成でき、ローカルモデル活用において重要な役割を果たすことが分かりました。

4．今後の展望

今回ご紹介したペルソナデータによるデータ合成手法により、これまで業界特化・企業特化モデル実現において大きな壁となっていた学習データ量不足を乗り越え、より手軽に社内の独自用語や専門知識を持ったローカルLLM実現に大きく近づいたといえるでしょう。

合成データは「量を補う技術」から「品質と多様性を両立させる戦略」へと進化しつつあり、ローカルLLM活用において、今後さらに重要な位置づけになると考えています。
NTT DATAでは今後もこれらの検証を重ね、カスタマイズされたローカルLLMの実業務での活用に向けて適用ノウハウを蓄積してまいります。