← ブログ一覧へ

LREC 2026

敬語を使える AI は、適切なメールも書けるのか？

教授宛てと友人宛てのメールの違いから、JaSocial の評価方法を紹介します。

Muxuan Liu · 約 5 分で読めます

身近な場面から考える

約束をキャンセルするとき、教授へのメールと友人へのメッセージでは、普通は言い方が変わります。友人に公文書のような文章を送れば、文法的には正しくても、よそよそしく感じられるかもしれません。これは研究の問いを説明するための例で、実験文の引用ではありません。

本論文が扱うのは、AI が「誰から誰へ、どのような関係で話すか」に応じて表現を選べるか、という問題です。日本語の敬語を、その能力を観察する手がかりにしています。

敬語の数だけでは測れない

敬語が多いほど適切とは限りません。丁寧な表現だけを評価すると、どんな相手にも堅い文章を書くモデルが高く評価されてしまいます。

JaSocial はメールを三つの層に分けて見ます。相手との社会的な関係、依頼・説明・感謝などの伝達目的、そして実際の敬語表現です。「関係・目的・言い方」がかみ合っているかを調べます。

どのように実験したか

基盤となるのは 1,200 通の日本語メールです。学生から教授、学生から友人、社員から上司、社員から同僚など、六つの関係ごとに 200 通を用意しました。これらに情報を付与し、日本語 BERT を用いた分類器で自動判定できるようにします。

生成実験では 16 種類の言語モデルに 30 場面のメールを書かせ、計 480 件の出力を評価しました。各場面には人間が書いた五つの参照メールがあります。双方をタグの特徴に変換し、類似度を計算します。この点数は参照表現との近さであり、メールが正しい確率ではありません。

友人へのメールが意外に難しい

多くのモデルは、上下関係のある正式な場面では比較的良好でした。一方で、友人宛てでも丁寧すぎる表現を使いがちでした。論文では、論文指導について教授に感謝する場面の平均点は約 0.907、友人との勉強の約束を取り消して謝る場面は約 0.660 でした。異なる場面を比較した傾向であり、宛先だけを変えた厳密な対照実験ではありません。

敬語を生成する能力と、相手に合わせて距離感を調整する能力は別です。流暢さに加え、関係に合った表現かを見る必要があります。なお、結果は実験当時のモデルのもので、現在利用できる全モデルの順位ではありません。

評価から何が分かるか

評価を分解すると、関係を誤解したのか、依頼や感謝の意図を取りこぼしたのか、敬語の選び方が合わないのかを調べやすくなります。総合点だけよりも、メール生成システムを改善する手がかりが得られます。

ただし、対象は日本語メールの限られた場面です。自動分類にも誤りはあり、参照メールに似ていることが、すべての実際のやり取りでの適切さを保証するわけではありません。社会的知能の全体を測る指標でもありません。

コードと論文

JaSocial の GitHub には評価処理とサンプルがあり、学習済み重みは別途取得します。現在の公開データは一部のサンプルで、全データの入手方法は README を確認してください。2025 年の論文が枠組みを提案し、2026 年の本論文が実装と複数モデルの評価へ進めています。