Awesome

RealPersonaChat

RealPersonaChat は，話者本人のペルソナと性格特性を含む，約14,000件の日本語雑談対話からなるコーパスです．

[!NOTE] こちらの公開版は，収集した全14,000対話から，個人情報をマスクし，倫理的観点から問題があると考えられる対話を除外したものです． 論文では14,000対話に対する分析結果が報告されており，公開版の統計情報とは若干異なることにご注意ください．

統計情報

語彙数および単語数を求めるにあたって，形態素解析器には MeCab，辞書には NEologd を用いました．

データフォーマット

real_persona_chat/ 内に，対話データ dialogues/*.json と，話者データ interlocutors.json があります．

real_persona_chat/
├── VERSION             // 本コーパスのバージョン
├── dialogues/          // 対話データ（1ファイルにつき1対話）
│   ├── 00001.json
│   ├── 00002.json
│   ├── ...
│   └── 14000.json
└── interlocutors.json  // 話者データ（1ファイルに全ての話者分）

対話データ

対話データには，対話ID，話者ID，発話，および，話者ごとの評価スコアが含まれます．評価スコアは，1が低いことを，5が高いことを示します．

{
    "dialogue_id": 1,
    "interlocutors": [
        "AA",
        "AB"
    ],
    "utterances": [
        {
            "utterance_id": 0,
            "interlocutor_id": "AA",
            "text": "よろしくお願いいたします。",
            "timestamp": "2022-08-06T14:51:18.360000"
        },
        {
            "utterance_id": 1,
            "interlocutor_id": "AB",
            "text": "よろしくお願いします！",
            "timestamp": "2022-08-06T14:51:48.482000"
        },
        {
            "utterance_id": 2,
            "interlocutor_id": "AA",
            "text": "今日は涼しいですね",
            "timestamp": "2022-08-06T14:51:55.538000"
        },
        {
            "utterance_id": 3,
            "interlocutor_id": "AB",
            "text": "雨が降って、何か涼しくなりましたね。",
            "timestamp": "2022-08-06T14:52:07.388000"
        },
        {
            "utterance_id": 4,
            "interlocutor_id": "AA",
            "text": "そうですね、明日も涼しいと聞きました",
            "timestamp": "2022-08-06T14:52:16.400000"
        },
        {
            "utterance_id": 5,
            "interlocutor_id": "AB",
            "text": "そうなんですか！でも、ちょっと湿度が高い気がします。",
            "timestamp": "2022-08-06T14:52:31.076000"
        },
        // ...
    ],
    "evaluations": [
        {
            "interlocutor_id": "AA",
            "informativeness": 5,
            "comprehension": 5,
            "familiarity": 5,
            "interest": 5,
            "proactiveness": 5,
            "satisfaction": 5
        },
        // ...
    ]
}

個人情報を含む発話は該当部分がマスクされています．また，公開版では，倫理的に問題があると考えられる対話は除いています．

話者データ

話者データには，話者IDをキーとして，話者ID，ペルソナ，性格特性，属性，テキストチャットの経験が含まれます．性格特性スコアが高いほど，その性格的な傾向が強いことを示します．

{
    "AH": {
        "interlocutor_id": "AH",
        "persona": [
            "私は学生である。",
            "埼玉県出身である。",
            "私は毎日朝食を食べない。",
            "私は毎日ウォーキングをする。",
            "私はよくコンビニに行く。",
            "私はタイピングが早い。",
            "自分は物覚えが悪い。",
            "自分は将来の目標が明確に決まっている。",
            "毎日楽しいことを見つけられる。",
            "自分は好きなものにはとことんこだわる。"
        ],
        "personality": {
            "BigFive_Openness": 5.25,                        // 開放性
            "BigFive_Conscientiousness": 3.1666666666666665, // 誠実性
            "BigFive_Extraversion": 3.3333333333333335,      // 外向性
            "BigFive_Agreeableness": 4.166666666666667,      // 協調性
            "BigFive_Neuroticism": 4.416666666666667,        // 神経症傾向
            "KiSS18_BasicSkill": 4.0,                        // 初歩的な社会的スキル
            "KiSS18_AdvancedSkill": 4.333333333333333,       // より高度の社会的スキル
            "KiSS18_EmotionalManagementSkill": 4.0,          // 感情処理の社会的スキル
            "KiSS18_OffenceManagementSkill": 4.0,            // 攻撃に代わる社会的スキル
            "KiSS18_StressManagementSkill": 4.0,             // ストレスを処理する社会的スキル
            "KiSS18_PlanningSkill": 4.666666666666667,       // 計画の社会的スキル
            "IOS": 4,                                        // 他人との関係
            "ATQ_Fear": 5.0,                                 // 恐れ
            "ATQ_Frustration": 3.5,                          // 欲求不満
            "ATQ_Sadness": 3.0,                              // 悲しさ
            "ATQ_Discomfort": 3.3333333333333335,            // 不快
            "ATQ_ActivationControl": 3.7142857142857144,     // 賦活的制御
            "ATQ_AttentionalControl": 3.8,                   // 注意
            "ATQ_InhibitoryControl": 3.142857142857143,      // 抑制的制御
            "ATQ_Sociability": 4.0,                          // 社交性
            "ATQ_HighIntensityPleasure": 4.571428571428571,  // 強い刺激への快
            "ATQ_PositiveAffect": 3.4,                       // 肯定的感情
            "ATQ_NeutralPerceptualSensitivity": 4.2,         // 知覚敏感性
            "ATQ_AffectivePerceptualSensitivity": 4.4,       // 感情的知覚敏感性
            "ATQ_AssociativeSensitivity": 4.8,               // 連想的敏感性
            "SMS_Extraversion": 2.6,                         // 外向性
            "SMS_OtherDirectedness": 3.5833333333333335,     // 他者指向性
            "SMS_Acting": 3.75                               // 演技性
        },
        "demographic_information": {
            "gender": "Male",
            "age": "-19",
            "education": "Other",
            "employment_status": "Student",
            "region_of_residence": "Saitama"
        },
        "text_chat_experience": {
            "age_of_first_chat": "-9",
            "frequency": "Every day",
            "chatting_partners": [
                "Family",
                "Friend"
            ],
            "typical_chat_content": "学校に関すること、事務連絡など"
        }
    },
    // ...
}

本コーパスの使用例

[!CAUTION] 本コーパスの使用にあたっては，次のことに十分注意してください．

• 本コーパスのデータから個人を特定しようとしないこと．
• 本コーパスを，特定の話者へのなりすましに用いないこと．
• 本コーパスを話者の属性や性格特性の推定などに用いる際は，自身の情報を推定されたくない話者の権利についても留意すること¹⁰．

LLM による対話システムの構築¹¹

ここでは RealPersonaChat を対話システムの構築に利用した例を紹介します．我々は，RealPersonaChat のペルソナや性格特性を GPT-4/3.5 にプロンプトとして与えることで，4種類の対話システムを構築しました．第三者にシステムと対話をさせ，対話の一貫性，情報量，満足度を評価させたところ，ペルソナと性格特性の両方を与えることで高い評価が得られました．実験に用いたプロンプト，対話ログ，各対話に対する評価結果については llm_dialogue_system/ をご覧ください．

性格予測モデルの学習¹²

RealPersonaChat を性格予測モデルの学習に利用した例はこちらです．

文献

@inproceedings{yamashita-etal-2023-realpersonachat,
    title = "{R}eal{P}ersona{C}hat: A Realistic Persona Chat Corpus with Interlocutors{'} Own Personalities",
    author = "Yamashita, Sanae  and
      Inoue, Koji  and
      Guo, Ao  and
      Mochizuki, Shota  and
      Kawahara, Tatsuya  and
      Higashinaka, Ryuichiro",
    booktitle = "Proceedings of the 37th Pacific Asia Conference on Language, Information and Computation",
    year = "2023",
    pages = "852--861"
}

@inproceedings{yamashita-etal-2024-realpersonachat-ja,
    title = "{R}eal{P}ersona{C}hat: 話者本人のペルソナと性格特性を含んだ雑談対話コーパス",
    author = "山下 紗苗 and 井上 昂治 and 郭 傲 and 望月 翔太 and 河原 達也 and 東中 竜一郎",
    booktitle = "言語処理学会第30回年次大会発表論文集",
    year = "2024",
    pages = "2738--2743"
}

謝辞

本コーパスは，JSTムーンショット型研究開発事業，JPMJMS2011 の支援を受けて構築しました．

ライセンス

本コーパスは CC BY-SA 4.0 の下で提供されます．