Survey questionnaire

調査票

Online supplementary materials for “Generative AI and the Accountability Dilemma: An RCT on AI-Assisted Simplification of Evaluation Reports.”

このページは、論文のオンライン補足資料として、調査参加者に提示した前文、質問項目、提示文章の内容を掲載するものです。個票データは公開していません。

English translation

アンケート詳細（前文）

この度は、アンケートにご協力いただき、誠にありがとうございます。

長野県立大学グローバルマネジメント学部講師の三上真嗣と申します。

この調査は、私が研究代表者を務める日本学術振興会科学研究費助成事業「行動行政学に基づく行政責任論の量的研究：機械学習と実験を用いた評価報告書の分析（JP23K18770）」に支援を受けて実施されるものです。ここでは、行政機関が公表する数々の行政文書のうち、評価報告書に焦点を当てて「どのような評価報告書が人々の納得に寄り添うのか」を検証し、行政における実務改善を目指すことを目的としています。

今回の調査では、お1人あたり1種類の文書（評価報告書）をランダムで提示いたします。ご担当の文書をお読みいただいた上で、各評価項目（青色の太字で表示、例: 【評価基準２国際機関等拠出先の活動の成果】）についてお伺いします。当該文書が示す行政活動に対する皆様の理解度や納得感を正直にご回答ください。

回答時の注意事項

質問は全体を読み終わったあとに表示されます。文章を回答時に見直すことができないため、後で振り返ることができるように各項目ごとにメモを取っていただいても構いません。また、回答中にインターネット等で自由に調べていただいて構いません。
本調査は、いずれも日本の外務省が公表した実際の文章（国際機関評価報告書）を元のデータとして利用しています。ただし、検証のために研究者の手および生成AIを通じて一部または全体に変更を加えています。今回提示される文章に関する責任は調査者にある点をご留意ください。

ご回答いただいたデータは、個人情報が特定されないように厳重に管理し、完全に「匿名化」処理をした上で、以下の目的で利用させていただきます。

研究および実務改善を目的とした、学会・研究会等の報告、学術論文、書籍等における公表（直近では日本政治学会における報告を予定）
研究および実務改善を目的とした、研究者・実務家に向けたウェブサイトにおけるデータ公開・共有
研究および実務改善を目的とした、行政サービス向上のためのDX・機械学習技術に用いる情報源としての利用・公表（将来的な訓練済モデルの公開を含む）

個人情報のお問い合わせに関する窓口: https://www.mmikami.jp に専用窓口を設けております。

皆様のご回答は、より分かりやすく、人々に寄り添う行政を実現するための貴重なデータとなります。ご多忙中恐縮ですが、ご協力いただけますようお願い申し上げます。

質問一覧

Q1

最終学歴、または現在の学業状況を以下の中からお選びください。（択一）

中学校卒業
高等学校在学中
高等学校卒業
専門学校在学中
専門学校卒業
短期大学在学中
短期大学卒業
大学在学中
大学卒業
大学院在学中（修士）
大学院修了（修士）
大学院在学中（博士）
大学院修了（博士）
その他
回答しない

Q2

評価報告書の内容について、どの程度理解できましたか？

全く理解できなかった
あまり理解できなかった
どちらとも言えない
ある程度理解できた
よく理解できた

Q3

評価報告書の説明を読んで、報告書中に示された政府の活動に対して、どの程度納得感を覚えましたか？

全く納得できなかった
あまり納得できなかった
どちらとも言えない
ある程度納得できた
よく納得できた

Q4

評価報告書の中で、以下のどの評価基準があなたの納得感を高める上で役立ちましたか？（複数回答）

□1. 評価基準１本件拠出を通じて達成を目指す日本の外交政策目標への貢献度
□2. 評価基準２国際機関等拠出先の活動の成果
□3. 評価基準３国際機関等拠出先の組織・行財政マネジメント
□4. 評価基準４日本人職員・ポストの状況等
□どれも役立たなかった

Q5

Q4に続けて、より具体的にお聞かせください。評価報告書の中で、以下のどの項目があなたの納得感を高める上で役立ちましたか？（複数回答）

□拠出先の概要
□概要
□金額
□1-1 (1) 外交政策上の目標
□1-1 (2) 有用性・重要性
□1-2 日本の意向を反映できる地位等の維持・確保の状況
□1-3 要人往来、政策対話
□1-4 日本関係者（日系企業、日本の NGO・NPO、地方自治体、大学等）への貢献
□1-5 外交政策目標に向けた拠出の貢献度総括
□2-1 拠出先の戦略目標
□2-2 拠出先の戦略目標達成のための拠出先の取組及びその成果
□2-3 拠出先の活動の成果に関わる日本側の取組
□3-1 拠出先の決算報告書等の概要
□3-2 拠出先の組織・行財政マネジメント
□4-1 日本人職員・ポストの状況
□どれも役立たなかった

回答は以上となります。アンケートの結果は完全に匿名化をした後で、後日調査者のウェブサイト（https://www.mmikami.jp）上にて公開いたします。お忙しいところご協力をいただき、誠にありがとうございました。

提示文章

調査では、以下の評価報告書本文またはその生成AI変換版を提示しました。

クラスター弾に関する条約履行支援ユニット拠出金，ジュネーブ人道的地雷除去国際センター（Geneva International Centre for Humanitarian Demining: GICHD）

外務省公表版および生成AI変換版を提示文章として使用した。主な評価項目は、拠出先の概要、概要、評価基準１「本件拠出を通じて達成を目指す日本の外交政策目標への貢献度」、評価基準２「国際機関等拠出先の活動の成果」、評価基準３「国際機関等拠出先の組織・行財政マネジメント」、評価基準４「日本人職員・ポストの状況等」である。

外務省公表版では、2015年5月にGICHDがホストする形で設立されたクラスター弾に関する条約履行支援ユニット（ISU）の概要、クラスター弾に関する条約の目的、ISUの事務局機能、日本の軍備管理・軍縮・不拡散政策との関係、締約国会議等における日本の関与、ISUの決算・監査・組織運営、日本人職員・ポストの状況等について説明した。

生成AI変換版では、同じ内容を、クラスター爆弾をなくすための国際的な取り組み、ISUの役割、日本の支援の意味、条約会議での日本の関与、お金の使い道と管理、事務局で働く日本人の状況などとして、平易な表現に変換した。

国際連合人口基金（UNFPA）拠出金

外務省公表版および生成AI変換版を提示文章として使用した。主な評価項目は、拠出先の概要、概要、評価基準１「本件拠出を通じて達成を目指す日本の外交政策目標への貢献度」、評価基準２「国際機関等拠出先の活動の成果」、評価基準３「国際機関等拠出先の組織・行財政マネジメント」、評価基準４「日本人職員・ポストの状況等」である。

外務省公表版では、UNFPAの設立背景、リプロダクティブ・ヘルス、家族計画、人口開発分野での支援、人間の安全保障、UHC、WPS、SRHR、日本企業・大学等とのパートナーシップ、APDA/AFPPD/JPFPとの連携、UNFPA戦略計画2022-2025の成果、決算報告・監査、日本人職員・ポストの状況等について説明した。

生成AI変換版では、同じ内容を、人口問題への対応、人々の健康と権利の支援、日本との連携、女性と子どもの健康、誰もが健康になれるようにする取り組み、UNFPAの目標と成果、お金の管理、日本人職員の状況などとして、平易な表現に変換した。