セキュリティ・プライバシー分野におけるユーザ調査研究の地理的偏りを定量的に分析
発表のポイント：
1．研究の背景
心理学やヒューマンコンピュータインタラクション（HCI）などの人を中心とする研究分野では、ユーザ調査を通じて人々の心理特性や行動特性を解き明かしてきました。しかし、これらの研究において研究対象が西洋偏重であり、とりわけ“WEIRDな人々”に大きく偏っていることが指摘されています(※2)(※3)。“WEIRDな人々”とは、西洋の（Western）、教育水準の高い（Educated）、工業化された(Industrialized）、裕福な（Rich）、民主主義の（Democratic）社会の人々を意味します。地理的に偏った人々を対象にしたこれまでの研究では、その結果が全人類で共通のものなのか、それとも地理的な違いがあるのか、あるとすればどのような違いがあるのか、などの観点の深い分析や洞察が十分ではありませんでした。
一方で、人を中心として心理・行動・意思決定プロセスを分析し、その知見をコンピュータシステムの設計・実装・運用にフィードバックするセキュリティ・プライバシー研究分野においても、地理や文化の違いに結果が影響されることはいくつかの調査によって示されてきたものの、これまでの研究がどの程度“WEIRDな人々”に偏っているのかについて研究分野の全体像は明らかになっていませんでした。
2．研究の概要
体系的文献調査手法（注２）に基づいて、人を中心とするセキュリティ・プライバシー研究論文を対象にその内容を網羅的に調査および分析しました。サイバーセキュリティおよびヒューマンコンピュータインタラクションに関する著名国際会議（注３）において過去5年間（2017年から2021年）に発表された論文7,587本から、人を中心とするセキュリティ・プライバシーに関するユーザ調査を実施した論文715本を特定しました。この715本の論文に対して、参加者の居住国・属性・募集方法・研究手法・研究トピックに関して、複数の分析者による評価者間信頼性（注４）を保証した方法で分析しました。
3．研究の成果
本調査では、人を中心とするセキュリティ・プライバシー分野において、5年間（2017-2021）で非西洋の人々が対象になるユーザ調査標本数（注５）が25%から20%に低下しており、偏りが大きくなっていることが明らかになりました。（図２）。
一方で、HCI分野における同様の調査(※3)では、5年間（2016-2020）に発表された論文のユーザ調査における標本数の総数のうち、非西洋の国の標本数の占める割合は16%から30%に上昇しており、HCI分野においては西洋の人々への偏りが緩和される傾向にあることが知られています。このことから、セキュリティ・プライバシー分野における偏りの方がより顕著な傾向にあることが明らかになりました。
また、世界人口比率に基づいた各国の調査度合い（Ψs）を調査した結果、アメリカ、イギリス、ドイツなどの西洋（Western）の国々は世界人口比率に対して過多に調査されていることがわかりました。
一方で、日本を含むアジアおよび中東・アフリカ・南米などの非西洋の大部分の国々では世界人口比率に対して調査が不十分であることがわかりました（図３）。さらに、各国の世界人口比率に基づいた調査度合いの高さと、各国の教育水準（Educated）、工業化（Industrialized）、 裕福（Rich）、 民主主義（Democratic）の度合いには正の相関（positive correlation）があり、かつそれが統計的に有意な関係性があると示すことができたことから、調査がE・I・R・D（教育水準、工業化、裕福、民主主義）の度合いが高い国の人々に偏っていることを明らかにしました。
このような“WEIRDな人々”への偏りが生じる原因として、論文著者の地理的偏りが挙げられます。分析した論文のうち、西洋諸国の組織に所属する研究者のみで執筆された論文が86.5%を占めていました。研究者は地理的・言語的障壁により研究者自身がアクセスしやすい人々を参加者として募集する傾向にあり、このような便宜的標本抽出法（注６）によって研究者と異なる国の人々が調査されにくいことから、ユーザ調査参加者のWEIRDへの偏りが助長されていることが明らかになりました。
本調査で判明したユーザ調査参加者のWEIRDへの偏りを解消し、多様な人々を理解するためのユーザ調査研究方法として以下を提案しました。
・複製研究（注７）の推進：
非WEIRDな人々に対する複製研究の推進により、研究結果の一般化可能性および地理や文化による人々の差異を明らかにすること。
・地理的・言語的障壁の克服：
（１）ユーザ調査の対象となる人々の国で活用されているローカルのクラウドソーシングサービスを活用すること。
（２）ローカルの言語・文化・環境を熟知した研究者との協業によって研究者のダイバーシティを向上させること。
4．今後の展開
本成果により、セキュリティ・プライバシー分野において多様な国・文化の理解をするための国際協力研究を推進し、多様な人々が恩恵を受けられるセキュリティ・プライバシー技術の創出を促すことで、ダイバーシティ＆インクルージョンの向上に貢献していきます。
＜論文情報＞
※1 Ayako A. Hasegawa, Daisuke Inoue, Mitsuaki Akiyama. “How WEIRD is Usable Privacy and Security Research?” USENIX Security 2024. https://www.usenix.org/conference/usenixsecurity24/presentation/hasegawa
※2 Henrich, Joseph, Steven J Heine, and Ara Norenzayan. “The WEIRDest people in the world?” Behavioral and Brain Sciences 33, no. 2-3 (2010): 61-83.
※3 Sebastian Linxen, Christian Sturm, Florian Brühlmann, Vincent Cassau, Klaus Opwis, Katharina Reinecke. “How WEIRD is CHI?” ACM CHI 2021.
＜参照 / 用語解説 / 補足説明＞
（注１）一般化可能性（Generalizability）：研究結果がどの程度異なる状況や集団に適用できるかの度合い。研究結果が広範な集団や状況に適用できるほど、その研究結果は一般化可能性が高いとされる。
（注２）体系的論文調査手法（Systematic literature review）：特定の研究分野に対して、既存論文を体系的かつ包括的に検索・評価・統合する手法。明確な基準に基づいて論文を選定し、バイアスを最小化した上で結論を導出する。
（注３）サイバーセキュリティ分野の４大会議（USENIX Security、IEEE S&P、ACM CCS、NDSS）、 HCI/CSCW分野のトップ会議（ACM CHI、ACM CSCW）、人中心のセキュリティ・プライバシーに着目した会議（SOUPS、PETS、EuroUSEC、USEC）の合計10種類の国際学術会議
（注４）評価者間信頼性（Inter-rater reliability）：複数の分析者によって独立して分析した結果を付き合わせて算出される分析者間の分析結果の一貫性を表す指標。本調査では、この指標が基準となる値を上回っていることを確認した。
（注５）標本数（Number of samples）：母集団から標本の抽出を行った回数。例：ユーザ調査をアメリカと日本で1回ずつ実施した場合はアメリカの標本数が1、日本の標本数が1となる。
（注６）便宜的標本抽出法（Convenience sampling）：無作為にユーザ調査の参加者を集めるのではなく、研究者がアクセスしやすい人々を参加者にする方法。例えば、大学に所属する研究者が同大学に所属する大学生をユーザ調査の参加者にすること。
（注７）複製研究（Replication study）：既存の研究結果の再現性（同じ条件で同じ結果が再現されるか）および一般化可能性を検証するために、同じ方法や条件で再度実験や調査を行う研究。異なる集団に対して結果が再現できない場合、その研究結果が特定の条件や集団に限定されたものである可能性が示される。
- セキュリティ・プライバシー分野における著名国際会議の過去5年間に発表された論文を分析し、既存のユーザ調査研究の参加者が西洋偏重である実態を定量的に明らかにしました。
- 地理的・文化的に異なる多様な人々に広く適用されるユーザ調査研究方法を提案しました。
- この提案が広く受け入れられていくことで、セキュリティ・プライバシー分野の研究におけるダイバーシティ＆インクルージョンの向上が期待されます。
図１：本研究の全体像
1．研究の背景
心理学やヒューマンコンピュータインタラクション（HCI）などの人を中心とする研究分野では、ユーザ調査を通じて人々の心理特性や行動特性を解き明かしてきました。しかし、これらの研究において研究対象が西洋偏重であり、とりわけ“WEIRDな人々”に大きく偏っていることが指摘されています(※2)(※3)。“WEIRDな人々”とは、西洋の（Western）、教育水準の高い（Educated）、工業化された(Industrialized）、裕福な（Rich）、民主主義の（Democratic）社会の人々を意味します。地理的に偏った人々を対象にしたこれまでの研究では、その結果が全人類で共通のものなのか、それとも地理的な違いがあるのか、あるとすればどのような違いがあるのか、などの観点の深い分析や洞察が十分ではありませんでした。
一方で、人を中心として心理・行動・意思決定プロセスを分析し、その知見をコンピュータシステムの設計・実装・運用にフィードバックするセキュリティ・プライバシー研究分野においても、地理や文化の違いに結果が影響されることはいくつかの調査によって示されてきたものの、これまでの研究がどの程度“WEIRDな人々”に偏っているのかについて研究分野の全体像は明らかになっていませんでした。
2．研究の概要
体系的文献調査手法（注２）に基づいて、人を中心とするセキュリティ・プライバシー研究論文を対象にその内容を網羅的に調査および分析しました。サイバーセキュリティおよびヒューマンコンピュータインタラクションに関する著名国際会議（注３）において過去5年間（2017年から2021年）に発表された論文7,587本から、人を中心とするセキュリティ・プライバシーに関するユーザ調査を実施した論文715本を特定しました。この715本の論文に対して、参加者の居住国・属性・募集方法・研究手法・研究トピックに関して、複数の分析者による評価者間信頼性（注４）を保証した方法で分析しました。
3．研究の成果
本調査では、人を中心とするセキュリティ・プライバシー分野において、5年間（2017-2021）で非西洋の人々が対象になるユーザ調査標本数（注５）が25%から20%に低下しており、偏りが大きくなっていることが明らかになりました。（図２）。
一方で、HCI分野における同様の調査(※3)では、5年間（2016-2020）に発表された論文のユーザ調査における標本数の総数のうち、非西洋の国の標本数の占める割合は16%から30%に上昇しており、HCI分野においては西洋の人々への偏りが緩和される傾向にあることが知られています。このことから、セキュリティ・プライバシー分野における偏りの方がより顕著な傾向にあることが明らかになりました。
図２：調査標本全体に占める調査対象となった国・地域の割合の時系列変化
また、世界人口比率に基づいた各国の調査度合い（Ψs）を調査した結果、アメリカ、イギリス、ドイツなどの西洋（Western）の国々は世界人口比率に対して過多に調査されていることがわかりました。
一方で、日本を含むアジアおよび中東・アフリカ・南米などの非西洋の大部分の国々では世界人口比率に対して調査が不十分であることがわかりました（図３）。さらに、各国の世界人口比率に基づいた調査度合いの高さと、各国の教育水準（Educated）、工業化（Industrialized）、 裕福（Rich）、 民主主義（Democratic）の度合いには正の相関（positive correlation）があり、かつそれが統計的に有意な関係性があると示すことができたことから、調査がE・I・R・D（教育水準、工業化、裕福、民主主義）の度合いが高い国の人々に偏っていることを明らかにしました。
図３：世界人口に占める比率で正規化した各国の調査度合い（Ψs）
このような“WEIRDな人々”への偏りが生じる原因として、論文著者の地理的偏りが挙げられます。分析した論文のうち、西洋諸国の組織に所属する研究者のみで執筆された論文が86.5%を占めていました。研究者は地理的・言語的障壁により研究者自身がアクセスしやすい人々を参加者として募集する傾向にあり、このような便宜的標本抽出法（注６）によって研究者と異なる国の人々が調査されにくいことから、ユーザ調査参加者のWEIRDへの偏りが助長されていることが明らかになりました。
本調査で判明したユーザ調査参加者のWEIRDへの偏りを解消し、多様な人々を理解するためのユーザ調査研究方法として以下を提案しました。
・複製研究（注７）の推進：
非WEIRDな人々に対する複製研究の推進により、研究結果の一般化可能性および地理や文化による人々の差異を明らかにすること。
・地理的・言語的障壁の克服：
（１）ユーザ調査の対象となる人々の国で活用されているローカルのクラウドソーシングサービスを活用すること。
（２）ローカルの言語・文化・環境を熟知した研究者との協業によって研究者のダイバーシティを向上させること。
4．今後の展開
本成果により、セキュリティ・プライバシー分野において多様な国・文化の理解をするための国際協力研究を推進し、多様な人々が恩恵を受けられるセキュリティ・プライバシー技術の創出を促すことで、ダイバーシティ＆インクルージョンの向上に貢献していきます。
＜論文情報＞
※1 Ayako A. Hasegawa, Daisuke Inoue, Mitsuaki Akiyama. “How WEIRD is Usable Privacy and Security Research?” USENIX Security 2024. https://www.usenix.org/conference/usenixsecurity24/presentation/hasegawa
※2 Henrich, Joseph, Steven J Heine, and Ara Norenzayan. “The WEIRDest people in the world?” Behavioral and Brain Sciences 33, no. 2-3 (2010): 61-83.
※3 Sebastian Linxen, Christian Sturm, Florian Brühlmann, Vincent Cassau, Klaus Opwis, Katharina Reinecke. “How WEIRD is CHI?” ACM CHI 2021.
＜参照 / 用語解説 / 補足説明＞
（注１）一般化可能性（Generalizability）：研究結果がどの程度異なる状況や集団に適用できるかの度合い。研究結果が広範な集団や状況に適用できるほど、その研究結果は一般化可能性が高いとされる。
（注２）体系的論文調査手法（Systematic literature review）：特定の研究分野に対して、既存論文を体系的かつ包括的に検索・評価・統合する手法。明確な基準に基づいて論文を選定し、バイアスを最小化した上で結論を導出する。
（注３）サイバーセキュリティ分野の４大会議（USENIX Security、IEEE S&P、ACM CCS、NDSS）、 HCI/CSCW分野のトップ会議（ACM CHI、ACM CSCW）、人中心のセキュリティ・プライバシーに着目した会議（SOUPS、PETS、EuroUSEC、USEC）の合計10種類の国際学術会議
（注４）評価者間信頼性（Inter-rater reliability）：複数の分析者によって独立して分析した結果を付き合わせて算出される分析者間の分析結果の一貫性を表す指標。本調査では、この指標が基準となる値を上回っていることを確認した。
（注５）標本数（Number of samples）：母集団から標本の抽出を行った回数。例：ユーザ調査をアメリカと日本で1回ずつ実施した場合はアメリカの標本数が1、日本の標本数が1となる。
（注６）便宜的標本抽出法（Convenience sampling）：無作為にユーザ調査の参加者を集めるのではなく、研究者がアクセスしやすい人々を参加者にする方法。例えば、大学に所属する研究者が同大学に所属する大学生をユーザ調査の参加者にすること。
（注７）複製研究（Replication study）：既存の研究結果の再現性（同じ条件で同じ結果が再現されるか）および一般化可能性を検証するために、同じ方法や条件で再度実験や調査を行う研究。異なる集団に対して結果が再現できない場合、その研究結果が特定の条件や集団に限定されたものである可能性が示される。
