スマホやPC、そしてインターネットが高度に普及したことで、私たちの生活には常にデジタル情報が溢れています。多くの情報に触れられることは良い影響をもたらす反面、私たちの心身に深刻なダメージを与える可能性もあります。こういったネット利用の悪影響を最小限に抑えるべく、私たちの安心を支えてくれるのがコンテンツモデレーターです。今回は、コンテンツモデレーターと呼ばれる人々の役割や、なぜこの業務が社会問題となっているのか、そしてコンテンツモデレーションをAIによって自動化できる可能性について、ご紹介します。コンテンツモデレーターとはコンテンツモデレーターは、主にSNSを中心とするWebサービスにおいて、サービス内コンテンツの秩序を保つための役割を果たします。大多数のユーザーにとって不快と感じるコンテンツを取り除いたり、公序良俗をが乱れないよう、マナーやルールの呼びかけを行います。あらゆるWebサービスは、近年のスマホやインターネットの普及により多くのユーザーを短期間で獲得できるようになってきました。しかしその一方で想定していない使い方によって、他のユーザーに迷惑をかけたり、場合によっては犯罪の温床として活用しようという悪質なユーザーの存在も一定数確認されています。こういったユーザーやコンテンツは定期的に発生するため、管理者による一定のコントロールが必要です。コンテンツモデレーターはそんな不快なユーザーをできるだけ排除し、モラルに反しない範囲でコンテンツを楽しんでもらえるようサービスの運営に貢献する存在です。なぜコンテンツモデレーターは必要なのかコンテンツモデレーターは、通常表立って活動することのない役割であるため、本来であれば大きく取り沙汰されることはありません。しかしWebサービスの普及に伴い、彼らの活躍やその仕事の実態が注目されるようになりつつあります。不快なコンテンツによるユーザー離れを防ぐためあらゆるコンテンツをモデレーターが監視しているのは、一つにユーザーの離脱を防ぐためです。過激なコンテンツや特定思想に偏った、犯罪を助長する書き込みなどは、多くのユーザーにとっては不快な思いをさせる体験に他なりません。これらを放置していると次々と投稿が寄せられてしまい、一般ユーザーの離脱を促進してしまいます。コンテンツモデレーターは、サービス内の秩序を守り、大多数のユーザーを不快にさせないようにすることで、ユーザー離れを防ぐ役割を担っています。日々膨大なコンテンツが更新されるためコンテンツモデレーターは常駐の業務として多くのWebサービスで活動していますが、これは日々更新される膨大なコンテンツの一つずつに目を通さなければならないためです。特にSNSのような多くのユーザーが毎日活用するサービスでは、健全なコンテンツと併せて悪質な投稿も行われています。コンテンツモデレーターは、こういった投稿を少しでも迅速に排除するために配置されており、サービス運営に伴う維持管理コストの一環として認識されています。コンテンツモデレーションの方法サービス内の利用動向を監視するコンテンツモデレーションは、どのような方法で行われているのでしょうか。コンテンツモデレーションには、主に以下の二つの方法に分けられます。手動モデレート一つ目は、手動でのモデレーションです。サイト内をモデレーターが回遊、あるいは専用のツールを使って投稿されるコンテンツを一つずつ監視し、怪しいものは丁寧にチェックし、削除するかどうかの判断を行います。サービスによっては不適切なコンテンツを報告できる機能がユーザー向けに公開されているものもありますが、こういった報告に対処する際、手動で作業が行われているケースもまだまだ残っています。自動モデレート二つ目は自動のモデレートです。AIを使ったコンテンツ監視システムを構築し、怪しいコンテンツは自動で確認、及び削除を実施します。AIにモデレーションを任せることで、コンテンツモデレーターの業務負担は大幅に削減できますが、一方でまだまだ開発途上なため、過度な信頼はできない点も残されています。現実的な運用方法としては、手動と併用で自動モデレートを行い、怪しいコンテンツの自動検出のみをAIに任せ、最終決定は人間が行うというのが理想です。コンテンツモデレーターという仕事の弊害コンテンツモデレーターは、私たちのWeb利用に安心感をもたらす上で重要な役割を発揮します。しかし一方で、コンテンツモデレーションという業務がモデレーターにもたらす負担も大きく、社会問題として注目されるようになりつつあります。うつ病やPTSDを招くコンテンツモデレーションコンテンツモデレーターは、その職業柄、毎日多くの有害コンテンツと向き合わなければなりません。その負担は通常のネット利用者の何倍も大きく、常に不愉快な情報をお浴び続けなければならない負担は、私たちの想像をいとも簡単に上回るほどです。例えばFacebookのコンテンツモデレーターは、そのトレーニングの段階で多くの候補者が脱落しています。これは精神的苦痛を与えるコンテンツを連続的に浴びせられるため、そのストレスに耐えられないためです。また、トレーニングを経てモデレーターとなった従業員も、PTSDやうつの症状に悩まされるケースが多発しており、健康的な業務ではないということが明らかになってきました。参考：ITMedia NEWS「Facebook、「モデレーター」の悲惨さについての報道に「あれは珍しい例外」」苦労に見合った報酬は期待できないこのような精神的負担の大きい業務でありながら、コンテンツモデレーターには十分な待遇が保証されていない点も問題視されています。上記の報道があった際、Facebookはコンテンツモデレーターに対して年収は約2万8800ドル（約320万円）程度しか保証をしておらず、数回のミスで解雇されてしまうという厳しい条件も課されていることから、業務外でのストレスも大きいことが指摘されてきました。契約の標準化やコンプライアンスの確立で改善を目指すとしているものの、具体的な改善策やその効果については明らかになっていません。「汚れ仕事」の押し付け合いにも発展コンテンツモデレーターの業務をめぐる問題は、Facebookとしても決して無視できるものではなく、どうにかしてこの問題から回避したいという思惑も見られます。そんな中でFacebookがとった苦肉の策は、大手コンサル会社へのモデレーション業務の委託です。ニューヨークタイムズは、Facebookが大手コンサル会社へコンテンツモデレーション業務を委託し、委託先の従業員にうつ病や不安症などの精神的な悪影響が現れていることを独自の調査によって明らかにしました。参考：AXION「FBがアクセンチュアに委託した地獄の有害コンテンツ審査」Facebookは外部にモデレーションを委託したことで、直接責任を被ることを回避することに成功しているものの、委託会社のクライアントである以上、ある程度の責任を回避することは免れません。どれだけ外部に業務を委託しても、回り回ってモデレーターに精神的負担を追わせているという事実は変わらないのです。訴訟騒動に発展したコンテンツモデレーターコンテンツモデレーターという業務のあり方の再考を決定的にしたのが、元従業員によるFacebookへの訴訟騒動です。以前Facebookでコンテンツモデレーターを務めていた従業員たちによる集団訴訟によって、Facebookは2020年におよそ5200万ドル（約56億円）もの和解金を支払うことに合意しています。参考：AFP BB News「コンテンツ監視業務でトラウマ……FBが和解金計56億円に合意 集団訴訟」実害を負った元従業員への支払いはもちろん、米国内の委託先企業を含めた全ての従業員に対して、メンタルヘルスのサポートやカウンセリングを提供することにも合意し、事件の再発防止に努めています。たかがサービスの管理人といえども、Webサービスの規模が大きくなると、それに伴うモデレーション業務の負担も大きくなります。今後、Webサービスを成長させていく上では回避できない課題となっていくでしょう。AIにコンテンツモデレーターを任せるメリットこのようなコンテンツモデレーションに伴う問題や維持管理コストの課題を回避する上で重視されているのが、AIの活用です。段階的に採用されつつあるAIコンテンツモデレーターの存在は、どのようなメリットを与えてくれるのでしょうか。自動化による業務効率化を実現できる一つ目のメリットは、業務の自動化です。コンテンツ監視をAIのテキスト解析や画像処理などに任せてしまえるため、人間の業務負担を大幅に削減できます。AIのモニタリングに引っかかったコンテンツのみを判断すれば良いので、人間が自ら選び抜く必要はありません。従業員の精神的ストレスを回避できるAIにモニタリング業務を任せることで、従業員の精神的な負担を軽減できるのもメリットです。明らかに有害と見られる過激なコンテンツは自動で削除し、人間の判断が必要なものだけチェックすれば良いので、過度な負担を回避できます。深刻な訴訟問題を回避できる従業員の負担軽減をAIで実現できれば、Facebookのような訴訟問題を回避できます。日本ではまだコンテンツモデレーター関連の訴訟は大きく行われていないものの、今後日本発の一大Webサービスが登場すれば、同様の問題が噴出する可能性もあります。従業員のメンタルケアサポートを徹底し、AIによる監視システムを構築することで、訴訟問題が発生するリスクを小さくできます。自動化が進むコンテンツモデレーションコンテンツモデレーションの自動化は、すでに現実の技術として採用が進められています。ここで代表的な二つのサービスをご紹介します。Azure Content ModeratorMicrosoftが提供するAzure Content Moderatorは、実装したサービス上をAIが回遊し、画像や映像、テキストを自動でモデレートしてくれます。機械学習をベースとしたモデレーションシステムを実装し、あらゆる有害コンテンツからユーザーやモデレーターを守ってくれるサービスです。公式サイト：https://azure.microsoft.com/ja-jp/services/cognitive-services/content-moderator/ヤフーニュースこちらは一般に提供しているサービスではありませんが、ポータルサイトのYahoo!が提供するニュースサイト「ヤフーニュース」では、ニュースに寄せられるコメントの自動モデレート機能が実装されています。コメント欄には日々膨大なユーザーコメントが寄せられますが、同サイトではこれらを文字認識AIによって自動で監視し、誹謗中傷や不快感を与えるコメントを自動で警告、及び削除できる仕組みを実装しています。これによって、管理者が手動で対応する負担を最小限に抑えると共に、迅速なモデレーションでユーザーの安心の利用を促進します。コンテンツモデレーションの自動化に必要なことコンテンツモデレーションの自動化は、Webサービスを展開する企業にとって今後不可欠となり得る取り組みと予想できます。モデレートの自動化にあたり、どのような準備が必要となるのでしょうか。大量の学習データまず欠かせないのが、AIを構築するための大量の学習データです。不快なコンテンツを定義づける学習データを事前に大量に用意しておき、AIへ読み込ませるという手順を踏む必要があります。学習データは自社サービスから蓄積されたものや、第三者から公開・販売されているものから獲得することが一般的なアプローチです。データのアノテーション学習データを運用する際、ただそのまま読み込ませるとなると高度な学習アルゴリズムを必要としたり、精度面で不安が生じたりする場合もあります。そんな時に実施したいのがアノテーションで、学習データにAIの判断基準となるラベル付けを行うことで、安定した精度での学習を促す必要があります。FastLabelでは、そんなアノテーション業務の効率化を実現するべく、専門のアノテーションチームと洗練されたプラットフォームを提供しています。データサイエンスに知見のあるチームがプロジェクトに対応し、学習に最適な教師データの確保を実現します。また、データの管理は専門の進捗管理プラットフォームより行えるため、フィードバックや進捗管理もスムーズに行えます。自社のデータサイエンス人材の負担を最小限に抑え、高度な業務へ従事してもらえるようになるでしょう。アノテーション業務でお困りの際には、お気軽にご相談ください。まとめ今回は、コンテンツモデレーターという仕事の重要性や、それに伴う弊害、そしてAIによって解決できるモデレーションの可能性について、ご紹介しました。コンテンツモデレーションは負担の大きな業務で、アメリカでは訴訟問題にも発展しているなど、IT業界は看過できない問題とされつつあります。AIを使ったコンテンツモデレーショを実現することで、こういった問題をあらかじめ解消し、健全なWebサービスの提供を実現可能です。学習データの確保と優秀なAIの開発に努め、快適なWebサービスの提供とユーザーの獲得を目指しましょう。