会話をより安全にする AI コンテンツ モデレーション API

AIコンテンツモデレーションは、メッセージやメディアを分析し、暴言、性的コンテンツ、不要な広告などのリスクを検出します。Tencent RTCは、これらのチェックをコンテンツラベルやモデレーションの推奨事項と連携させます。モデルベースの検出にカスタム単語リストとコンテキスト結合検出を組み合わせることで、単純なキーワードフィルターでは見逃す可能性がある違反を特定できます。

はい。Chat Content Understanding は 4 つの形式すべてをサポートします。テキストと画像のチェック結果は同期的に返され、音声と動画のチェック結果は webhook を通じて非同期的に返されます。動画ポリシーでは、フレーム、音声、またはその両方を検査できます。独自ストレージ内のメディアについては、違反コールバックをアプリの表示およびアクセス制御に接続してください。

はい。ダイレクトメッセージ、グループチャット、プロフィールなど、シナリオごとにリスクカテゴリ、感度、カスタム単語ライブラリを設定できます。違反コンテンツに加えて、違反の疑いがあるコンテンツも遮断するかどうかを選択できます。結果をアプリケーションのエスカレーションルールに反映し、グループのミュートなどのChat制御と連携させてください。AIによる推奨とアカウント単位の措置は、それぞれ別途判断する必要があります。

モデレーションコンソールでコンテンツをフィルタリングし、メッセージ、送信者、違反の詳細とともに結果をバックエンドへ送信します。これらをユーザーからの報告と組み合わせて審査ツールで活用します。確認済みの違反、覆された判断、審査時間を追跡してポリシーを調整してください。レビュアーの割り当て、異議申し立て、判断履歴のレポートはアプリケーション側で管理します。

現在許可リストへの登録が必要な Chat Content Understanding の利用を申請します。ドキュメントに記載されているオンデマンドモデレーション API は、現在シンガポールでホストされるアプリケーションに対応しています。対象ユーザー向けにサポートされる言語とモデルを確認し、現地のスラング、複数言語が混在するメッセージ、誤検知をテストしてください。モデレーションサービスの料金は Chat メッセージングプランとは別に請求されます。

対応する審査結果をアプリの方針に基づく処理フローへ渡します。判断の背景情報を保存し、必要に応じて異議申し立てを用意して、不確かな結果を審査担当者が扱う方法を定めます。

自動審査に完全なものはありません。対応するテキスト・メディアの分類を確認し、方針を調整して、審査結果を通報、ブロック、人によるエスカレーションと組み合わせます。