专为您的用户打造
内容审核 API 的使用场景
不同会话需要不同规则。请根据用户面临的风险选择相应的检测和响应方式。
社区
阻止垃圾消息进入会话。
检查群组讨论中的辱骂性回复和推广垃圾信息。结合 AI 结果、自定义词库和成员举报，帮助管理员维持讨论秩序，避免偏离主题。
交易市场
识别交易过程中的风险消息。
标记拆分在多条消息中的违禁推广内容和联系方式。当团队审核疑似引导用户转向平台外交易的行为时，将商品信息与对话关联保留。
游戏运营
避免竞争演变为辱骂行为。
将社区政策应用于玩家聊天、共享图片和语音消息。根据审核结果和玩家举报，决定是否对群组禁言或开展进一步审查。
交友约会
让成员更安心地建立联系。
检查消息和个人资料内容中是否包含色情材料和辱骂性语言。将举报和屏蔽功能置于易于操作的位置，并为有争议的决定提供复核流程。
安心选择
规划 内容审核 API 接入
了解消息功能如何融入你的产品，以及应用会连接哪些服务。
| 您的需求 | 实现方式 | 需要提前规划的事项 |
|---|---|---|
| AI 文本、图片、音频和视频检测 | 云端内容审核，提供内容分类和审核建议。 | 文本和图片检查会同步返回；音频和视频结果则异步返回。 |
| 试图规避过滤器的消息 | 对单聊和群聊中的文本进行上下文合并检测。 | 为相关场景启用此设置；使用您社区中的拆分消息示例进行测试。 |
| 面向不同受众的策略 | 风险类别、敏感度设置、自定义词库和场景配置。 | 分别为消息、个人资料和自定义内容配置策略。 |
| 基于风险的干预 | 提供通过、复审或拦截建议；文本/图片风险评分；可配置的拦截功能及 Chat 成员控制。 | 您的应用会将审核结果连接到升级规则、警告和账户操作。 |
| 版主审核与举报 | 控制台筛选，以及携带消息引用和违规标签的 Webhook。 | 将举报、申诉和决策历史记录接入您的工具；衡量误报率和审核周转时间。 |
| 可用范围与推出计划 | 启用 Chat Content Understanding 并选择您的审核配置。 | 目前需要加入许可名单才能访问。按需 API 当前支持托管在新加坡的应用；请在上线前确认模型的语言覆盖范围。 |
开发前先估算预算
内容审核 API 费用与免费额度
为内容审核 API 集成编制预算。需要考虑消息用户数量以及要检查的内容。Chat 套餐额度与审核服务费用分开计算。
内容审核 API 能为聊天做什么？
AI 内容审核可分析消息和媒体中的辱骂、色情内容和垃圾广告等风险。Tencent RTC 将这些检查与内容标签和审核建议相结合。将基于模型的检测与自定义词表及上下文合并检测结合使用，可识别简单关键词过滤器可能漏掉的违规内容。
内容审核 API 可以检查哪些消息类型？
是。Chat Content Understanding 支持全部四种格式。文本和图片检测会同步返回结果；音频和视频检测则通过 webhook 异步返回结果。视频策略可以检查画面帧、音频或两者。对于存储在您自己系统中的媒体，请将违规回调连接到应用的显示和访问控制。
我可以自定义内容审核 API 的规则和操作吗？
可以。您可以按场景配置风险类别、敏感度和自定义词库，包括私信、群聊和个人资料。您可以选择拦截违规内容，也可以同时拦截疑似违规内容。使用检测结果驱动应用的升级处理规则，并关联群组禁言等 Chat 控制功能。AI 建议和账户级操作仍需单独决策。
内容审核 API 的结果如何与人工审核和分析相衔接？
使用内容审核控制台过滤内容，并将结果连同消息、发送者和违规详情发送到您的后端。在审核工具中将这些信息与用户举报结合使用。跟踪已确认的违规、被推翻的决定和审核用时，以优化政策。您的应用负责管理审核员分配、申诉和决定历史报告。
如何为国际应用启用内容审核 API？
申请使用 Chat Content Understanding，该功能目前需要加入允许名单。文档中所述的按需审核 API 目前支持托管在新加坡的应用。请确认面向受众所支持的语言和模型，然后测试当地俚语、混合语言消息和误报情况。审核服务费用与 Chat 消息套餐分开收取。
如何将内容审核 API 接入人工复核？
将支持的审核结果接入应用的政策处理流程。保存决策上下文，在适当情况下提供申诉，并明确审核员如何处理不确定的结果。
内容审核 API 能拦截所有有害聊天消息吗？
自动审核无法做到完全准确。确认支持的文本和媒体类别，调整政策，并结合举报、屏蔽和人工升级处理审核结果。