Uma API de moderação de conteúdo com IA para conversas mais seguras

A moderação de conteúdo por IA analisa mensagens e mídias em busca de riscos como abuso, conteúdo sexual e publicidade indesejada. O Tencent RTC conecta essas verificações a rótulos de conteúdo e recomendações de moderação. Combine a detecção baseada em modelos com listas de palavras personalizadas e detecção contextual combinada para identificar violações que um filtro simples de palavras-chave pode não detectar.

Sim. O Chat Content Understanding oferece suporte aos quatro formatos. As verificações de texto e imagem retornam resultados de forma síncrona; as verificações de áudio e vídeo retornam resultados de forma assíncrona por meio de webhooks. As políticas de vídeo podem analisar quadros, áudio ou ambos. Para mídias armazenadas nos seus próprios sistemas, conecte os callbacks de violação aos controles de exibição e acesso do seu aplicativo.

Sim. Configure categorias de risco, sensibilidade e bibliotecas de palavras personalizadas por cenário, incluindo mensagens diretas, chats em grupo e perfis. Escolha se deseja interceptar conteúdo que viole as regras e também conteúdo suspeito. Use os resultados para orientar as regras de encaminhamento da sua aplicação e conecte controles do Chat, como silenciar grupos. As recomendações de AI e as ações no nível da conta continuam sendo decisões separadas.

Use o console de moderação para filtrar o conteúdo e envie os resultados ao backend com os detalhes da mensagem, do remetente e da violação. Combine essas informações com as denúncias dos usuários nas ferramentas de revisão. Acompanhe as violações confirmadas, as decisões revertidas e os tempos de revisão para ajustar as políticas. Seu aplicativo gerencia a atribuição de revisores, os recursos e os relatórios do histórico de decisões.

Solicite acesso ao Chat Content Understanding, que atualmente exige inclusão na lista de permissões. A API documentada de moderação sob demanda oferece suporte, no momento, a aplicações hospedadas em Singapura. Confirme os idiomas e modelos compatíveis com seu público e teste gírias locais, mensagens que misturam idiomas e falsos positivos. As cobranças do serviço de moderação são separadas do seu plano de mensagens do Chat.

Encaminhe os resultados de revisão suportados para o fluxo de políticas da aplicação. Guarde o contexto da decisão, permita recursos quando adequado e defina como os moderadores tratam resultados incertos.

Nenhuma revisão automática é perfeita. Verifique as categorias de texto e conteúdos multimédia suportadas, ajuste a política e combine os resultados com denúncias, bloqueio e intervenção humana.