Lie-o-matic: using natural language processing to detect contradictory statements
Beatriz Souto de Sá Baldaia · Open Repository of the University of Porto (University of Porto) · 2020
A Era da Informação trouxe consigo a digitalização de dados e, consequentemente, um rápido, e com maior alcance, fluxo de informação e produção da mesma. Pessoas como jornalistas têm dificuldade em lidar com a crescente divulgação de dados e em monitorar e aprovar a informação propagada, que poderá estar corrompida (conter mentiras, inconsistências, contradições, etc.). Considerando este problema atual e a constante evolução em técnicas de processamento de linguagem natural e \textit{"machine learning"}, estamos interessados em tirar vantagens desses recentes desenvolvimentos para atacar o caso específico de deteção de contradições em texto. Esta dissertação investiga o efeito de vários conjuntos de dados, de diferentes domínios e tarefas (como contradições em diferentes contextos ou argumentos de suporte e ataque), no desempenho da aprendizagem de um modelo de classificação de aprendizagem supervisionada. Assim, nós abordamos o problema como uma tarefa de classificação binária, afinando uma tarefa de classificação de pares de frases, desenvolvida sob um modelo BERT pré-treinado, para depois executarmos previsões de se dois textos são contraditórios ou não. Estudos em deteção de contradições têm-se focado mais em distinguir antónimos e palavras contrastantes. Tanto quanto é do nosso conhecimento, nenhuma investigação sistemática alguma vez considerou \textit{"transfer learning"} (transferência de conhecimento) para a tarefa de detetar contradições. Para ilustrarmos a nossa ideia, contradições no domínio político foram usadas com caso de estudo. Como estamos a testar transferência de conhecimento, conduzimos experiências usando como domínio de tarefa de origem dados retirados de quatro corpos disponíveis ao público: MultiNLI, US2016, Argumentative Microtext e Argument Annotated Essays. Para o domínio alvo, criamos dois conjuntos de dados contendo pares de contradições provenientes de duas origens diferentes, um artigo online expondo aclamações contraditórias do Donald Trump e o corpo MultiNLI (mas só os exemplos do género governamental). Para avaliar as experiências guiadas, medimos o desempenho da classificação maioritariamente a partir de análises à curva característica de operação (curva ROC) e à curva de Precisão-Abrangência. Os resultados dos estudos respondem à pergunta de estudo de que, de facto, outros conjuntos de dados podem ser usados para melhorar o desempenho da aprendizagem de um modelo de inferência sobre uma tarefa alvo, embora os resultados não serem significantes o suficiente para assegurarmos firmemente a consistência e confiança dos mesmos. Os resultados dão ideias de que tipo de relações entre documentos se deve priorizar caso se recorra a transferência de conhecimento para detetar contradições. Nós concluímos que o tipo de tarefa, o contexto e os padrões de linguagem (marcas linguísticas características do discurso de uma pessoa) têm um maior impacto e, por isso, podem ser uteis quando diferentes dados contêm semelhanças a nível destes três fatores. Não obstante, no nosso estudo enfrentamos limitações, como a falta de robustez no conjunto de dados para teste construído a partir das contradições do Donald Trump, porque não recorremos a anotadores profissionais, e o facto de os resultados de classificação alcançados já serem muito bons apenas usando o conjunto de dados alvo para treino e teste, o que nos deixa com pouca margem para melhorias.