Heterogeneous Graphs for Text Representation: An Integrated Approach with Language Models
Brucce Neves dos Santos · 2023
A representação de dados por meio de grafos é fundamental para analisar relacionamentos complexos em áreas como ciência da computação e biologia.Em cenários do mundo real, os relacionamentos entre vértices nem sempre seguem um padrão uniforme, criando a necessidade de grafos heterogêneos, capazes de representar diferentes tipos de vértices e uma ampla variedade de relacionamentos em sistemas complexos.No entanto, os grafos heterogêneos apresentam desafios.A complexidade inerente dessas estruturas, devido à diversidade de vértices e tipos de relacionamentos, torna a compreensão e análise mais complexas em comparação com grafos homogêneos.Para enfrentar esse desafio, existem diversos modelos de aprendizado de máquina específicos para grafos heterogêneos que foram desenvolvidos, buscando compreender a semântica dos relacionamentos entre entidades.A representação de texto em grafos heterogêneos é também desafiadora devido à falta de estrutura nos dados textuais, podendo levar à perda de informações.Além disso, os grafos heterogêneos têm dificuldade em capturar informações semânticas detalhadas presentes em textos, pois são projetados principalmente para representar estruturas formais e relacionamentos estruturais.A resolução de ambiguidades textuais também é complexa para os grafos heterogêneos, exigindo uma compreensão profunda do contexto textual.Embora os modelos de linguagem sejam bons na compreensão textual, podem não ser adequados para representar entidades e relacionamentos complexos em sistemas do mundo real.A identificação precisa de entidades mencionadas em textos e suas relações com entidades do mundo real pode ser um desafio.A integração de grafos heterogêneos e modelos de linguagem oferece uma solução promissora.Isso combina a estrutura de conhecimento dos grafos heterogêneos com a compreensão textual dos modelos de linguagem, resultando em embeddings que incorporam a complexidade estrutural dos grafos e a compreensão do texto natural.Essa abordagem pode melhorar o desempenho em tarefas como processamento de linguagem natural, recomendação e busca de informações.Esta tese de doutorado se concentra em superar as limitações dos grafos heterogêneos na representação de informações semânticas em textos.A proposta é combinar grafos heterogêneos com modelos de linguagem, aproveitando as vantagens de ambas as abordagens.Enquanto os grafos representam estruturas e relacionamentos, os modelos de linguagem são especializados em compreender e gerar texto eficientemente.A hipótese subjacente é que essa combinação resultará em representações mais ricas de dados, melhorando o desempenho em análises de dados complexos.Essa tese introduz uma abordagem em dois estágios que combina técnicas de propagação de rótulos e embeddings de modelos de linguagem para gerar representações vetoriais de vértices em grafos heterogêneos.Nessa abordagem é proposto o método EPHG-CR (Embedding Propagation for Heterogeneous Graphs with Class Refinement), que possui o diferencial de considerar não apenas o peso das arestas, mas também a pertinência dos vértices às classes da tarefa, aproximando vértices com a mesma classe, levando em conta a topologia do grafo.Essa abordagem foi comparada com um modelo de linguagem na tarefa de análise de sentimentos baseada em aspectos, mostrando resultados competitivos e, em alguns casos, ligeiramente superiores.Além disso, o artigo explora aplicações das embeddings dos vértices auxiliares em outras tarefas mostrando outra vantagem da abordagem.