[异构图-论文阅读]Heterogeneous Graph Transformer

news/2024/7/19 12:15:07 标签: 论文阅读, transformer, 深度学习

这篇论文介绍了一种用于建模Web规模异构图的异构图变换器(HGT)架构。以下是主要的要点:

摘要和引言 (第1页)

  1. 异构图被用来抽象和建模复杂系统,其中不同类型的对象以各种方式相互作用。
  2. 许多现有的图神经网络(GNNs)主要针对同构图设计,无法有效表示异构结构。
  3. HGT通过设计节点和边类型相关的参数来模拟异构注意力,从而允许HGT为不同类型的节点和边保持专用的表示。
  4. 通过使用HGSampling(异构小批量图采样算法),HGT能够有效和可扩展地处理Web规模的图数据。 在Open Academic Graph上的实验显示,HGT在各种下游任务上一致优于所有最先进的GNN基线。

在这里插入图片描述

HGT架构(第2页和第3页)
  • 异构互注意力(Heterogeneous Mutual
    Attention)
    :HGT通过将目标节点映射到查询向量,将源节点映射到键向量,并计算它们的点积作为注意力。每个元关系(即,<源节点类型,边类型,目标节点类型>三元组)应具有不同的投影权重集。这允许模型捕捉到不同类型的节点和边之间的不同语义关系,同时通过使用更小的参数集来保持它们的特定特征。

  • 异构消息传递(Heterogeneous Message
    Passing)


http://www.niftyadmin.cn/n/5054880.html

相关文章

B. Sets and Union

题目&#xff1a; 样例&#xff1a; 输入 4 3 3 1 2 3 2 4 5 2 3 4 4 4 1 2 3 4 3 2 5 6 3 3 5 6 3 4 5 6 5 1 1 3 3 6 10 1 9 2 1 3 3 5 8 9 1 2 4 28输出 4 5 6 0 思路&#xff1a; 这里题目的意思是&#xff0c;要求合并尽可能多的集合&#xff0c;使它的集合大小最大&…

Docker——认识并安装Docker(上篇)

Docker 一、Docker认识二、Docker功能1、更快速的交付和部署2、更高效的虚拟化3、更轻松的迁移和扩展4、更简单的管理Docker 和 VM 三、学习Docker前的必备知识1、环境配置2、虚拟化部署方式3、虚拟化优点4、虚拟化局限性5、容器与虚拟机的区别6、Docker为什么比VM快&#xff1…

GitHub 基本操作

目录 1、创建库 2、上传项目 3、获取token 4、 删除库 1、创建库 登录github&#xff0c;点击“Create repository”创建库&#xff0c;点击右上方绿色的“New”&#xff0c;Repository name处填写你的项目名&#xff0c;可选“Add a README file"默认创建一个说明文…

【Office】超简单,Excel快速完成不规则合并单元格排序

演示效果&#xff1a;将下图已经合并了的单元格按照单位名称排序并将同一个单位的数据合并在了一起。 Step 1&#xff1a;取消合并 选中所有的数据后&#xff0c;点击 “开始”-“合并单元格” &#xff0c;并且取消数据源的合并。 Step 2&#xff1a;填充数据 选中需要填…

第1章 数据结构绪论

1.1 开场白 1.2 你数据结构怎么学的 1.3 数据结构起源 早期人们都把计算机理解为数值计算工具&#xff0c;就是感觉计算机当然是用来计算的&#xff0c;所以计算机解决问题&#xff0c;应该是先从具体问题中抽象出一个适当的数据模型&#xff0c;设计出一个解此数据模型的算…

Python15题day13

③continue的好处 break是跳出循环体&#xff0c;continue是跳过continue语句后面的代码块&#xff0c;循环并不停止 题目要求: 使用input函数接受用户的输入&#xff0c;如果用户输入的数值小于等于10&#xff0c;则判断是奇数还是偶数如果数值大于10&#xff0c;则输出“输入…

使用U3D、pico开发VR(一)——将unity的场景在设备中呈现

最近srtp项目在赶进度&#xff0c;自己之前是在电脑端进行的开发。但是项目是VR端&#xff0c;因此需要重新学习&#xff0c;在此记录一下自己的学习经历。 首先&#xff0c;如何将unity的场景在自己的眼镜中进行呈现呢&#xff1f; 对此&#xff0c;我也找了很多教程&#xff…

记录一个 GUI 库的对比测试结果

1&#xff0c;Java 的 JavaFX 2&#xff0c;golang 的 Fyne 1, Java 测试的是一个俄罗斯方块的 GUI 程序。一切正常。 2&#xff0c;Golang github 的原仓库网络问题&#xff0c;没能测试上&#xff0c;使用以下库 https://gitee.com/mirrors/Fyne 下载代码后提示“编译失…