【深度学习4】GNN图神经网络介绍(李沐)

news/2024/7/4 10:12:21

目录

介绍

图的定义

数据的图的表示

1、图片的图表示(11:50)

2、文本的图表示

3、分子的图表示

 4、社交网络的图表示

数据统计

 三大类问题

 1、图层面的任务

 2、顶点层面的任务

3、边级层面的任务

 将图用在机器学习上的挑战

1、挑战

2、解决办法

3、输入神经网络的方法

零基础多图详解图神经网络(GNN/GCN)【论文精读】_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1iT4y1d7zP?spm_id_from=333.337.search-card.all.click&vd_source=556d1641ea6399350ae7b3b12715aaa9

介绍

 

distill网站文章

图的定义

  其中 V表示节点的特征,E表示边的贡献,U表示图的全局。

  V E U 均可以用向量表示。

 图分为两种:朋友关系没有方向,有的比如粉丝关注是有方向的。

数据的图的表示

1、图片的图表示(11:50)

 中间的是邻接矩阵,每个像素点周围的都是邻居,临接矩阵中每个蓝色的点表示一个边,是稀疏矩阵。

2、文本的图表示

 每个词是一个节点,词与词之间有一个有向边,因为是有向图,所以邻接矩阵不对称。

3、分子的图表示

 原子之间的连接。

 4、社交网络的图表示

人物之间的交互关系。等等...

数据统计

 三大类问题

 1、图层面的任务

将图进行分类,比如哪个有一个环、哪个有两个环,这种简单的任务编程转一圈就可以实现。

 2、顶点层面的任务

空手道例子,有两个老师,其余都是学生,两个老师打架了,那么学生都是站在老师A这边,还是老师B这边。

 右图灰色的和老师A在一个阵营,红色的和老师B在一个阵营。

3、边级层面的任务

语意分割将图片分割,然后去学习边之间的属性,并预测边的属性。

 

 将图用在机器学习上的挑战

1、挑战

1、节点比较多,邻接矩阵很大,而且是个稀疏矩阵,用在GPU上计算一个是一个难题。

2、节点交换顺序,邻接矩阵形状变化,但是要保证神经网络输出的结果保持一致。

邻接有多种选择:

2、解决办法

如果又想存储高效,又想不影响我的整个排序的话,可以采用下面的方式:

 8个顶点7条边:

每个顶点的属性用标量表示,当然也可以换成向量

边也可以用一个标量表示,同样的道理也可以用向量,

邻接矩阵可以用邻接列表的方式表示,长度和边数是一样的,其中第i项表示第i条边连接哪两个节点。

这样处理的好处是可以同时打乱顺序,表示的东西不会变。

3、输入神经网络的方法

3种数据经过3个MLP,只对属性变换,图的结构没有变换 

预测一个没有顶点的向量,pooling方法。

 或者预测边或者预测全局,都可以通过汇聚操作

 GNN图:

缺点:这样3个MLP并没有输入图的结构信息,没有给网络哪个顶点和哪个边之间连接。没啥用,不合理。

 解决方法:信息传递

把每一个向量和其邻居的节点向量相加再传给MLP,再经过f。

这种操作和标准图片卷积核求和有点像

 

 边和顶点之间的信息传递,用于预测位置的属性。

 交替交换

 U可以设想一个虚拟的点和所有顶点和边相连,汇聚也可以是拼接

 调参


http://www.niftyadmin.cn/n/3538193.html

相关文章

【深度学习5】GCN 图卷积神经网络原理

目录 前言 GCN是做什么的 GCN主要思想 数学原理 GCN长什么样 GCN为什么是这个亚子 GCN有多牛 其他关于GCN的点滴 参考文章: 何时能懂你的心——图卷积神经网络(GCN) - 知乎 (zhihu.com) 2020年,我终于决定入门GCN - 知…

ELSE 技术周刊(2018.01.01期)

业界动态 小程序又搞事情,H5 开发的春天来了! 就在刚刚,微信官方公布了几个小程序爆炸性的新闻,在 2017 年的年底,这个新闻似乎是在告诉大家,小程序能做的事越来越多,2018 年你再也没法再忽视它…

【深度学习6】图神经网络库 PyTorch Geometric(PYG)手动安装流程(绝对成功)

目录 PyTorch Geometric简介 安装PyTorch Geometric PyTorch Geometric简介 官方网站:PyG Documentation — pytorch_geometric documentation (pytorch-geometric.readthedocs.io) PyTorch Geometric 中设计了一种新的表示图数据的存储结构,也是 PyT…

UTF-8 UTF-16 UTF-32 比较

优点 UTF-8 兼容 ASCII能适应许多 C 库中的 \0 结尾惯例没有字节序问题良好的多语种支持(相对 GBK 等跟语种绑定的编码方式)以英文和西文符号比较多的场景下(例如 HTML/XML),编码较短由于是变长,字符空间足…

网站logo

2019独角兽企业重金招聘Python工程师标准>>> 网站logo即打开首页时浏览器所展示的网站标志性的图片&#xff1a; 1、ico图片 2、页面<head></head>加入如下代码&#xff0c;一般将图片和首页文件放到同一路径下。 <link rel"shortcut icon&qu…

pytest 失败用例重试

https://www.cnblogs.com/jinzhuduoduo/articles/7017405.html http://www.lxway.com/445949491.htm https://www.cnblogs.com/feiyi211/p/6625841.html 转载于:https://www.cnblogs.com/dieyaxianju/p/8179183.html

【论文精读3】20WWW Structural Deep Clustering Network (SDCN网络图聚类)

参考好文&#xff1a; 图神经网络时代的深度聚类 - 知乎 (zhihu.com) 几篇文献讲解。 深度聚类算法研究综述(A Survey of Deep Clustering Algorithms) - 凯鲁嘎吉 - 博客园 (cnblogs.com) 深度学习聚类大总结包含公式。 【石川 | 北京邮电大学计算机学院教授】图神经网络…

oracle定时器执行一遍就不执行或本就不执行

转&#xff1a;http://blog.csdn.net/qq_23311211/article/details/76283689 以sqlplus/ assysdba进入sql命令模式&#xff0c;使用sql&#xff1a;select value from v$parameter where name like %job_queue_processes% &#xff0c; 看查询结果是否为0&#xff0c;若是或者数…