图神经网络系列(三):应用-数据集、实例、未来方向

权力机关对行政立法的监督应当是
图神经⽹络系列(三):应⽤-数据集、实例、未来⽅向
图神经⽹络系列(三):应⽤-数据集、实例、未来⽅向
1. 基准数据集
⽂章涉及的⽂献中每个数据集使⽤的频率,并展⽰了⾄少出现两次的数据集
钓水鬼引⽂⽹
⽂章,作者及其关系(引⽂,作者,共同作者)
Cora( 2708个机器学习出版物,分为7个类 )
Citeseer( 3327篇科学论⽂,分为6个类 )
Pubmed( 19717**个与糖尿病相关的出版物 )
社交⽹
BlogCatalog(博主和他们的社会关系形成的社交⽹络 )
Reddit(数据集是由Reddit论坛收集的帖⼦形成的⽆向图)
Epinions(数据集是从在线产品评论⽹站收集的多关系图,其中评论者可以具有多种关系类型,例如信任,不信任,共同审查和共同评级。)
化学/⽣
原⼦作为节点,化学键作为边缘。此类图通常⽤于评估图分类性能
中国革命之歌物图
NCI-1和NCI-9(数据集分别含有4100和4127种化合物,标记它们是否具有阻碍⼈癌细胞⽣长的活性。)
MUTAG(数据集包含188种硝基化合物,标记为是芳⾹族还是杂芳⾹族。)
D&D( 数据集包含1178个蛋⽩质结构,标记它们是酶还是⾮酶。 )
QM9(数据集包含133885个分⼦,标签是13种化学特性。) Tox21(数据集包含12707种化合物,分为12种毒性。)PPI(蛋⽩质 - 蛋⽩质相互作⽤⽹络,它包含24个⽣物图,其中节点表⽰蛋⽩质,边缘表⽰蛋⽩质之间的相互作⽤。在*PPI**中,图与⼈体组织
关联,节点标签表⽰⽣物状态。*)
⾮结构
结构化数据:即⾏数据,存储在数据库⾥,可以⽤⼆维表结构来逻辑表达实现的数据。
化图
⾮结构化数据:包括所有格式的办公⽂档、⽂本、图⽚、XML、HTML、各类报表、图像和⾳频/视频信息等等。
MNIST(数据集包含70000张尺⼨为28×28的图像,并有⼗类数字。将MNIST图像转换为图的典型⽅法是,基于其像素位置构造8-NN图
形。)
Wikipedia(数据集是从转储的前⼀百万字节中提取的单词共⽣⽹络。单词标签代表词性(POS)标签。 )20-NewsGroup(数据集包含⼤约20,000个新闻组(NG)⽂本⽂档,有20种新闻类型。通过将每个⽂档表⽰为节点,并使⽤节点之间的相似
性作为边缘权重来构造20-NewsGroup的图。 )
其它METR-LA是从洛杉矶⾼速公路收集的交通数据集
MovieLens-1M数据集,包含由6 k ⽤户提供的100万项⽬评级。它是推荐系统的基准数据集。
NELL数据集是从Never-Ending Language Learning项⽬获得的知识图。它由涉及两个实体及其关系的三元组组成。
2. 开源项⽬
ChebNet (2016) [12]
GAE (2016) [62]
港口法GAT (2017) [15]
3. 实际应⽤
⼀、Computer Vision
1)从场景⽣成图像
参考论⽂: Image generation from scene graphs. Justin Johnson, Agrim Gupta, Li Fei-Fei. CVPR 2018.
1. 概述:
在场景图⽣成中,对象之间的语义关系有助于理解视觉场景背后的语义含义。给定⼀幅图像,场景图⽣成模型检测和识别对象,并预测对象对之间的语义关系。另⼀个应⽤程序通过⽣成给定场景图的真实图像来反转该过程。⾃然语⾔可以被解析为语义图,其中每个词代表⼀个对象,这是⼀个有希望的解决⽅案,以合成给定的⽂本描述图像。
解释,语义关系是什么?
最为基础的语义关系有两类: (1)上位概念和下位概念之间的关系,下位概念的出现仅仅是为了限定上位概念的外延,例如典型的宾语和动词之间的关系(“吃”和“⾯条”); (2)述谓关系,这是最多最基础的关系。⼀个基本词汇单位对另⼀个基本词汇单位的陈述,最为典型的就是主谓关系,其次是状语和谓词之间的关系,⼤部分定语和名词之间的关系。都是述谓关系。
2. 理解
⽂本描述——场景图——⽣成图像
基于两个模型
l 图像⽣成模型
l ⼀对判别模型Dimg和Dobj
3. 实验达到效果:
可以⽣成多对象的场景,甚⾄是同⼀对象类型⽣成多种实例。
⽣成的例⼦表明该⽅法⽣成图像时遵循了对象之间的关系
具有⽣成复杂图像的能⼒
4. 对⽐评估
⽂本转图,现有的⽅法主要是结合递归神经⽹络(RNN)和⽣成对抗⽹络(GAN)来实现的,代表性的为ICCV 2016 2017
的StackGAN⽅法,李团队采⽤GCN,结果⽐StackGAN要好1倍
2)点云分类和分割
点云是激光雷达扫描记录的⼀组三维点。此任务的解决⽅案使激光雷达设备能够看到周围的环境,通常⽤于⽆⼈驾驶车辆。为了识别点云所描绘的物体,将点云转换为k-最近邻图或叠加图,并利⽤图论进化⽹络来探索拓扑结构。
3 )动作识别
识别视频中包含的⼈类动作有助于从机器⽅⾯更好地理解视频内容。⼀组解决⽅案 检测视频剪辑中⼈体关节的位置。由⾻架链接的⼈体关节⾃然形成图 。给定⼈类关节位置的时间序列,应⽤时空神经⽹络来学习⼈类⾏为模式。
4 ) rgb 语义分割
参考论⽂:3d graph neural networks for rgbd semantic segmentation. Xiaojuan Qi, Renjie Liao, Jiaya Jia†, Sanja Fidler, Raquel Urtasun . CVPR 2017.
· 提出⼀种基于三维点云的三维图神经⽹络(3DGNN), 在点云的基础上构造了⼀个k近邻图。 图中的每个节点都对应了⼀组点,并与⼀个隐藏的表⽰向量ini相关联。该传播模型按⼀定的时间步长展开,最终的每个节点表⽰⽤于预测每个像素的语义类。作者使⽤了时间反向传播来训练模型,在 NYUD2和 SUN-RGBD 数据集上进⾏实验验证了该⽅法的有效性。
·
3DGNN 利⽤了⼆维显⽰信息和三维⼏何关系,能够捕获图像中的长期依赖关系,是传统⽅法难以建⽴模型得到的。
5)其它
⼈-物交互、⼩样本图像分类、视觉推理和问答等
⼆、Recommender Systems
· 推荐系统
· 基于图的推荐系统以项⽬和⽤户为节点。通过利⽤项⽬与项⽬、⽤户与⽤户、⽤户与项⽬之间的关系以及内容信息,基于图的推荐系统能够⽣成⾼质量的推荐。推荐系统的关键是评价⼀个项⽬对⽤户的重要性。因此,可以将其转换为⼀个链路预测问题。⽬标是预测⽤户和项⽬之间丢失的链接。为了解决这个问题,有学者提出了⼀种基于GCN的图形⾃动编码器。还有学者结合GCN和RNN,来学习⽤户对项⽬评分的隐藏步骤。
三、Traffic
· 交通
· 交通拥堵已成为现代城市的⼀个热点社会问题。准确预测交通⽹络中的交通速度、交通量或道路密度,在路线规划和流量控制中⾄关重要。有学者采⽤基于图的时空神经⽹络⽅法来解决这些问题。他们模型的输⼊是⼀个时空图。在这个时空图中,节点由放置在道路上的传感器表⽰,边由阈值以上成对节点的距离表⽰,每个节点都包含⼀个时间序列作为特征。⽬标是预测⼀条道路在时间间隔内的平均速度。另⼀个有趣的应⽤是出租车需求预测。这有助于智能交通系统有效利⽤资源,节约能源。 根据历史出租车需求,位置信息,天⽓数据和事件特征,Yao 等⼈[141]结合LSTM,CNN和由LINE [142]训练的节点embedding,形成每个位置的联合表⽰,以预测在⼀个时间间隔内该位置所需的出租车数量。
四、Chemistry
· 化学
甾醇· 在化学中,研究⼈员应⽤图神经⽹络研究分⼦的图结构。在分⼦图中,原⼦为图中的节点,化学键为图中的边。节点分类、图形分类和图形⽣成是分⼦图的三个主要任务,它们可以⽤来学习分⼦指纹、预测分⼦性质、推断蛋⽩质结构、合成化合物。
卫星加密五、Others
·
初步探索将GNN应⽤于其他问题,如程序验证,程序推理,社会影响预测,对抗性攻击预防,电⼦健康记录建模,⼤脑⽹络,事件检测和组合优化
4. 未来发展⽅向
1)Go Deep
在学习图结构数据的时候,更深的⽹络是否是⼀个好的策略
2)Receptive Filed
如何选择节点的代表性感受野
3)Scalability
⼤部分图神经⽹络并不能很好地扩展到⼤型图上
4)Dynamics and Heterogeneity
⼤多数当前的图神经⽹络都处理静态同质图,应当开发新⽅法来处理动态和异质图结构

本文发布于:2024-09-24 13:22:24,感谢您对本站的认可!

本文链接:https://www.17tex.com/xueshu/313171.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:数据   关系   节点   图像   预测   语义   时间   位置
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议