乐彩神app官方Facebook开源了超大规模图嵌入算法,上亿个节点也能快速完成

  • 时间:
  • 浏览:39
  • 来源:UU直播快3-UU直播快3官方

Facebook开源了叫做PyTorch-BigGraph (简称PBG) 的新工具。有了它,再大的图 都能快速生成图嵌入。倘若 ,完正不这么GPU。

作者:方栗子来源:量子位|2019-04-07 16:1000

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

,是很有用的数据形态学 ,用节点 (Node) 和 (Edge) 织成一张网。比如,知识图谱全都原来的网。

处里原来的数据,要用到图嵌入 (Graph Embedding) :把高维的网络,转打上去低维的向量。处里很久,机器学习模型才能轻易食用。

肯能像上图原来,这么好多个节点,十好多个边,图嵌入没这种难度。

肯能有几十亿个节点,几万亿条边呢?传统的图嵌入法子 就捉急了。

乐彩神app官方但现在,Facebook开源了叫做PyTorch-BigGraph (简称PBG) 的新工具。

有了它,再大的图 (原文是arbitrarily large,任意大) 都能快速生成图嵌入。倘若 ,完正不这么GPU

开源模型除了可不才能买车人乐彩神app官方训练之外,还有拿7,10000万节点的Wikidata数据预训练过的模型,可不才能直接下载来用。

PBG发表很久,小伙伴们纷纷奔走相告:

LeCun老师还亲自转发了两次。

如可养成

PBG是有有一另有一个 分布式系统,用1.2亿个节点的完正FreeBase知识图谱来训练的。

训练过程中,PBG会吃进图上所有 (Edge) 的大列表,每条边都有用它两端的节点来定义,有有一另有一个 是源 (Source) ,有有一另有一个 是目标 (Target) 。定义中都有两点之间的关系 (Relation Type) 。

倘若 ,PBG给每有有一另有一个 节点,输出有有一另有一个 形态学 向量 (全都嵌入) ,让有有一另有一个 相邻的节点在向量空间中离得近这种,让不相邻节点的离远这种。

原来一来,这种付近环境分布相近的节点,在向量空间里的位置也会彼此靠近,图原来要表达的意思就保留下来了。

另外,针对帕累托图不同的关系,“近似度得分 (Proximity Score) ”都可不才能定制不同的计算法子 。原来,有有一另有一个 节点的嵌入,就可不才能在不同种类的关系里共享了。

快这种,再快这种

要快速处里大规模的图数据,PBG用了这好多个法术:

一是图分区 (Graph Partitioning) ,原来就不这么把整个模型加载到内存里了。在图嵌入质量不损失的状况下,比不分区乐彩神app官方二十四时省了88%的内存占用。二是一台机器进行任务管理器计算。三是在多台机器上同时跑,在图上每每个人跑有有一另有一个 不相邻的区域。四是批次负采样(Batched Negative Sampling) ,能让一台CPU每秒处里1000万条边,每条边1000次负采样。

训练完成很久,在FB15k、Youtube、LiveJournal等等图谱上,都测试过。

团队说,PBG和大前辈们的图嵌入质量相当,但这么的时间明显缩短了。

你也试一试吧

你也去训练有有一另有一个 PBG吧。

反正,全都用GPU。

我想要 训练搞笑的话,还有用完正WikiData预训练的模型。

你这么的传送门,都有这里了。

代码传送门:

https://github.com/facebookresearch/PyTorch-BigGraph

食用索引:

https://torchbiggraph.readthedocs.io/en/latest/

论文传送门:

https://arxiv.org/abs/1903.12287

博客传送门:

https://ai.facebook.com/blog/open-sourcing-pytorch-biggraph-for-faster-embeddings-of-extremely-large-graphs/

【编辑推荐】

【责任编辑:

张燕妮

TEL:(010)6847610006】



点赞 0