2020-12-04 23:05:55

百香果nlp(nlp.100xg.cn):欢迎提交人工智能(AI)、自然语言处理(NLP)、大数据(big data)、机器学习(ML)、数据挖掘(DM)、知识图谱、智能硬件、工业互联网、工业机器人、云计算、5G网络、物联网、边缘计算(MEC)、机器人流程自动化(RPA)、前沿科技相关的公司、术语、API接口、项目、生成器、解决方案、开放平台产品、ai算法、ai模型、源码、sdk\模块、软件系统、在线/离线工具等领域词条。快速提交,并将在这里展现。

知识图谱是一种基于图的数据结构,由节点(Point)和边(Edge)组成。其中节点即实体,由一个全局唯一的ID标示,关系(也称属性))用于连接两个节点。通俗地讲,知识图谱就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。

介绍

知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。

知识图谱是一种用图模型来描述知识和建模世界万物之间关联关系的大规模语义网络,是大数据时代知识表示的重要方式之一,也是认知智能的底层支撑,为描绘物理世界生产生活行为提供有效的方法与工具。

知识图谱通过对关系的挖掘与分析,能够找到隐藏在行为之下的关联,并进行直观的展示,形成完整的以“场景需求”为导向的人工智能解决方案,进一步实现生产力升级的终极目标。

知识图谱的产品形式可以分为原图应用和算法支撑两类,为算法提供支撑的典型应用主要包括智能问答、智能搜索和智能推荐、决策分析系统等。

历史

知识图谱属于AI领域的是一个分支,很多人觉得它和CV(计算机视觉),ASR(语音识别),以及NLP(自然语言处理)一样都是特指的某一项技术,其实这么理解并不准确,它应该算是多种技术融合后的一种综合型技术。

知识图谱的历史最早要追溯到2012年,由google公司提出主要用于提升搜索引擎的检索效率,但随着其发展其背后更深刻意义,远不仅是提高检索效率这么简单,而是整个搜索引擎结构的整体转型:将传统基于关键字的搜索模型转向基于语义的搜索升级。

如今针对知识图谱的技术方案已被国内外多家搜索引擎公司所采用,如:美国的微软必应,中国的百度、搜狗等,都在在短短的一年内纷纷宣布了各自的“知识图谱”产品,足以看出这革新对整个搜索引擎界的整体影响。

但现在这项技术的应用并不仅拘泥于搜索引擎领域范围,很多的数据分析软件,CRM系统也开始采用基于知识图谱的模式去处理数据,从而去深入发现数据更大的价值。

知识图谱从字面上看,可以拆分为知识+图谱,这样我们就可以理解:将需要的知识数据(结构化或非结构化数据)以图谱的形式进行展示,这种简单的过程也是知识图谱的构建过程。

分类

知识图谱按覆盖范围可分为通用知识图谱行业知识图谱

作用

知识图谱最早由谷歌提出,主要用于优化现有的搜索引擎,例如搜索姚明,除了姚明本身的信息,还可关联出姚明的女儿、姚明的妻子等与搜索关键字相关的信息。也就是说搜索引擎的知识图谱越庞大,与某关键字相关的信息越多,再通过分析搜索者的特指,计算出最可能想要看到的信息,通过知识图谱可大大提高搜索的质量和广度。

所以这也可理解为何谷歌百度等搜索引擎大头都为之倾心,创建自己符合自己用户搜索习惯的知识图谱。据不完全统计,Google知识图谱到目前为止包含了5亿个实体和35亿条事实(形如实体-属性-值,和实体-关系-实体)

历史

知识图谱的概念最先是由谷歌于2012年正式提出,主要用来支撑下一代搜索和在线广告业务。此后,这项技术迅速火爆,给互联网语义搜索、智能问答等领域带来活力,让人工智能具备认知能力和逻辑能力,进而实现智能分析、智能搜索、人机交互等场景应用,成为互联网知识驱动的智能应用的基础设施。知识图谱与大数据和深度学习一起,成为推动互联网和人工智能发展的核心驱动力之一。

当我们进行搜索时,搜索结果右侧的联想就来自于知识图谱技术的应用。知识图谱可以帮助系统依据消费者的习惯和爱好推荐合适的服务。

目标

知识图谱可以看做是主体以及其关系的知识库,是知识表示方式之一,知识图谱的构建可以为计算认知技术,提供了丰富的背景知识,使得机器语言认知成为可能,因此知识图谱也成为了行业智能化转型道路上的关键技术,也是认知智能的重要展示形式。

知识图谱起源于语义网络,主要的目标是用来描述真实世界中间存在的各种实体和概念,以及它们之间的关联关系。

知识图谱是一种比较通用的语义知识的形式化描述框架,它用节点表示语义符号,用边表示符号间的语义关系。知识图谱本质上是一种语义网络。其结点代表实体(entity)或者概念(concept),边代表实体/概念之间的各种语义关系。知识图谱(或者知识库)可以看做是服从于本体(Ontology ) 控制的知识单元的载体,即本体(Ontology )是蛋糕的模具,Knowledge Base 是蛋糕。

知识图谱是基于图的数据结构,它的存储方式主要有两种形式:RDF存储格式和图数据库(Graph Database)

核心功能

实体抽取

指的是从原始语料中自动识别出命名实体,由于实体是知识图谱中的最基本元素,其抽取的完整性、准确率、召回率等将直接影响到知识库的质量。因此,实体抽取是知识抽取中最为基础与关键的一步。

实体对齐

实体对齐也称为实体匹配或实体解析,主要是用于消除异构数据中实体冲突、指向不明等不一致性问题,可以从顶层创建一个大规模的统一知识库,从而帮助机器理解多源异质的数据,形成高质量的知识。

知识推理

知识推理则是在已有的知识库基础上进一步挖掘隐含的知识,从而丰富、扩展知识库。在推理的过程中,往往需要关联规则的支持。由于实体、实体属性以及关系的多样性,人们很难穷举所有的推理规则,一些较为复杂的推理规则往往是手动总结的。

对于推理规则的挖掘,主要还是依赖于实体以及关系间的丰富同现情况。知识推理的对象可以是实体、实体的属性、实体间的关系、本体库中概念的层次结构等。知识推理方法主要可分为基于逻辑的推理与基于图的推理两种类别。

知识更新

根据知识图谱的逻辑结构,其更新主要包括模式层的更新与数据层的更新。模式层的更新是指本体中元素的更新,包括概念的增加、修改、删除,概念属性的更新以及概念之间上下位关系的更新等。

图谱构建

识图谱旨在描述真实世界中存在的各种实体或概念,因此知识整理进行入库时,对应的知识内容都会转为实体(eneity)概念,每个实体上都会标示一个唯一ID,并且每个对象属性值(attribute-value)用来刻画实体的内在特性,而关系(relation)用来连接两个实体,刻画它们之间的关联。

因此,将无数实体以对应关系的形式进行存储,知识图谱亦可被构建成一张巨大的网络图。

其中上述提到的实体、关系、属性,在存储之前都需要采用RDF方式对其进行结构化声明,即需要事先定义一套标准的schema在抽取数据之前做预备工作,由于是标准的schema,所以不管是抽取结构化数据或非结构化数据,内容都是适用的。

除了三元素定义,另外知识图谱领域还有一个三元组的概念。

我们以搜索:“姚明的妻子是谁?”这句话为例,其对应结果三元组规则为{实体:姚明,关系:配偶,实体:叶莉},

而当我们改以搜索:“叶莉今年多大?”进行检索,其对应结果三元组规则为{实体:叶莉,属性:age,属性值:34},

知识图谱上的挖掘

通过大数据抽取和集成已经可以创建知识图谱,为进一步增加知识图谱的知识覆盖率,还需要进一步对知识图谱进行挖掘。常见的挖掘技术:

推理

通过规则引擎,针对实体属性或关系进行挖掘,用于发现未知的隐含关系

实体重要性排序

当查询多个关键字时,搜索引擎将选择与查询更相关的实体来展示。常见的pageRank算法计算知识图谱中实体的重要性。

知识图谱应用

知识图谱为互联网上海量、异构、动态的大数据表达、组织、管理以及利用提供了一种更为有效的方式,使得网络的智能化水平更高,更加接近于人类的认知思维。

目前,知识图谱已在智能搜索、深度问答、社交网络以及一些垂直行业中有所应用,成为支撑这些应用发展的动力源泉。

行业客户

凡是有关系的地方都可以用到知识图谱,事实上,知识图谱已经成功俘获了大量客户,且客户数量和应用领域还在不断增长中,包括沃尔玛、领英、阿迪达斯、惠普、FT金融时报等知名企业和机构。

目前知识图谱产品的客户行业,分类主要集中在:社交网络、人力资源与招聘、金融、保险、零售、广告、物流、通信、IT、制造业、传媒、医疗、电子商务和物流等领域。在风控领域中,知识图谱类产品主要应用于反欺诈、反洗钱、互联网授信、保险欺诈、银行欺诈、电商欺诈、项目审计作假、企业关系分析、罪犯追踪等场景中。



计算机语言:Java、JavaScript、PHP、Python、C#、Android、Objective-C、Go语言、c/C++、NodeJS、Swift、R语言。

       网络空间测绘综合应用包括哪些
       网络空间测绘涉及哪些学科
       目前来看数字资产有什么特点
       网络空间服务是什么意思
       网络空间测绘是什么意思
       步态分析系统在医学上都有哪些应用
       步态分析是什么意思
       如何组成元宇宙的虚拟世界
       为什么到2021年元宇宙才被热议
       元宇宙具体需要哪些技术
       元宇宙英文翻译怎么说
       PyTorch3D深度学习与3D研究框架怎么样
       PyTorch Geometric图神经网络深度学习库怎么样
       ONNX Runtime是什么
       Transformers是什么
       Detectron2是什么
       有类似C++版本的PyTorch吗
       有类似Pytorch版本的Keras框架吗
       Style2Paints是干什么的
       Magenta是什么
       PyTorch是什么
       Apache的MXNet深度学习框架怎么样
       谷歌的scikit-learn机器学习库怎么样
       TensorFlow是什么开源框架
       ParlAI是Facebook开源的人工智能框架吗
       科研人员是如何看待看元宇宙的
       百香果NLP是干什么的
       NFT数字艺术品和普通艺术品区别
       用nft艺术品交易平台对我有什么好处
       比特币(BTC)、以太币(ETH)与NFT代币区别