项目简介

农业知识图谱(AgriKG)：农业领域的信息检索，命名实体识别，关系抽取，智能问答，辅助决策。

项目以实现智慧农业为目标，探索农业大数据分析、挖掘和综合应用。课题组在前期国家重点研发计划《大数据知识工程基础理论及其应用研究》研究基础上，在本项目中，基于碎片化农业大数据，构建面向智慧农业的知识图谱及其应用系统。

设计思路

命名实体识别:

使用thulac工具进行分词，词性标注，命名实体识别（仅人名，地名，机构名） 为了识别农业领域的特定实体，我们需要：

1. 分词，词性标注，命名实体识别
2. 以识别为命名实体（person，location，organzation）的，若实体库没有，可以标注出来
3. 对于非命名实体部分，采用一定的词组合和词性规则，在O(n)时间扫描所有分词，过滤掉不可能为农业实体的部分（例如动词肯定不是农业实体）
4. 对于剩余词及词组合，匹配知识库中以分好类的实体。如果没有匹配到实体，或者匹配到的实体属于0类（即非实体），则将其过滤掉。
5. 实体的分类算法见下文。

特征提取：

分类器：KNN算法

• 无需表示成向量，比较相似度即可
• K值通过网格搜索得到

定义两个页面的相似度sim(p1,p2)：

• title之间的词向量的余弦相似度(利用fasttext计算的词向量能够避免out of vocabulary)
• 2组openType之间的词向量的余弦相似度的平均值
• 相同的baseInfoKey的IDF值之和（因为‘中文名’这种属性贡献应该比较小）
• 相同baseInfoKey下baseInfoValue相同的个数
• 预测一个页面时，由于KNN要将该页面和训练集中所有页面进行比较，因此每次预测的复杂度是O(n)，n为训练集规模。在这个过程中，我们可以统计各个分相似度的IDF值，均值，方差，标准差，然后对4个相似度进行标准化:(x-均值)/方差
• 上面四个部分的相似度的加权和为最终的两个页面的相似度，权值由向量weight控制，通过10折叠交叉验证+网格搜索得到

关系抽取

使用远程监督方法构建数据集，利用tensorflow训练PCNN模型。

快速部署

开发/部署环境：python3，neo4j图数据库（版本没特殊要求），各python依赖包。

所以需确保安装好python3和Neo4j（任意版本），python安装可自己去查找，neo4j可参考我以前写的文章《知识图谱构建利器：图数据库Neo4j的环境部署和简单使用》。

1.下载源码

git clone https://github.com/qq547276542/Agriculture_KnowledgeGraph.git

下载完成后安装一系列的pip依赖，步骤为： cd至项目根目录，运行 sudo pip3 install -r requirement.txt，等待安装完成即可。

目录结构及介绍如下图所示：

.  MyCrawler      // scrapy爬虫项目路径(已爬好)
      MyCrawler
          data
          spiders
  data processing    // 数据清洗(已无用)
      data
  demo     // django项目路径
      Model  // 模型层，用于封装Item类，以及neo4j和csv的读取
      demo   // 用于写页面的逻辑(View)
      label_data    // 标注训练集页面的保存路径
          handwork
      static    // 静态资源
          css
          js
          open-iconic
      templates   // html页面
      toolkit   // 工具库，包括预加载，命名实体识别
      KNN_predict   
  KNN_predict    // KNN算法预测标签
  dfs_tree_crawler     // 爬取互动百科农业实体树形结构的爬虫
  wikidataSpider    //  爬取wiki中的关系

2.导入数据

2.1将hudong_pedia.csv导入neo4j作为结点，然后对titile属性添加UNIQUE（唯一约束/索引）

操作步骤为：打开启neo4j，进入neo4j控制台。将hudong_pedia.csv放入neo4j安装目录下的/import目录。在控制台依次输入：

// 将hudong_pedia.csv 导入
LOAD CSV WITH HEADERS  FROM "file:///hudong_pedia.csv" AS line  
CREATE (p:HudongItem{title:line.title,image:line.image,detail:line.detail,url:line.url,openTypeList:line.openTypeList,baseInfoKeyList:line.baseInfoKeyList,baseInfoValueList:line.baseInfoValueList})  

// 新增了hudong_pedia2.csv
LOAD CSV WITH HEADERS  FROM "file:///hudong_pedia2.csv" AS line  
CREATE (p:HudongItem{title:line.title,image:line.image,detail:line.detail,url:line.url,openTypeList:line.openTypeList,baseInfoKeyList:line.baseInfoKeyList,baseInfoValueList:line.baseInfoValueList})  

// 创建索引
CREATE CONSTRAINT ON (c:HudongItem)
ASSERT c.title IS UNIQUE

2.2 进入/wikidataSpider/wikidataProcessing中，将new_node.csv,wikidata_relation.csv,wikidata_relation2.csv三个文件放入neo4j的import文件夹中（运行relationDataProcessing.py可以得到这3个文件），然后分别运行

// 导入新的节点
LOAD CSV WITH HEADERS FROM "file:///new_node.csv" AS line
CREATE (:NewNode { title: line.title })

//添加索引
CREATE CONSTRAINT ON (c:NewNode)
ASSERT c.title IS UNIQUE

//导入hudongItem和新加入节点之间的关系
LOAD CSV  WITH HEADERS FROM "file:///wikidata_relation2.csv" AS line
MATCH (entity1:HudongItem{title:line.HudongItem}) , (entity2:NewNode{title:line.NewNode})
CREATE (entity1)-[:RELATION { type: line.relation }]->(entity2)

LOAD CSV  WITH HEADERS FROM "file:///wikidata_relation.csv" AS line
MATCH (entity1:HudongItem{title:line.HudongItem1}) , (entity2:HudongItem{title:line.HudongItem2})
CREATE (entity1)-[:RELATION { type: line.relation }]->(entity2)

2.3 导入实体属性(数据来源: 互动百科)

将attributes.csv放到neo4j的import目录下，然后执行

LOAD CSV WITH HEADERS FROM "file:///attributes.csv" AS line
MATCH (entity1:HudongItem{title:line.Entity}), (entity2:HudongItem{title:line.Attribute})
CREATE (entity1)-[:RELATION { type: line.AttributeName }]->(entity2);
                                                            
LOAD CSV WITH HEADERS FROM "file:///attributes.csv" AS line
MATCH (entity1:HudongItem{title:line.Entity}), (entity2:NewNode{title:line.Attribute})
CREATE (entity1)-[:RELATION { type: line.AttributeName }]->(entity2);
                                                            
LOAD CSV WITH HEADERS FROM "file:///attributes.csv" AS line
MATCH (entity1:NewNode{title:line.Entity}), (entity2:NewNode{title:line.Attribute})
CREATE (entity1)-[:RELATION { type: line.AttributeName }]->(entity2);
                                                            
LOAD CSV WITH HEADERS FROM "file:///attributes.csv" AS line
MATCH (entity1:NewNode{title:line.Entity}), (entity2:HudongItem{title:line.Attribute})
CREATE (entity1)-[:RELATION { type: line.AttributeName }]->(entity2)  

//我们建索引的时候带了label，因此只有使用label时才会使用索引，这里我们的实体有两个label，所以一共做2*2=4次。当然，可以建立全局索引，即对于不同的label使用同一个索引
                                                            
          
                                                                                                                         

2.4 导入气候名称:

将wikidataSpider/weatherData/static_weather_list.csv放在指定的位置(import文件夹下)

//导入节点
LOAD CSV WITH HEADERS FROM "file:///static_weather_list.csv" AS line
MERGE (:Weather { title: line.title })

//添加索引
CREATE CONSTRAINT ON (c:Weather)
ASSERT c.title IS UNIQUE

2.5 导入气候与植物的关系

将wikidataSpider/weatherData/weather_plant.csv放在指定的位置(import文件夹下)
//导入hudongItem和新加入节点之间的关系
LOAD CSV  WITH HEADERS FROM "file:///weather_plant.csv" AS line
MATCH (entity1:Weather{title:line.Weather}) , (entity2:HudongItem{title:line.Plant})
CREATE (entity1)-[:Weather2Plant { type: line.relation }]->(entity2)
导入城市的气候

将city_weather.csv放在指定的位置(import 文件夹下)
(这步大约需要15分钟左右)
//导入城市对应的气候
LOAD CSV WITH HEADERS FROM "file:///city_weather.csv" AS line
MATCH (city{title:line.city}) , (weather{title:line.weather})
CREATE (city)-[:CityWeather { type: line.relation }]->(weather)

3.修改Neo4j用户

进入demo/Model/neo_models.py,修改第9行的neo4j账号密码，改成你自己的

4.启动服务
进入demo目录，然后运行脚本：

django_server_start.bat

这样就成功地启动了django。我们进入8000端口主页面，输入文本，即可看到以下命名实体和分词的结果（确保django和neo4j都处于开启状态）。

功能展示
1.农业知识问答

2.农业实体识别+实体分类

点击实体的超链接，可以跳转到词条页面（词云采用了词向量技术）：

3.实体查询

实体查询部分，我们能够搜索出与某一实体相关的实体，以及它们之间的关系：

其它功能可查看官方文档：https://github.com/qq547276542/Agriculture_KnowledgeGraph

开源协议

暂无，项目代码可供参考，项目中包含的数据可免费用于学术等非商业用途。