前言

其实大多数项目用到redis多一点，这篇文章我们主要来谈一下：如何保证Mongodb和数据库双写的数据一致性？

1. MongoDB概念及基本用法

1.1什么是MongoDB？

MongoDB 是一个开源的、可扩展的、跨平台的、面向文档的非关系型数据库（NOSQL）。它底层用的C++ 语言编写，主要是提供可扩展的高性能数据存储解决方案。

MongoDB主要用于存储大容量的数据。其文档存储格式有点类似json，例如文件、图片、音频、视频等。

MongoDB也通常用来存储大数据，例如GPS数据等。

1.2 MongoDB的基本使用

下面我们来看一下MongoDB+数据库的基本使用。

MongoDB+数据库，客户端写入数据流程图如下：

可以看出，当客户端请求写入数据时，数据插入到MongoDB后得到数据mongo_id，再写入数据到数据库并保存mongo_id，这样就存在了一个数据关联关系。

MongoDB+数据库，客户端请求数据流程图如下：

当客户端请求该数据时先去数据库拿到MongoDB中的数据id，再去MongoDB中取出数据即可。

如此就保证了核心属性存储在数据库，同时也解决了客户端的大数据或大文件的存储。

2 .怎样保证MongoDB和数据库双写一致性？

当前最常用的两种解决方案如下。

2.1 先写数据库，再写MongoDB

方案一：先写数据库，再写MongoDB。

图例如下：

这种方案，需要注意得的是写入数据库要记录mongo_id，此时因还没有写入数据到MongoDB是拿不到其真实id的，因此需在写入数据到数据库时自定义生产mongo_id，当写入数据MongoDB中时用已经生成的id。

因此这种方案主要用于对数据完整性要求不高的场景下，也就是非核心数据可有可无，丢失了也无关紧要。

举个例子说明一下这种方案的弊端：

当数据库刚保存成功数据，网络异常或写入MongoDB逻辑异常，此时就会导致非核心数据保存失败而丢失。因此此方案在实际项目中基本不使用。

2.2 先写MongoDB，再写数据库

方案一：先写MongoDB，再写数据库。

图例如下：

同样的道理：如果MongoDB写入数据成功了，此时网络中断或逻辑异常了，导致写入数据库失败又怎么解决。

上述问题一样因MongoDB写入成功后不会回滚，因此一样会导致双写数据不一致的情况。

这里我们再来返回去看一下上面分析的MongoDB的基本操作呢，实际上当客户端获取数据时，先获取数据库的mongo_id，再通过mongo_id查询MongoDB中数据，此种情况去MongDB查询数据时查不到的。

也就是说，这种情况下MongoDB钟保存的是垃圾数据。因此对实际业务没有任何影响的。

该方案弊端：

MongDB中垃圾数据过多会占用存储，要怎么来清理这些数据？

客户端新增数据不影响业务，要是客户端修改数据呢？

3. 修改操作又怎么保证MongoDB和数据库数据一致？

试想如果我们采用客户端新增先写MongoDB后写数据库方案来做客户端修改数据，当MongoDB修改成功，数据库修改失败时，这样修改操作也不能保证双鞋一致性了。

客户端修改数据时，我们可以这样操作：

客户端提交修改数据请求后，我们同样先去MongoBD新增一条数据，拿到新的mongo_id，再去修改数据库并更新新的mongo_id。

示例如下：

分析一下：客户端发起修改请求时，如果MogoDB新增数据成功了，再去修改数据库数据失败了，此时因数据库保存的是老的mongo_id，客户端依然可以拿到数据。

该方案弊端：

MongDB中垃圾数据过多会占用存储，要怎么来清理这些数据？

为了解决修改MongoDB时可能产生的垃圾数据，我们可以这样操作：

同样客户端请求修改数据时，先在MongoDB新增一套数据，保留老数据并拿到新的mongo_id，再去更新数据库数据，更新成功后再用村塾再数据库的老mongo_id删除MongoDB中旧数据。

具体流程图如下：

注意了，问题又来了，加入当修改数据库成功后，去删除MongoDB老数据时失败了，那这样MongDB中的垃圾数据是不是就一直保留了？

因此这里就需要【重试机制】来删除MongoDB老数据了。

常见的重试机制：定时任务、mq。

这样客户端请求修改数据时产生的垃圾数据清理问题解决了，那么新增呢？

4. 新增的垃圾数据又怎么清理？

又回到上面新增的方案二中遗留的垃圾数据清理问题了。

4.1 定时任务删除

同样的这里可以采用：定时任务

简单的来说就是用MongoDB中的mongo_id扫描数据库中该mongo_id，如果数据库中不存在则就删除MongoDB中该条数据。

问题又来了，如果MongoDB中数据量很大呢？通常的做法：缩小扫描数据的范围。

例如：获取MongoDB数据时，根据mongo_id的一个范围查询，再用mongo id去数据库查询数据并删除MongoDB垃圾数据。

但如果缩小扫描数据的范围后，数据量仍然很大，定时任务还是处理不过来呢？通常可以：多线程定时任务处理。

4.2 随机删除

可以借鉴redis的随机清除缓存国企数据策略，采用随机删除方案。

同样用定时任务，每隔500ms随机查询MongoDB中10条数据进行批量处理。