关于Dapper实现读写分离的个人思考-程序员宅基地

技术标签: java  运维  mysql  数据库  redis  

概念相关

    为了确保多线上环境数据库的稳定性和可用性,大部分情况下都使用了双机热备的技术。一般是一个主库+一个从库或者多个从库的结构,从库的数据来自于主库的同步。在此基础上我们可以通过数据库反向代理工具或者使用程序的方式实现读写分离,即主库接受事务性操作比如删除、修改、新增等操作,从库接受读操作。笔者自认为读写分离解决的痛点是,数据库读写负载非常高的情况下,单点数据库存在读写冲突,从而导致数据库压力过大,出现读写操作缓慢甚至出现死锁或者拒绝服务的情况。它适用与读大于写,并可以容忍一段时间内不一致的情况,因为主从同步存在一定的延迟,大致的实现架构图如下(图片来自于网络)。
    

    虽然我们可以通过数据库代理实现读写分离,比如mycat,这类方案的优势就是对程序本身没有入侵,通过代理本身来拦截sql语句分发到具体数据。甚至是更好的解决方案NewSQL去解决,比如TiDB。但是还是那个原则,无论使用数据库代理或者NewSQL的情况都是比较重型的解决方案,会增加服务节点和运维成本,有时候还没到使用这些终极解决方案的地步,这时候我们会在程序中处理读写分离,所以有个好的思路去在程序中解决读写分离也尤为重要。

基本结构

接下来我们新建三个类,当然这个并不固定,可以根据自己的情况新建类。首先我们新建一个ConnectionStringConsts用来存放连接字符串常量,也就是用来存放读取自配置文件或者配置中心的字符串,这里我直接写死,当然你也可以存放多个连接字符串,大致实现如下。

public class ConnectionStringConsts
{
    /// <summary>
    /// 主库连接字符串
    /// </summary>
    public static readonly string MasterConnectionString = "server=db.master.com;Database=crm_db;UID=root;PWD=1";


    /// <summary>
    /// 从库连接字符串
    /// </summary>
    public static readonly string SlaveConnectionString = "server=db.slave.com;Database=crm_db;UID=root;PWD=1";
}

然后新建存储数据库连接字符串主从映射关系的映射类ConnectionStringMapper,这个类的主要功能就是通过连接字符串建立主库和从库的关系,并且根据映射规则返回实际要操作的字符串,大致实现如下

public static class ConnectionStringMapper
{
    //存放字符串主从关系
    private static readonly IDictionary<string, string[]> _mapper = new Dictionary<string, string[]>();
    private static readonly Random _random = new Random();


    static ConnectionStringMapper()
    {
        //添加数关系映射
        _mapper.Add(ConnectionStringConsts.MasterConnectionString, new[] { ConnectionStringConsts.SlaveConnectionString });
    }


    /// <summary>
    /// 获取连接字符串
    /// </summary>
    /// <param name="masterConnectionStr">主库连接字符串</param>
    /// <param name="useMaster">是否选择读主库</param>
    /// <returns></returns>
    public static string GetConnectionString(string masterConnectionStr,bool useMaster)
    {
        //是否走主库
        if (useMaster)
        {
            return masterConnectionStr;
        }


        if (!_mapper.Keys.Contains(masterConnectionStr))
        {
            throw new KeyNotFoundException("不存在的连接字符串");
        }


        //根据主库获取从库连接字符串
        string[] slaveStrs = _mapper[masterConnectionStr];
        if (slaveStrs.Length == 1)
        {
            return slaveStrs[0];
        }
        return slaveStrs[_random.Next(0, slaveStrs.Length - 1)];
    }
}

这个类是比较核心的操作,关于实现读写分离的核心逻辑都在这,当然你可以根据自己的具体业务实现类似的操作。接下来,我们将封装一个DapperHelper的操作,虽然Dapper用起来比较简单方便,但是依然强烈建议!!!封装一个Dapper操作类,这样的话可以统一处理数据库相关的操作,对于以后的维护修改都非常方便,扩展性的时候也会相对容易一些

public static class DapperHelper
{
    public static IDbConnection GetConnection(string connectionStr)
    {
        return new MySqlConnection(connectionStr);
    }


    /// <summary>
    /// 执行查询相关操作
    /// </summary>
    /// <param name="sql">sql语句</param>
    /// <param name="param">参数</param>
    /// <param name="useMaster">是否去读主库</param>
    /// <returns></returns>
    public static IEnumerable<T> Query<T>(string sql, object param = null, bool useMaster=false)
    {
        //根据实际情况选择需要读取数据库的字符串
        string connectionStr = ConnectionStringMapper.GetConnectionString(ConnectionStringConsts.MasterConnectionString, useMaster);
        using (var connection = GetConnection(connectionStr))
        {
            return connection.Query<T>(sql, param);
        }
    }


    /// <summary>
    /// 执行查询相关操作
    /// </summary>
    /// <param name="connectionStr">连接字符串</param>
    /// <param name="sql">sql语句</param>
    /// <param name="param">参数</param>
    /// <param name="useMaster">是否去读主库</param>
    /// <returns></returns>
    public static IEnumerable<T> Query<T>(string connectionStr, string sql, object param = null, bool useMaster = false)
    {
        //根据实际情况选择需要读取数据库的字符串
        connectionStr = ConnectionStringMapper.GetConnectionString(connectionStr, useMaster);
        using (var connection = GetConnection(connectionStr))
        {
            return connection.Query<T>(sql, param);
        }
    }


    /// <summary>
    /// 执行事务相关操作
    /// </summary>
    /// <param name="sql">sql语句</param>
    /// <param name="param">参数</param>
    /// <returns></returns>
    public static int Execute(string sql, object param = null)
    {
        return Execute(ConnectionStringConsts.MasterConnectionString, sql, param);
    }


    /// <summary>
    /// 执行事务相关操作
    /// </summary>
    /// <param name="connectionStr">连接字符串</param>
    /// <param name="sql">sql语句</param>
    /// <param name="param">参数</param>
    /// <returns></returns>
    public static int Execute(string connectionStr,string sql,object param=null)
    {
        using (var connection = GetConnection(connectionStr))
        {
            return connection.Execute(sql,param);
        }
    }


    /// <summary>
    /// 事务封装
    /// </summary>
    /// <param name="func">操作</param>
    /// <returns></returns>
    public static bool ExecuteTransaction(Func<IDbConnection, IDbTransaction, int> func)
    {
        return ExecuteTransaction(ConnectionStringConsts.MasterConnectionString, func);
    }


    /// <summary>
    /// 事务封装
    /// </summary>
    /// <param name="connectionStr">连接字符串</param>
    /// <param name="func">操作</param>
    /// <returns></returns>
    public static bool ExecuteTransaction(string connectionStr, Func<IDbConnection, IDbTransaction, int> func)
    {
        using (var conn = GetConnection(connectionStr))
        {
            IDbTransaction trans = conn.BeginTransaction();
            return func(conn, trans)>0;
        }
    }
}

首先和大家说一句非常抱歉的话,这个类我是随手封装的,并没有实验是否可用,因为我自己的电脑并没有安装数据库这套环境,但是绝对是可以体现我要讲解的思路,希望大家多多见谅。
    在这里可以看出来Query查询方法中我们传递了一个缺省参数useMaster默认值是false,主要的原因是,很多时候我们可能不能完全的使用事务性操作走主库,读取操作走从库的情况,也就是我们有些场景可能要选择性读主库,这时候我们可以通过这个参数去控制。当然这个字段具体的含义根据你的具体业务实际情况而定,其主要原则就是让更多的操作能命中缺省的情况,比如你大部分读操作都需要去主库,那么你可以设置默认值为true,这样的话特殊情况传递false,这样的话会省下许多操作。如果你大部分读操作都是走从库,只有少数场景需要选择性读主库,那么这个参数你可以设置为false。写就没有这种情况,因为无论哪种场景写都是要在主库进行的,除非双主的情况,这也不是我们本次讨论的重点。

使用方式

通过上述方式完成封装之后,我们在具体数据访问层适用的时候可以通过如下方式,如果按照默认的方式查询可以采用如下的方式。在这里关于写的操作我们就不展示了,因为写的情况是固定的

string queryPersonSql = "select id,name from Person where id=@id";
var person = DapperHelper.Query<Person>(queryPersonSql, new { id = 1 }).FirstOrDefault();

如果需要存在特殊情况,查询需要选择主库的话可以不使用缺省参数,我们可以选择给缺省参数传值,比如我要让查询走主库

string queryPersonSql = "select id,name from Person where id=@id";
var person = DapperHelper.Query<Person>(queryPersonSql, new { id = 1 }, true).FirstOrDefault();

当然,我们上面也提到了,缺省值useMaster是true还是false,这个完全可以结合自身的业务决定。如果大部分查询都是走从库的情况下,缺省值可以为false。如果大部分查询情况都是走主库的时候,缺省值可以给true。关于以上所有的相关封装,模式并不固定,这一点可以完全结合自己的实际业务和代码实现,只是希望能多给大家提供一种思路,其他ORM也有自身提供了操作读写分离的具体实现。

总结

    以上就是笔者关于Dapper实现读写分离的一些个人想法,这种方法也适合其他类似Dapper偏原生SQL操作的ORM框架。这种方式还有一个优点就是如果在现有的项目中,需要支持读写分离的时候,这种操作方式可能对原有代码逻辑,入侵不会那么强,如果你前期封装还比较合理的话,那么改动将会非常小。当然这只是笔者的个人的观点,毕竟具体的实践方式还需要结合实际项目和业务。本次我个人希望能得到大家更多关于这方面的想法,如果你有更好的实现方式欢迎评论区多多留言。

????欢迎扫码关注我的公众号????

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/sD7O95O/article/details/108030437

智能推荐

5个超厉害的资源搜索网站,每一款都可以让你的资源满满!_最全资源搜索引擎-程序员宅基地

文章浏览阅读1.6w次,点赞8次,收藏41次。生活中我们无时不刻不都要在网站搜索资源,但就是缺少一个趁手的资源搜索网站,如果有一个比较好的资源搜索网站可以帮助我们节省一大半时间!今天小编在这里为大家分享5款超厉害的资源搜索网站,每一款都可以让你的资源丰富精彩!网盘传奇一款最有效的网盘资源搜索网站你还在为找网站里面的资源而烦恼找不到什么合适的工具而烦恼吗?这款网站传奇网站汇聚了4853w个资源,并且它每一天都会持续更新资源;..._最全资源搜索引擎

Book类的设计(Java)_6-1 book类的设计java-程序员宅基地

文章浏览阅读4.5k次,点赞5次,收藏18次。阅读测试程序,设计一个Book类。函数接口定义:class Book{}该类有 四个私有属性 分别是 书籍名称、 价格、 作者、 出版年份,以及相应的set 与get方法;该类有一个含有四个参数的构造方法,这四个参数依次是 书籍名称、 价格、 作者、 出版年份 。裁判测试程序样例:import java.util.*;public class Main { public static void main(String[] args) { List <Book>_6-1 book类的设计java

基于微信小程序的校园导航小程序设计与实现_校园导航微信小程序系统的设计与实现-程序员宅基地

文章浏览阅读613次,点赞28次,收藏27次。相比于以前的传统手工管理方式,智能化的管理方式可以大幅降低学校的运营人员成本,实现了校园导航的标准化、制度化、程序化的管理,有效地防止了校园导航的随意管理,提高了信息的处理速度和精确度,能够及时、准确地查询和修正建筑速看等信息。课题主要采用微信小程序、SpringBoot架构技术,前端以小程序页面呈现给学生,结合后台java语言使页面更加完善,后台使用MySQL数据库进行数据存储。微信小程序主要包括学生信息、校园简介、建筑速看、系统信息等功能,从而实现智能化的管理方式,提高工作效率。

有状态和无状态登录

传统上用户登陆状态会以 Session 的形式保存在服务器上,而 Session ID 则保存在前端的 Cookie 中;而使用 JWT 以后,用户的认证信息将会以 Token 的形式保存在前端,服务器不需要保存任何的用户状态,这也就是为什么 JWT 被称为无状态登陆的原因,无状态登陆最大的优势就是完美支持分布式部署,可以使用一个 Token 发送给不同的服务器,而所有的服务器都会返回同样的结果。有状态和无状态最大的区别就是服务端会不会保存客户端的信息。

九大角度全方位对比Android、iOS开发_ios 开发角度-程序员宅基地

文章浏览阅读784次。发表于10小时前| 2674次阅读| 来源TechCrunch| 19 条评论| 作者Jon EvansiOSAndroid应用开发产品编程语言JavaObjective-C摘要:即便Android市场份额已经超过80%,对于开发者来说,使用哪一个平台做开发仍然很难选择。本文从开发环境、配置、UX设计、语言、API、网络、分享、碎片化、发布等九个方面把Android和iOS_ios 开发角度

搜索引擎的发展历史

搜索引擎的发展历史可以追溯到20世纪90年代初,随着互联网的快速发展和信息量的急剧增加,人们开始感受到了获取和管理信息的挑战。这些阶段展示了搜索引擎在技术和商业模式上的不断演进,以满足用户对信息获取的不断增长的需求。

随便推点

控制对象的特性_控制对象特性-程序员宅基地

文章浏览阅读990次。对象特性是指控制对象的输出参数和输入参数之间的相互作用规律。放大系数K描述控制对象特性的静态特性参数。它的意义是:输出量的变化量和输入量的变化量之比。时间常数T当输入量发生变化后,所引起输出量变化的快慢。(动态参数) ..._控制对象特性

FRP搭建内网穿透(亲测有效)_locyanfrp-程序员宅基地

文章浏览阅读5.7w次,点赞50次,收藏276次。FRP搭建内网穿透1.概述:frp可以通过有公网IP的的服务器将内网的主机暴露给互联网,从而实现通过外网能直接访问到内网主机;frp有服务端和客户端,服务端需要装在有公网ip的服务器上,客户端装在内网主机上。2.简单的图解:3.准备工作:1.一个域名(www.test.xyz)2.一台有公网IP的服务器(阿里云、腾讯云等都行)3.一台内网主机4.下载frp,选择适合的版本下载解压如下:我这里服务器端和客户端都放在了/usr/local/frp/目录下4.执行命令# 服务器端给执_locyanfrp

UVA 12534 - Binary Matrix 2 (网络流‘最小费用最大流’ZKW)_uva12534-程序员宅基地

文章浏览阅读687次。题目:http://acm.hust.edu.cn/vjudge/contest/view.action?cid=93745#problem/A题意:给出r*c的01矩阵,可以翻转格子使得0表成1,1变成0,求出最小的步数使得每一行中1的个数相等,每一列中1的个数相等。思路:网络流。容量可以保证每一行和每一列的1的个数相等,费用可以算出最小步数。行向列建边,如果该格子是_uva12534

免费SSL证书_csdn alphassl免费申请-程序员宅基地

文章浏览阅读504次。1、Let's Encrypt 90天,支持泛域名2、Buypass:https://www.buypass.com/ssl/resources/go-ssl-technical-specification6个月,单域名3、AlwaysOnSLL:https://alwaysonssl.com/ 1年,单域名 可参考蜗牛(wn789)4、TrustAsia5、Alpha..._csdn alphassl免费申请

测试算法的性能(以选择排序为例)_算法性能测试-程序员宅基地

文章浏览阅读1.6k次。测试算法的性能 很多时候我们需要对算法的性能进行测试,最简单的方式是看算法在特定的数据集上的执行时间,简单的测试算法性能的函数实现见testSort()。【思想】:用clock_t计算某排序算法所需的时间,(endTime - startTime)/ CLOCKS_PER_SEC来表示执行了多少秒。【关于宏CLOCKS_PER_SEC】:以下摘自百度百科,“CLOCKS_PE_算法性能测试

Lane Detection_lanedetectionlite-程序员宅基地

文章浏览阅读1.2k次。fromhttps://towardsdatascience.com/finding-lane-lines-simple-pipeline-for-lane-detection-d02b62e7572bIdentifying lanes of the road is very common task that human driver performs. This is important ..._lanedetectionlite

推荐文章

热门文章

相关标签