我们在开发过程中经常涉及与数据库进行交互,比如MySQL、Oracle、PostgreSQL、Sqlite,一般,我们使用其对应的Python 第三方模块,实现相关数据库操作,如下

  • MySQL数据库:mysql-connectorpymysql
  • PostgreSQL数据库:psycopg2
  • Oracle数据库 cx_Oracle
  • SQLite数据库: sqlite3
  • 但这样却使得我们不得不面临一个问题,代码中涉及不同数据库,操作方式也不尽相同,容易出现代码冗余、不规范,风格不统一等等问题。

    后来接触到 Python SQLAlchemy(ORM框架)模块,一定程度上解决了各数据库的SQL差异,但 SQLAlchemy 在消除各数据库SQL差异的同时却会引入各框架CRUD的差异。而我们往往就具有一定的SQL基础,如果一个框架强制用户只能使用其规定的CRUD形式那反而增加用户的学习成本,导致长学习曲线。

    同时,个人为人直接地执行SQL而不是使用框架设定的CRUD不应当是一种低级的操作应当是一种被鼓厉的标准化行为。


    遇到 Records

    Records 是一个非常简单且功能强大的库,适用于大多数关系型数据库的 原始SQL操作,三个字,强无敌

    Records 的特点:

  • 基于 SQLAlchemy 和 Tablib 开发。
  • 方法非常简单且统一。
  • 支持缓存查询的数据.
  • 自动实现上下文管理器,不需要关注数据连接状态。
  • 支持数据库事务,保持数据的原子性和一致性。
  • 支持安全的参数化查询,以安全的形式进行动态参数传递,防止 sql 语句不规范导致的安全问题;
  • 支持主流数据库,如 RedShift, Postgres, MySQL, SQLite, Oracle, 和 MS-SQL

  • Records 安装

    我们在Windows 10 Python3环境下,使用pip进行安装 ,安装命令如下:

     pip install records 

    安装过程如下:

    接下来,我们以SQLite数据库为例,介绍如何使用 Records 进行数据库CRUD操作。


    首先,因 Records 是基于 SQLAlchemy 实现的,所以数据库链接方式参考SQLAlchemy ,如下

    Records 操作数据的步骤非常的简单,如下:

    1. 连接数据库,返回 DB 数据库对象。
    2. 使用 query 方法执行 SQL 语句。

    创建表

    插入数据

    Records 支持安全参数化,使用 :variable 定义变量,通过参数传入完成动态传值,非常适合需要动态加载数据的场景,如批量入库操作。


    批量插入

    SQL 语句实现数据的批量入库时,操作比较冗余,如果入库数据是动态变化的,代码的复杂度变得更高。 Records 提供的 bulk_query 方法能便捷的插入和更新数据。


    数据查询

    我们可以通过 all 方法获取所有的记录,first 方法获取第一条记录,支持参数如下:

  • as_dict=True:参数转成字典形式。
  • as_ordereddict=True:转成排序字典形式。

  • 字段获取

    执行上述代码,输出结果如下:


    支持数据库事务

    数据库事务是经常需要使用到的数据库操作,他通常是为了保持数据原子性和一致性。

    比如商品销量与存量的数据库操作:

    1. 读取商品销量数据。
    2. 更新商品销量增加1。
    3. 读取商品存量数量。
    4. 更新商品存量减少1。

    该场景下,我们须保证这 4 步均执行成功。如果第1步已经执行成功,但是到第 3 步发生了错误导致后面数据库操作不能执行,会导致商品销量与存量混乱。records 模块提高了强大的数据库事务支持,通过数据库事务就能避免这种情况,如下:

    执行上述代码,我们可以看到,当with中存在失败的执行语句时,历史执行SQL 不生效,如下:


    数据导出至xlsx

    执行上述代码,实现数据库查询结果的导出到xlsx中,如下:


    数据导出为yaml

    除此之外,还支持导出为 json, xls, csv, pandas, html 等多种数据格式。


    声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

    上一篇 2019年8月2日
    下一篇 2019年8月2日

    相关推荐