第五节:ORM

ORM

一、Django模型层之ORM介绍

ORM是什么?为何要有ORM?

我们在使用Django框架开发web应用的过程中,不可避免地会涉及到数据的管理操作(增、删、改、查),而一旦谈到数据的管理操作,就需要用到数据库管理软件,例如mysql、oracle、Microsoft SQL Server等。

如果应用程序需要操作数据(比如将用户注册信息永久存放起来),那么我们需要在应用程序中编写原生sql语句,然后使用pymysql模块远程操作mysql数据

针对应用程序的数据操作,直接编写原生sql语句会存在两方面的问题,严重影响开发效率,如下

#1. sql语句的执行效率问题:应用开发程序员需要耗费一大部分精力去优化sql语句
#2. 数据库迁移问题:针对mysql开发的sql语句无法直接应用到oracle数据库上,一旦需要迁移数据库,便需要考虑跨平台问题

为了解决上述问题,django引入了ORM的概念,ORM全称Object Relational Mapping,即对象关系映射,是在pymysq之上又进行了一层封装,对于数据的操作,我们无需再去编写原生sql,取代代之的是基于面向对象的思想去编写类、对象、调用相应的方法等,ORM会将其转换/映射成原生SQL然后交给pymysql执行

基于图2所示,有了ORM框架,开发人员既不用再去考虑原生SQL的优化问题,也不用考虑数据库迁移的问题,ORM都帮我们做了优化且支持多种数据库,这极大地提升了我们的开发效率,下面就让我们来详细学习ORM的使用吧

二、ORM的使用之模型

在django的ORM框架中,继承自django.db.models.Model的类称之为模型类,或简称模型。

一个模型是关于你的数据,唯一的、决定性的信息源、它包含存储数据的基本字段和方法。

通常,每个模型都映射到一个数据库表。模型中的属性对应数据库表的字段

如下所示:原生SQL与ORM的模型对应关系

三、ORM的使用之数据库迁移

1、创建模型

数据来源于数据库的表,而ORM的模型类对应数据库表,所以若我们想操作数据,必须先创建模型。

# 创建django项目,新建名为app01的app,在app01的models.py中创建模型
class Employee(models.Model):  # 必须是models.Model的子类
    id=models.AutoField(primary_key=True)

    name=models.CharField(max_length=16)

    gender=models.BooleanField(default=1)

    birth=models.DateField()

    department=models.CharField(max_length=30)

    salary=models.DecimalField(max_digits=10,decimal_places=1)

2、 配置settings.py

1.注册应用

但凡涉及到数据库同步操作的应用,都需要事先在settings.py的INSTALLED_APPS中完成注册

INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',

    # django2.x+版本
    'app01.apps.App01Config', # 如果默认已经添加了,则无需重复添加
    # 'app02.apps.App02Config', # 若有新增的app,按照规律依次添加即可

    # django1.x版本
    'app01',  # 直接写应用名字
    # 'app02'
]

2.配置后端数据库

django的orm支持多种数据库(如PostgreSQL、MySQL、SQLite、Oracle等),如果想将上述模型转为mysql数据库中的表,需要settings.py中配置DATABASES,如下

# 删除\注释掉原来的DATABASES配置项,新增下述配置
DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.mysql', # 使用mysql数据库
        'NAME': 'db1',          # 要连接的数据库
        'USER': 'root',         # 链接数据库的用于名
        'PASSWORD': '',         # 链接数据库的用于名                  
        'HOST': '127.0.0.1',    # mysql服务监听的ip  
        'PORT': 3306,           # mysql服务监听的端口  
        'ATOMIC_REQUEST': True, #设置为True代表同一个http请求所对应的所有sql都放在一个事务中执行 
                                #(要么所有都成功,要么所有都失败),这是全局性的配置,如果要对某个
                                #http请求放水(然后自定义事务),可以用non_atomic_requests修饰器 
        "AUTOCOMMIT":False, #全局取消自动提交,慎用
        'OPTIONS': {
            "init_command": "SET storage_engine=INNODB", #设置创建表的存储引擎为INNODB
            'isolation_level': "read committed",  # 默认为RC,可以设置成其他级别(详见下面解释)
        }
    }
}

"""
=================================》额外补充:
当运行并发负载时,来自不同会话的数据库事务(例如,处理不同请求的单独线程)可能会相互交互。 这些交互受每个会话的事务隔离级别的影响。 您可以在DATABASES中的数据库配置的OPTIONS部分中使用'isolation_level'条目设置连接的隔离级别。 此条目的有效值是四个标准隔离级别:

'read uncommitted'
'read committed'
'repeatable read'
'serializable'
或None来使用服务器配置的隔离级别。 
然而,Django最好使用read committed而不是MySQL的默认值repeatable read。 repeatable read可能导致数据丢失。
"""

强调!!!:在链接mysql数据库前,必须事先创建好数据库

mysql> create database db1; # 数据库名必须与settings.py中指定的名字对应上

3.配置日志

如果想打印orm转换过程中的sql,需要在settings中进行配置日志:

LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'handlers': {
        'console':{
            'level':'DEBUG',
            'class':'logging.StreamHandler',
        },
    },
    'loggers': {
        'django.db.backends': {
            'handlers': ['console'],
            'propagate': True,
            'level':'DEBUG',
        },
    }
}

首先执行下述命令来创建一个迁移

3、mysqlclient安装与兼容性问题

$ python manage.py makemigrations

会抛出异常

......
    raise ImproperlyConfigured(
django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module.
Did you install mysqlclient?

提示我们需要事先安装好mysqlclient,并且默认加载的mysqlclient是模块MySQLdb,需要安装MySQL-python,但目前python官方第三库中最新版MySQLdb 1.2.5对python解释器以及MySQL Server的支持如下,并不支持python3.0+

• 对Python解释器的支持

CPython : 支持2.4到2.7

PyPy(用python实现的python解释器) : 支持到最新版本

• 对MySQL Server的支持

– 3.23=< MySQL <= 5.5

为此,有人在github中创建了一个MySQLdb1分支 来支持Cpython3.0+解释器,可以参照官网进行安装https://pypi.org/project/mysqlclient/

除了使用MySQLdb作为MySQLclient之外,我们还有可以使用pymysql

• Python解释器支持:

CPython : 2.7 and >= 3.5

PyPy : Latest version

• MySQL Server支持:

MySQL >= 5.5

MariaDB >= 5.5

比起前者,pymysql直接支持Cpython3.0+,安装简单

pip3 install pymysql

但是因为Django默认加载的MySQLclient是MySQLdb,所以需要作出修改

此时重新执行python manage.py makemigrations仍会抛出异常

......    
    File "/Users/linhaifeng/PycharmProjects/egon_test/venv-3.8/lib/python3.8/site-packages/django/db/backends/mysql/base.py", line 37, in <module>
    raise ImproperlyConfigured('mysqlclient 1.3.13 or newer is required; you have %s.' % Database.__version__)
django.core.exceptions.ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9.3.

需要根据上述异常提示的文件base.py路径打开文件,注释下述两行

if version < (1, 3, 13):
    raise ImproperlyConfigured('mysqlclient 1.3.13 or newer is required; you have %s.' % Database.__version__)

如果重新执行makemigrations命令,扔抛出异常

......
    File “xxx\lib\site-packages\django\db\backends\mysql\operations.py”, line 146, in last_executed_query
query = query.decode(errors=‘replace’)
AttributeError: ‘str’ object has no attribute ‘decode’

需要根据上述异常提示的operations.py文件路径打开文件,把146行的decode修改为encode

ps:PyPI(Python Package Index)是Python官方的*第三方库*,所有人都可以下载或上传Python库到PyPI。可以访问https://pypi.org/,自行查看各个库的版本支持,

4、数据库迁移命令

最后在命令行中执行两条数据库迁移命令,即可在指定的数据库db1中创建表 :

$ python manage.py makemigrations
$ python manage.py migrate

# 注意:
# 1、makemigrations只是生成一个数据库迁移记录的文件,而migrate才是将更改真正提交到数据库执行
# 2、数据库迁移记录的文件存放于app01下的migrations文件夹里
# 3、了解:
如果要给迁移一个有意义的名称而不是生成的名称,则可以使用makemigrations --name选项:
python manage.py makemigrations --name xx app01 # 会在migrations目录下生成迁移文件0001_xx.py

python3 manage.py sqlmigrate app01 0001_xx  # 展示迁移的sql语句
python manage.py showmigrations # 项目的迁移及其状态。

注意:当我们直接去数据库里查看生成的表时,会发现数据库中的表与orm规定的并不一致,这完全是正常的,事实上,orm的字段约束就是不会全部体现在数据库的表中,比如我们为字段gender设置的默认值default=1,去数据库中查看会发现该字段的default部分为null

mysql> desc app01_employee; # 数据库中标签前会带有前缀app01_
+------------+---------------+------+-----+---------+----------------+
| Field      | Type          | Null | Key | Default | Extra          |
+------------+---------------+------+-----+---------+----------------+
| id         | int(11)       | NO   | PRI | NULL    | auto_increment |
| name       | varchar(16)   | NO   |     | NULL    |                |
| gender     | tinyint(1)    | NO   |     | NULL    |                |
| birth      | date          | NO   |     | NULL    |                |
| department | varchar(30)   | NO   |     | NULL    |                |
| salary     | decimal(10,1) | NO   |     | NULL    |                |
+------------+---------------+------+-----+---------+----------------+

,虽然数据库没有增加默认值,但是我们在使用orm插入值时,完全为gender字段插入空,orm会按照自己的约束将空转换成默认值后,再提交给数据库执行

5、模型字段的增、删、改

在表生成之后,如果需要增加、删除、修改表中字段,需要这么做

# 一:增加字段
#1.1、在模型类Employee里直接新增字段,强调:对于orm来说,新增的字段必须用default指定默认值
publish = models.CharField(max_length=12,default='人民出版社',null=True)
#1.2、重新执行那两条数据库迁移命令

# 二:删除字段
#2.1 直接注释掉字段
#2.2 重新执行那两条数据库迁移命令

# 三:修改字段
#2.1 将模型类中字段修改
#2.2 重新执行那两条数据库迁移命令

6、加载django配置

在开发django项目时,如果我们想跳过django的启动与操作流程,只测试某一部分的代码的功能,需要首先引入django的配置环境才可以

在任意路径下新建一个py文件(文件名任意),内容如下

import sys
import os
import django

# 1、将项目的根目录填入环境变量
BASE_DIR = os.path.dirname(传入项目所在的根目录)
sys.path.append(BASE_DIR)

# 2、引入项目的配置环境,然后无需启动django项目就可以使用其配置环境了
os.environ.setdefault('DJANGO_SETTINGS_MODULE', '项目名.settings')
django.setup()

# 可以将上述代码粘贴进交互式环境,直接在交互式环境测试

if __name__ == "__main__":
    # 编写测试代码,直接运行本文件即可
    from app01.models import Employee

    all = Employee.objects.all().values()
    print(all)

四、基本使用简介

增加一条记录

obj=Employee(name="Egon",gender=0,birth='1997-01-27',department="财务部",salary=100.1)
obj.save()

查询记录

obj = Employee.objects.filter(name="Egon").first()  # 查询所有名字为Egon的记录并取第一条
print(obj.id, obj.name, obj.birth)  # 输出1 Egon 1997-01-27

修改记录

Employee.objects.filter(name="Egon").update(name="EGON") # 过滤出所有名字为Egon的记录并将name字段改成大写EGON

删除记录

Employee.objects.filter(name="EGON").delete() # 过滤出所有名字为EGON的记录并删除

五、orm简单示例

定一个Person模型,有两个属性first_name与last_name

from django.db import models

class Person(models.Model):
    first_name = models.CharField(max_length=30)
    last_name = models.CharField(max_length=30)

first_name与last_name是这个模型的字段,每个字段都被指定为类属性,每个属性都映射到数据库列。

上面的Person模型将创建如下一个数据库表

CREATE TABLE myapp_person (
    "id" serial NOT NULL PRIMARY KEY,
    "first_name" varchar(30) NOT NULL,
    "last_name" varchar(30) NOT NULL
);

一些注意事项:

1、数据库中生成的表会加上"app名_"作为前缀,如myapp_persion,也可以重新为别的名称,详见第四节 2、会自动添加一个id字段作为主键字段,但也可以重写此行为,详见第3.3小节 3、本例中的CREATE TABLE SQL是使用PostgreSQL语法格式化的,但值得注意的是Django使用的SQL是根据设置文件中指定的数据库后端定制

六、使用模型

一旦你定义了模型,你就需要告诉djano你将要使用这些模型。如何做到呢?
需要通过编辑配置文件settings.py,在配置项INSTALLED_APPS注册你包含模型文件
models.py所在的app

例如,如果你的app的模型在myapp.models里,INSTALLED_APPS配置如下

INSTALLED_APPS = [
    #...
    'myapp',
    #...
]

然后运行命令

python manage.py makemigrations
python manage.py migrate

Django 提供了基于 web 的管理工具用来管理我们的模型。如何使用呢

• 1、通常我们在生成项目时就会在 urls.py 中自动设置好,如下

urlpatterns = [
    path('admin/', admin.site.urls),
]

• 2、启动Django ,管理工具就可以运行了,在浏览器中访问 http://127.0.0.1:8000/admin/,得到如下界面:

• 3、你可以通过命令 *python manage.py createsuperuser* 来创建超级用户,如下所示:

# python manage.py createsuperuser
Username (leave blank to use 'root'): egon
Email address: admin@runoob.com
Password:
Password (again):
Superuser created successfully.

之后输入用户名密码登录,界面如下:

• 4、为了让 admin 界面管理某个数据模型,我们需要先注册该数据模型到 admin。比如,我们之前在 app01/models.py中已经创建了模型 Person 。修改 app01/admin.py:

from django.contrib import admin

# Register your models here.

from app01.models import Person
admin.site.register(Person)

刷新页面即可看到Person数据表,可以在模型类中新增str方法来控制记录的显示内容。

上一篇
下一篇
Copyright © 2022 Egon的技术星球 egonlin.com 版权所有 帮助IT小伙伴学到真正的技术