pydantic进阶用法示例详解
作者:it_miclon 发布时间:2022-01-31 07:00:03
pydantic
是一个Python的数据验证和转换库,它的特点是轻量、快速、可扩展、可配置。笔者常用的用于数据接口schema定义与检查。
具体的基本用法本文不再做过多的介绍,可以参考pydantic官方文档。本文主要是结合实际项目开发中遇到的问题和解题思路,介绍一些pydantic
的高阶玩法。
当前现状
在项目中,pydantic
的定义是在数据的出口进行规范化,从而使得下游接受方能更快地去解析和清洗这些数据。
from pydantic import BaseModel, Field
# 定义数据模型
class Project(BaseModel):
url: str = Field(...)
title: str = Field(...)
content: str = Field(...)
company: List[Dict] = Field(default=[])
industry: str = Field(...)
以上是简单的一个数据模型定义,代码仅为示例,隐去了一些字段和配置。也就是我们必须传输给Project
模型对应的数据才可以通过它的数据校验,否则就无法继续向下(可能是发往下游)
这么做一直以来没什么问题,直到本次项目中的接口返回出现了大更新,使得之前的所有代码层做的数据字段映射必须重新对应匹配。
比如之前title
字段对应的是title
,现在变成了detail
-article
-title
。
这使得我们必须在代码层做诸如:
# project_data均为接口返回的数据,加数据演示
# 之前的代码
project_data = {
"url": "https://www.baidu.com",
"title": "百度一下,你就知道",
}
project = Project(
**project_data
)
# 现在的代码
project_data = {
"detail": {
"url": "xxx"
"article": {
"title": "项目标题",
}
}
}
project = Project(
url=project_data["detail"]["url"],
title=project_data["detail"]["article"]["title"],
)
以上代码取值变得复杂,这还没考虑到数据可能存在出错的问题,比如detail
字段不存在,这样就会导致KeyError
异常。
而且这并不是夸张的举例(因为事实情况更复杂)。
我怎么能容忍这种情况呢?
解决方案
我当然不是想摒弃掉pydantic
,而是想找到一种结合它更优雅的方式来解决这个问题。
于是我第一时间想到了jmespath
模块,因为它是一个JSON查询语言,可以用来在JSON数据中查找和提取数据。
from jmespath import search
project_data = {
"detail": {
"article": {
"title": "项目标题",
}
}
}
title = search("detail.article.title", project_data)
assert title == "项目标题" # True
# 即使是path不存在,也不会异常,而是返回None
assert search("detail.article.title1", project_data) is None # True
所以我打算做一个结合pydantic
和jmespath
的方式来解决这个问题。
class Project(BaseModel):
url: str = Field(...)
title: str = Field(...)
content: str = Field(...)
company: List[Dict] = Field(default=[])
industry: str = Field(...)
@root_validator(pre=True, skip_on_failure=True)
def data_converter(cls, v):
return {
"url": search("detail.id", v),
"title": search("detail.article.title", v),
"content": search("detail.article.content", v),
"company": search("company[*].name", v),
"industry": search("industry", v)
}
@validator("url")
def url_validator(cls, v):
# 由于这里的v是拿到的ID,需要组合成url
return f"https://xxxxx/{v}"
从代码中可以知道,我是在root_validator
中提前做了数据的转换,将jmespath
的查询结果赋值给对应的字段。
但是做完之后我越看越变扭,我为了做这个事情,先要申明所有字段,还要对这些字段一一映射。
于是,我想到了pydantic
的Config
类,它可以用来配置pydantic
的一些行为。而且通过查看源码,我认为我可以通过Field
类中输入一个path变量,告诉未来的处理器,这个path是用来做数据提取的。
class Project(BaseModel):
url: str = Field(..., path="temporaryLibrary.id")
company_names: str = Field(..., path="company[0].enterprise.name")
versions: List[str] = Field(..., path="versionList[*].id")
当然现在代码是没有任何意义的,因为path
是我们自定义的,pydantic
并不知道如何处理它。
所以下一步我们要做的是,如何更好的让pydantic
知道如何处理path
。
在多次翻阅它源代码,并结合官方文档中对Model类的介绍,我找到了一个可行的方案。
Pydantic models can be created from arbitrary class instances to support models that map to ORM objects.
也就是说,我可以将原始数据通过from_orm
传递给pydantic
的模型,然后通过Data binding
的方式,将数据绑定到模型中。Data binding
允许我们自定义数据的取值来源。
class ProjectGetter(GetterDict):
def get(self, key: str, default: Any) -> Any: # noqa
# 由于getter_dict所能拿到的“数据权限”相对较低,
# 也就是它的权限仅仅是处理数据,而不是处理模型,
# 所以我们需要自己去拿到模型,然后再去拿到path
model, data = self._obj['model'], self._obj['data']
for name, field in model.__fields__.items():
path = field.field_info.extra.get('path')
if path and name == key:
return search(path, data)
return default
class Project(BaseModel):
url: str = Field(..., path="detail.id")
company_names: str = Field(..., path="company[0].enterprise.name")
versions: List[str] = Field(..., path="versionList[*].id")
@validator("url")
def url_validator(cls, v):
return f"https://www.baidu.com/{v}"
class Config:
# 通过orm_mode指定数据的来源
orm_mode = True
# 通过getter_dict指定数据的获取方式
getter_dict = ProjectGetter
project_data = {
"detail": {
"id": 1,
"article": {
"title": "项目标题",
}
},
"company": [
{
"enterprise": {
"name": "企业名称1"
}
},
{
"enterprise": {
"name": "企业名称2"
}
}
],
"versionList": [{"id": "1.0"}, {"id": "2.0"}]
}
project = Project.from_orm({"model": Project, "data": project_data})
print(project)
# url='https://www.baidu.com/1' company_names='企业名称1' versions=['1.0', '2.0']
这样我们在业务端,只需要对Field指定其对应数据提取的path
,而不需要再去写一堆的validator
或者是在数据进入前做一堆的数据转换。
来源:https://juejin.cn/post/7210028235623055415
猜你喜欢
- 基本环境配置python 3.6pycharmrequestsparseltime相关模块pip安装即可确定目标网页数据哦豁,这个价格...
- 这篇论坛文章(赛迪网技术社区)主要介绍了数据仓库基本报表制作过程中的SQL写法,详细内容请参考下文:在数据仓库的基本报表制作过程中,通常会使
- 前言我想大家都玩过诺基亚上面的贪吃蛇吧,本文将带你一步步用python语言实现一个snake小游戏。基本环境配置版本:Python3系统:W
- 本篇文章起源于在GCR MVP Open Day的时候和C# MVP张响讨论连接池的概念而来的。因此单独写一篇文章剖析一下连接池。 为什么需
- 本站收集的js实现的同步动态显示当前日期,时间和星期几的代码,我经常用在自己做的企业网站的后台,方便嘛。效果可以看看本站的首页,呵呵!而且代
- 带你走进数据类型一:整数、浮点数Python中整数和浮点数的定义以及运算和C++都是一样的,我在这里就不需多说了,我就说明一点:Python
- 一 导言设计一个好的用户系统往往不是那么容易,Django提供的用户系统可以快速实现基本的功能,并可以在此基础上继续扩展以满足我们的需求。先
- 深度学习这个词指的是训练神经网络。深代表着非常大的神经网络。那么神经网络到底是什么呢?看了这篇文章后你就会有很直观的认识了。我们从一个房价预
- 英文版见:http://dflying.dflying.net/.../98_web_standard_and_aspnet__part1_
- 刚才帮一位朋友做跳转的时候做的,为了获取完整的url地址,还是花了那么点时间不过现在看来,原来是那么简单,没有网上那么多复杂的东东,相信一定
- 1. 预估执行计划 - Explain PlanExplain plan以SQL语句作为输入,得到这条SQL语句的执行计划,并将执行计划输出
- 使用在Safari和WebKit中可用的CSS高级特性,你可以为你的网站和网络应用带来一个新的级别的令人兴奋的东西。WebKit是Safar
- word2vec介绍word2vec官网:https://code.google.com/p/word2vec/word2vec是googl
- 问题:如何保护自己的ASP源代码不泄露? 答:下载微软的Windows Script Encoder,对ASP的脚本和客户端javascri
- Pytorch 多分类模型绘制 ROC, PR 曲线(代码 亲测 可用)ROC曲线示例代码import torchimport torch.
- 有时候我们用的一些pdf资料是没有目录的,这样找寻我们想到的东西比较麻烦。本篇文章就为大家带来python来生成pdf目录书签的方法。首先,
- $r = new ReflectionClass($this); Zend_Debug::dump($r->getConstants(
- 脚本调试第一步:设置中断(鼠标左键点击)第二步:输入中断条件(可选功能,鼠标右键点击红点)第三步:触发中断(当符合条件是,中断被触发)出现中
- 1、捕获摄像头和实时显示import cv2import numpy as npimport pickleimport matplotlib
- 一、安装插件要生成html类型的报告,需要使用pytest-html插件,可以在IDE中安装,也可以在命令行中安装。插件安装的位置涉及到不同