使用Django和Postgres进行全文搜索的实例代码
作者:mindg.cn 发布时间:2022-07-06 10:52:15
这些天,我需要全文搜索。这个区块中最酷的孩子们是Elastic Search和Sorl:他们快速,灵活,资源消耗沉重并且需要Java,这几乎是我想要的一个5美元的数字海洋飞车上运行的宠物项目所需的所有东西。
放弃这些选项后,我剩下了Xapian和postgres全文搜索的功能,而xapian似乎功能更丰富,我决定从postgres开始,因为它与django进行了本机集成,并且对这个特定项目的要求不高。
项目及其要求
您可能已经注意到,我正在运行工作板。 Voorjob基本上是从lever.co聚合工作,并让用户搜索它。目前,我在数据库中大约有25,000个工作,这个数字增长缓慢,每增加2或3个工作,就会关闭另一个工作。是的,如果我采用了弹性搜索路径,那将是一本教科书过度设计的情况。
实施
从9.4版开始,postgres添加了一些允许全文本搜索的功能。不久之后,Django在postgres特定功能中镜像了这些功能。
要开始使用此新功能,我基本上需要在模型中使用SearchVectorField,并需要使用矢量化的职位描述来更新此字段的方法:
from django.contrib.postgres.search import SearchVectorField, SearchVector
class Job(models.Model):
title = models.CharField(max_length=200, blank=True)
location = models.CharField(max_length=50, blank=True)
body = models.TextField(null=True)
body_vector = SearchVectorField(null=True)
def make_search_vector():
self.body_vector=SearchVector('body')
def save(self, *args, **kwargs):
self.make_search_vector()
super(Model, self).save(*args, **kwargs)
这种方法适用于很少更新的工作,例如工作板,但是如果您的应用程序经常更新,则应避免使用此策略,并应定期执行一些任务来填充向量:
Job.objects.all().update(body_vector=SearchVector('body'))
甚至更好的是,您可以通过阅读本文档,使用postgres触发器直接进行操作。
查询工作
现在您已经准备好数据库,现在可以查询它了,让我们看一下voorjob搜索视图的教学版本:
from django.contrib.postgres.search import SearchQuery
class Index(ListView):
model = Job
paginate_by = 30
def get_queryset(self):
search = self.request.GET.get("search", None)
queryset = Job.objects.all()
if search:
if '"' in search:
query = SearchQuery(search.replace('"', ''), search_type='phrase')
else:
query = SearchQuery(search)
queryset = queryset.filter(body_vector=query)
else:
queryset = queryset
return queryset
我基本上在这里考虑两种查询:单词存在和“精确表达式”。是的,该逻辑中存在一些缺陷,请继续起诉我:D
还有很多可以改进的地方,django支持加权查询:
vector = SearchVector('title',weight ='A')+ SearchVector('body',weight ='B')
Job.objects.all()。update(body_vector = vector)
这最终将以更好的顺序返回结果,其中标题中的匹配比正文中的匹配更重。
查询系统也更加灵活,允许进行逻辑运算OR / AND和NOT。在不久的将来,我将改善对工作板的搜索,并更新此帖子以描述所做的更改。
性能
在开发过程中,我使用了具有16GB内存和不错的NVMe的I5。对本地计算机中的25k作业运行查询基本上是瞬时的。
当我将项目转移到生产环境时(每滴5美元),事情变得越来越慢了。
运行密西西比基准测试,我得到以下结果:
在/ django rest framework上搜索((1个密西西比州以扫描5K条目))
在/ full /上搜索“ django rest framework”(-3个密西西比州,扫描25K条目)
不是最好的性能,但现在可以使用。本文将进行更新以反映任何性能改进。
考虑到我的搜索需求不高-超过25k的条目,且字数过多的文章并不比本文大很多-使用postgres作为我的全文搜索的后端,对于此早期MVP来说效果很好。现在,我比每天给我20个用户提供最快的体验,对尝试事物和扩大董事会成员更感兴趣。
更新(2020年2月9日)
好消息! 我了解到可以将索引添加到SearchVectorField中:
from django.contrib.postgres.indexes import GinIndex
class Job(models.Model):
class Meta:
indexes = (GinIndex(fields=["body_vector"]),)
title = models.CharField(max_length=200, blank=True)
location = models.CharField(max_length=50, blank=True)
body = models.TextField(null=True)
body_vector = SearchVectorField(null=True)
def make_search_vector():
self.body_vector=SearchVector('body')
def save(self, *args, **kwargs):
self.make_search_vector()
super(Model, self).save(*args, **kwargs)
现在,所有情况下的搜索时间均降至1个密西西比州。 由于我的数据很小,因此用于该索引的内存量可以忽略不计。
总结
以上所述是小编给大家介绍的使用Django和Postgres进行全文搜索的实例代码,希望对大家有所帮助!
来源:https://www.mindg.cn/?p=2493&utm_source=tuicool&utm_medium=referral
猜你喜欢
- 介绍毫无疑问,任何一个试图使用 CSS 的网页设计师和开发人员都会发现不同的浏览器要求不同的样式声明。这些烦恼归咎于各浏览器及其各版本不同程
- 本文通过实际业务系统中调整的一个案例,试图给出一个常见CPU消耗问题的一个诊断方法.大多数情况下,系统的性能问题都是由不良SQL代码引起的,
- 注:因为最近想用一下Python做一些简单小游戏的开发作为项目练手之用,而Pygame模块里面提供了大量的有用的方法和属性。今天我们就在之前
- 计算分页,嘿嘿一次搞定不用判断intNumPage = Abs(Int(-(intNumRecord/intPerPage)))  
- 查找资料,基本上判断python对象是否为可调用的函数,有三种方法使用内置的callable函数callable(func)用于检查对象是否
- 1.尽量不要对列名进行函数处理。而是针对后面的值进行处理例如where col1 = -5的效率比where -col1=5的效率要高因为后
- LCase:转成小写 UCase:转成大写 下面是ASP中的代码,可以直接演示效果的。 代码如下:<% dim s
- openpyxl特点openpyxl(可读写excel表)专门处理Excel2007及以上版本产生的xlsx文件,xls和xlsx之间转换容
- 可用下面提供的强制登录的程序,它也可以用来做会员注册的。security.asp<%bLoggedIn =&nb
- 本文实例讲述了php tpl模板引擎定义与使用。分享给大家供大家参考,具体如下:tpl.php<?phpnamespace tpl;/
- #!/usr/bin/env python#coding=utf-8import osfrom pyinotify import Watch
- ORA-01578:Oracle data block corrupted(file # num,block # num)产生原
- Macromedia StandardMacromedia Dreamweaver MXMenu Commandsphotoshop快捷键大
- Session StaticObjects 集合StaticObjects 集合包含 Session 对象范围中用 <OBJECT&g
- 用ASP实现搜索引擎的功能是一件很方便的事,可是,如何实现类似3721的智能搜索呢?比如,当在搜索条件框内输入“中国人民”时,自动从中提取“
- 前言前几天逛github发现了一个有趣的并发库-conc,其目标是:更难出现goroutine泄漏处理panic更友好并发代码可读性高从简介
- 在access中进行时间的比较sql语句很简单,如select * from table where thetime>#\"
- 1、 Python中 sys.argv的用法解释:sys.argv可以让python脚本从程序外部获取参数,sys.argv是一个列表,可用
- 准备工作没有加壳的python编译并打包的exe文件python反打包代码(不知道这样叫是否合理):python-exe-unpacker1
- 这篇文章主要介绍了微信小程序wxml列表渲染原理解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友