- Created by 郭强, last modified on Oct 08, 2022
查询缓存
gdb
支持对查询结果的缓存处理,常用于多读少写的查询缓存场景,并支持手动的缓存清理。需要注意的是,查询缓存仅支持链式操作,且在事务操作下不可用。
相关方法:
type CacheOption struct { // Duration is the TTL for the cache. // If the parameter `Duration` < 0, which means it clear the cache with given `Name`. // If the parameter `Duration` = 0, which means it never expires. // If the parameter `Duration` > 0, which means it expires after `Duration`. Duration time.Duration // Name is an optional unique name for the cache. // The Name is used to bind a name to the cache, which means you can later control the cache // like changing the `duration` or clearing the cache with specified Name. Name string // Force caches the query result whatever the result is nil or not. // It is used to avoid Cache Penetration. Force bool } // Cache sets the cache feature for the model. It caches the result of the sql, which means // if there's another same sql request, it just reads and returns the result from cache, it // but not committed and executed into the database. // // Note that, the cache feature is disabled if the model is performing select statement // on a transaction. func (m *Model) Cache(option CacheOption) *Model
缓存管理
缓存对象
ORM
对象默认情况下提供了缓存管理对象,该缓存对象类型为*gcache.Cache
,也就是说同时也支持*gcache.Cache
的所有特性。可以通过GetCache() *gcache.Cache
接口方法获得该缓存对象,并通过返回的对象实现自定义的各种缓存操作,例如:g.DB().GetCache().Keys()
。
缓存适配(Redis
缓存)
默认情况下ORM
的*gcache.Cache
缓存对象提供的是单进程内存缓存,虽然性能非常高效,但是只能在单进程内使用。如果服务如果采用多节点部署,多节点之间的缓存可能会产生数据不一致的情况,因此大多数场景下我们都是通过Redis
服务器来实现对数据库查询数据的缓存。*gcache.Cache
对象采用了适配器设计模式,可以轻松实现从单进程内存缓存切换为分布式的Redis
缓存。使用示例:
redisCache := gcache.NewAdapterRedis(g.Redis()) g.DB().GetCache().SetAdapter(redisCache)
更多介绍请参考:缓存管理-Redis缓存
管理方法
为简化数据库的查询缓存管理,从v2.2.0
版本开始,提供了两个缓存管理方法:
// ClearCache removes cached sql result of certain table. func (c *Core) ClearCache(ctx context.Context, table string) (err error) // ClearCacheAll removes all cached sql result from cache func (c *Core) ClearCacheAll(ctx context.Context) (err error)
方法介绍如注释。可以看到这两个方法是挂载Core
对象上的,而底层的Core
对象已经通过DB
接口暴露,因此我们这么来获取Core
对象:
g.DB().GetCore()
使用示例
数据表结构
CREATE TABLE `user` ( `uid` int(10) unsigned NOT NULL AUTO_INCREMENT, `name` varchar(30) NOT NULL DEFAULT '' COMMENT '昵称', `site` varchar(255) NOT NULL DEFAULT '' COMMENT '主页', PRIMARY KEY (`uid`) ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
示例代码
package main import ( "time" "github.com/gogf/gf/v2/database/gdb" "github.com/gogf/gf/v2/frame/g" "github.com/gogf/gf/v2/os/gctx" ) func main() { var ( db = g.DB() ctx = gctx.New() ) // 开启调试模式,以便于记录所有执行的SQL db.SetDebug(true) // 写入测试数据 _, err := g.Model("user").Ctx(ctx).Data(g.Map{ "name": "john", "site": "https://goframe.org", }).Insert() // 执行2次查询并将查询结果缓存1小时,并可执行缓存名称(可选) for i := 0; i < 2; i++ { r, _ := g.Model("user").Ctx(ctx).Cache(gdb.CacheOption{ Duration: time.Hour, Name: "vip-user", Force: false, }).Where("uid", 1).One() g.Log().Debug(ctx, r.Map()) } // 执行更新操作,并清理指定名称的查询缓存 _, err = g.Model("user").Ctx(ctx).Cache(gdb.CacheOption{ Duration: -1, Name: "vip-user", Force: false, }).Data(gdb.Map{"name": "smith"}).Where("uid", 1).Update() if err != nil { g.Log().Fatal(ctx, err) } // 再次执行查询,启用查询缓存特性 r, _ := g.Model("user").Ctx(ctx).Cache(gdb.CacheOption{ Duration: time.Hour, Name: "vip-user", Force: false, }).Where("uid", 1).One() g.Log().Debug(ctx, r.Map()) }
执行后输出结果为(测试表数据结构仅供示例参考):
2022-02-08 17:36:19.817 [DEBU] {c0424c75f1c5d116d0df0f7197379412} {"name":"john","site":"https://goframe.org","uid":1} 2022-02-08 17:36:19.817 [DEBU] {c0424c75f1c5d116d0df0f7197379412} {"name":"john","site":"https://goframe.org","uid":1} 2022-02-08 17:36:19.817 [DEBU] {c0424c75f1c5d116d0df0f7197379412} [ 0 ms] [default] [rows:1 ] UPDATE `user` SET `name`='smith' WHERE `uid`=1 2022-02-08 17:36:19.818 [DEBU] {c0424c75f1c5d116d0df0f7197379412} [ 1 ms] [default] [rows:1 ] SELECT * FROM `user` WHERE `uid`=1 LIMIT 1 2022-02-08 17:36:19.818 [DEBU] {c0424c75f1c5d116d0df0f7197379412} {"name":"smith","site":"https://goframe.org","uid":1}
可以看到:
- 为了方便展示缓存效果,这里开启了数据
debug
特性,当有任何的SQL操作时将会输出到终端。 - 执行两次
One
方法数据查询,第一次走了SQL查询,第二次直接使用到了缓存,SQL没有提交到数据库执行,因此这里只打印了一条查询SQL,并且两次查询的结果也是一致的。 - 注意这里为该查询的缓存设置了一个自定义的名称
vip-user
,以便于后续清空更新缓存。如果缓存不需要清理,那么可以不用设置缓存名称。 - 当执行
Update
更新操作时,同时根据名称清空指定的缓存。 - 随后再执行
One
方法数据查询,这时重新缓存新的数据。
Content Menu
- No labels
20 Comments
朱华 Hunk
缓存的自定义的名称是需要不同的SQL不同的名称吗?还是说,它是代表一组SQL?比如,下面这种是否正确?uid=2是否会覆盖uid=1的缓存?
郭强
如果给定了缓存名称就会使用缓存名称作为缓存的键名。你这个例子中
uid=2
会将uid=1
的值覆盖。海亮
https://github.com/gogf/gf/blob/abc8e62d5842f91122a2563276865a21c12a30a6/database/gdb/gdb_model_select.go#L522
看源码不会覆盖吧?
ruo
这个设计还是不太方便,是否可以支持根据查询条件生成唯一签名作为cache key,保证数据使用的安全性和方便性
xx
这个Cache会有出现缓存击穿,当出现缓存击穿时怎么办?好像没看到有给定缓存名称是否存在的api给我们调用判断是否加锁等待。或者这个能不等做在公共的地方
郭强
嗯,下个版本就好了。
penghh
请问怎么在update/insert/delete时删除多个缓存呢?我看Cache()只是设定了一个cache name
郭强
有特殊的需求可以通过
GetCache
方法获取缓存对象然后手动清理。gong
v2版本gocache 如何接入使用redis作为缓存?试过文档中的一些方法都无法实现。
郭强
文档已更新
lowe
在事务操作下,默认的内存缓存不可用,redis缓存是可用的
朱华 Hunk
今天发现一个问题,也不知道是不是我用法有问题。我是使用redis进行缓存的。我发现在清某个表的缓存时,它会清掉redis中的所有key。所以,我的session会话就在清了缓存后丢失了。
郭强
正常来讲不应该这样,我记得数据库的缓存对象和全局缓存对象是分开的。我建议你的
session
缓存和数据库缓存在使用redis
时设置使用不同的db
哈:缓存管理-Redis缓存朱华 Hunk
ClearCache与ClearCacheAll的实现是一样的,都是清空所有。这个是半成品?啥时候能真实实现?而且redis时,清掉所有key这个太危险了。按前缀清缓存安全些吧?
郭强
redis
目前的实现不会按照前缀清理缓存key
,那种实现会很复杂,执行效率也比较低。目前是清空当前db
的缓存,所以建议不同的业务缓存使用不同的redis db
哈,请参考注意事项:缓存管理-Redis缓存overbeck.jack
Redis Cluster集群实例一般不支持多个库使用,不能按你的说法做呀 郭强
现在db缓存直接执行 FlushDB 太危险了。。。
小陈
越用越觉得方便, 自己找插件拼凑, 想实现这些, 多少有点麻烦.
neal
可不可以加个配置表示是否强制从数据库读(从数据库读后更新缓存)
李先生
想问问,
jason
这里是不是有问题,如果使用的redis适配器,从redis里面查询出来的结果是字符串,这里会报类型转换错误是不是可以改成如下:
还有这个过期时间永不过期,如果服务重启之后或者配置文件里面使用了(updatedAt: "(可选)自动更新时间字段名称")地址变了是不是又重新缓存了一样的数据,只是key值的指针地址不同