Fields/FieldsEx字段过滤

  1. Fields 用于指定需要操作的表字段,包括查询字段、写入字段、更新字段等过滤;
  2. FieldsEx 用于例外的字段指定,可用于查询字段、写入字段、更新字段等过滤;

Fields示例

  1. 假如user表有4个字段uid, nickname, passport, password
  2. 查询字段过滤
     // SELECT `uid`,`nickname` FROM `user` ORDER BY `uid` asc
     db.Table("user").Fields("uid, nickname").Order("uid asc").All()
  3. 写入字段过滤
     m := g.Map{
         "uid"      : 10000,
         "nickname" : "John Guo",
         "passport" : "john",
         "password" : "123456",
     }
     db.Table(table).Fields("nickname,passport,password").Data(m).Insert()
     // INSERT INTO `user`(`nickname`,`passport`,`password`) VALUES('John Guo','john','123456')

FieldsEx示例

  1. 假如user表有4个字段uid, nickname, passport, password
  2. 查询字段排除
     // SELECT `uid`,`nickname` FROM `user`
     db.Table("user").FieldsEx("passport, password").All()
  3. 写入字段排除
     m := g.Map{
         "uid"      : 10000,
         "nickname" : "John Guo",
         "passport" : "john",
         "password" : "123456",
     }
     db.Table(table).FieldsEx("uid").Data(m).Insert()
     // INSERT INTO `user`(`nickname`,`passport`,`password`) VALUES('John Guo','john','123456')

Filter字段过滤

gdb可以自动同步数据表结构到程序缓存中(缓存不过期,直至程序重启/重新部署),并且可以过滤提交参数中不符合表结构的数据项,该特性可以使用Filter方法实现。常用于新增/删除操作中输入map/struct/[]map/[]string参数类型的场景。

使用示例,假如user表有4个字段uid, nickname, passport, password

r, err := db.Table("user").Filter().Data(g.Map{
    "id"          : 1,
    "uid"         : 1,
    "passport"    : "john",
    "password"    : "123456",
}).Insert()
// INSERT INTO user(uid,passport,password) VALUES(1, "john", "123456")

其中id为不存在的字段,在写入数据时将会被过滤掉,不至于被构造成写入SQL中产生执行错误。

数据库没有设计为Data方法做自动过滤,而是需要开发者调用Filter方法来手动指定过滤,目的是友好地提醒开发者可能误写/传递错误了字段名称。如果强制性的自动过滤可能会引起难以预料的业务逻辑异常,例如,由于字段名称拼写错误导致自动过滤了本来需要输入的字段,导致写入数据库的数据不完整。

GoFrame v1.15.7版本开始,根据社区整体反馈,为提高组件易用性,filter特性被设置为默认开启,不再需要显示调用,Filter方法已被标记废弃。

OmitEmpty空值过滤

写入/更新操作

空值会影响于写入/更新操作方法,如Insert, Replace, Update, Save操作。

 map/struct 中存在空值如 nil,"",0 时,默认情况下,gdb将会将其当做正常的输入参数,因此这些参数也会被更新到数据表。如以下操作(以map为例,struct同理):

// UPDATE `user` SET `name`='john',update_time=null WHERE `id`=1
db.Table("user").Data(g.Map{
    "name"        : "john",
    "update_time" : nil,
}).Where("id", 1).Update()

针对空值情况,我们可以通过OmitEmpty方法来过滤掉这些空值。例如,以上示例可以修改为:

// UPDATE `user` SET `name`='john' WHERE `id`=1
db.Table("user").OmitEmpty().Data(g.Map{
    "name"        : "john",
    "update_time" : nil,
}).Where("id", 1).Update()

对于struct数据参数,我们也可以进行空值过滤。操作示例:

type User struct {
    Id         int    `orm:"id"`
    Passport   string `orm:"passport"`
    Password   string `orm:"password"`
    NickName   string `orm:"nickname"`
    CreateTime string `orm:"create_time"`
    UpdateTime string `orm:"update_time"`
}
user := User{
    Id        : 1,
    NickName  : "john",
    UpdateTime: gtime.Now().String(),
}
db.Table("user").OmitEmpty().Data(user).Insert()
// INSERT INTO `user`(`id`,`nickname`,`update_time`) VALUES(1,'john','2019-10-01 12:00:00')

注意哟,批量写入/更新操作中OmitEmpty方法将会失效,因为在批量操作中,必须保证每个写入记录的字段是统一的。

关于omitempty标签与OmitEmpty方法:

  1. 针对于struct的空值过滤大家会想到omitempty的标签。该标签常用于json转换的空值过滤,也在某一些第三方的ORM库中用作struct到数据表字段的空值过滤,即当属性为空值时不做转换。
  2. omitempty标签与OmitEmpty方法所达到的效果是一样的。在ORM操作中,我们不建议对struct使用omitempty的标签来控制字段的空值过滤,而建议使用OmitEmpty方法来做控制。因为该标签一旦加上之后便绑定到了struct上,没有办法做灵活控制;而通过OmitEmpty方法使得开发者可以选择性地、根据业务场景对struct做空值过滤,操作更加灵活。

数据查询操作

空值也会影响数据查询操作,主要是影响where条件参数。我们可以通过OmitEmpty方法过滤条件参数中的空值。

使用示例:

// SELECT * FROM `user` WHERE `passport`='john' LIMIT 1
r, err := db.Table("user").Where(g.Map{
    "nickname" : "",
    "passport" : "john",
}).OmitEmpty().One()


type User struct {
    Id         int    `orm:"id"`
    Passport   string `orm:"passport"`
    Password   string `orm:"password"`
    NickName   string `orm:"nickname"`
    CreateTime string `orm:"create_time"`
    UpdateTime string `orm:"update_time"`
}
user := User{
    Passport : "john",
}
r, err := db.Table("user").OmitEmpty().Where(user).One()
// SELECT * FROM `user` WHERE `passport`='john' LIMIT 1
Content Menu

  • No labels

12 Comments

  1. kim

    发现

    OmitEmpty()方法对于save操作无效。调了此方法后,save一个有部分空值字段的结构体会报错。

    1. 具体什么报错信息?是数据表字段设置为NOT NULL了但是程序被过滤空值了吗?

      1. kim

        用Save()方法进行修改的时候:比如一个5个字段的结构体,实例化一个只有2个字段有值(其中一个是主键)的对象作为Save()方法的参数,如果对象另外三个空字段(对应在数据库表中是有值的)在数据库中设置了not null约束则会报没有默认值的异常,如果不设置not null就没问题。但是正常应该是不管设不设置not null都不受影响,因为OmitEmpty()方法已经把结构体对象中的空字段给屏蔽了,再接着调Save()方法应该不受结构体对象参数中的空属性影响。

        1. 这个其实数据库的模式有关,在就是not null的字段建议有默认值,不然哪天换数据服务器,就掉坑了

  2. 假设有这样的一个数据表:

    type User struct {
        ID   int64
        Name string
        Age  int64
    }

    前端想对其进行部分更新,发送Patch请求

    因为是部分更新,所以我将请求绑定到UserReq上 ,并且使用了OmitEmpty()函数

    type UserReq struct {
        Name *string
        Age  *int64
    }

    当前端的请求只包含Name的时候,Age 属性值就是nil,自然被过滤掉,这样就只更新Name

    但之后又发现了问题,如果前端想把Name更新为Null,这该怎么办?

    null绑定结构体后,是nil,会被过滤掉

    在业务场景中,也不能用空字符串代替nullName空字符串代表用户无名字,null代表用户名字未知,都是需要的

    请问在这种情形下,对于Patch请求,有什么好的数据绑定或者过滤方案吗?

    1. 我也有这样的疑惑,请问您解决了吗

      1. g.Map{"name":null} 不应该是写成 g.Map{"name":""} z这样吗?去掉OmitEmpty 这个方法吗?

        为啥要用null 这种,是不是在设计表的时候 就是空字符串吗?

        1. name字符串的话,null代表用户名字未知,空字符串代表用户无名字

          还有其他场景,比如合同金额int64,null代表未知,用户还没有填写合同金额,0代表合同金额为0元

          我不是很喜欢用map,结构体的话比较方便,可以提示属性,也方便加tag


      2. 还没有解决,和前端约定了某个值代表Null,暂时处理

  3. OmitEmpty 使用的时候非常方便,但是有一点麻烦的就是比如我有个字段 "备注"本来是有文字内容的 update的时候想更新为空白没有文字,这时候使用OmitEmpty就没办法更新这个字段了,能否考虑像,FieldsEx 那样加个OmitEmptyFieldsEx

    这样就可以排除指定字段不执行OmitEmpty了

    1. 直接使用Fields方法指定更新字段即可,试试看。

      1. 好的我去实验下,晚点过来反馈.