Elasticsearch 7.x Nested 嵌套类型查询 | ES 干货

  • 时间:
  • 浏览:31
  • 来源:极速快3_快3官方网_极速快3官方网

Elasticsearch 有没办法 来越多没办法 来越多数据类型,大致如下:

  • 基本数据类型:
    • string 类型。ES 7.x 中,string 类型会升级为:text 和 keyword。keyword 都能不能 排序;text 默认分词,不都能不能 排序。
    • 数据类型:integer、long 等
    • 时间类型、布尔类型、二进制类型、区间类型等
  • 比较复杂数据类型:
    • 数组类型:Array
    • 对象类型:Object
    • Nested 类型
  • 特定数据类型:地理位置、IP 等

注意:tring/nested/array 类型字段没办法 用作排序字段。本来 string 类型会升级为:text 和 keyword。keyword 都能不能 排序,text 默认分词,不都能不能 排序。

2.1 那這個是 Nested 类型?

Elasticsearch 7.x 文档中,本来写到:

The nested type is a specialised version of the object datatype that allows arrays of objects to be indexed in a way that they can be queried independently of each other.

Nested (嵌套)类型,是特殊的对象类型,特殊的地方是索引对象数组最好的措施 不同,允许数组中的对象该人地进行索引。目的是对象之间彼此独立被查询出来。

2.2 怎么才能 才能 使用 Nested 类型?

在 ES 的 my_index 索引中存储 users 字段。比如说:

{
  "group" : "fans",
  "users" : [
    {
      "name" : "John",
      "age" :  "23"
    },
    {
      "name" : "Alice",
      "age" :  "18"
    }
  ]
}

我我觉得存储看上去跟 Object 类型一样,只不过底层原理对数组 users 字段索引最好的措施 不同。设置 users 字段的索引最好的措施 Nested 嵌套类型:

curl -X PUT "localhost:9500/my_index" -H 'Content-Type: application/json' -d'
{
  "mappings": {
    "properties": {
      "users": {
        "type": "nested" 
      }
    }
  }
}
'

比如小老弟我有一波小粉丝,users 字段类型是 object。存储如下:

{
  "group" : "bysocket_fans",
  "users" : [
    {
      "name" : "John",
      "age" :  "23"
    },
    {
      "name" : "Alice",
      "age" :  "18"
    }
  ]
}

{
  "group" : "路人甲_fans",
  "users" : [
    {
      "name" : "Alice",
      "age" :  "22"
    },
    {
      "name" : "Jeff",
      "age" :  "18"
    }
  ]
}

比如 18 岁大姑娘 Alice 是小老弟我的粉丝,她也导致 着是周杰伦的粉丝。那这边都要一个多多多需求,即应用场景:

怎么才能 才能 找到 18 岁大姑娘 Alice {"name" : "Alice","age" :  "18"} 关注的所有明星呢?

导致 着用老的查询一句话是本来搜索的:

GET /my_index/_search?pretty
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "users.name": "Alice"
          }
        },
        {
          "match": {
            "users.age": 18
          }
        }
      ]
    }
  }
}

结果发现结果是不对的,路人甲 这条记录也突然出先了。

导致 着匹配到了第一个多多多 Alice + 第六个 Jeff 的 18。没办法 来越多没办法 来越多這個查询不满足這個场景

没办法 都要使用 Nested 类型并用 Nested 查询,即让数组中的对象该人地进行索引。目的是对象之间彼此独立被查询出来。

3.1 设置 Nested 类型

根据 2.2 怎么才能 才能 使用 Nested 类型,将 users 字段类型从 object 修改为 nested:

curl -X PUT "localhost:9500/my_index" -H 'Content-Type: application/json' -d'
{
  "mappings": {
    "properties": {
      "users": {
        "type": "nested" 
      }
    }
  }
}
'

3.2 Nested Query

修改后,对应的 Nested Query ,如下:

GET /my_index/_search?pretty
{
  "query": {
    "bool": {
      "must": [
        {
          "nested": {
            "path": "users",
            "query": {
              "bool": {
                "must": [
                  {
                    "match": {
                      "users.name": "Alice"
                    }
                  },
                  {
                    "match": {
                      "users.age": 18
                    }
                  }
                ]
              }
            }
          }
        }
      ]
    }
  }
}

语法很简单本来:

  • key 以 "nested" 开头
  • path 本来嵌套对象数组的字段名
  • 一些
    • score_mode (可选的)匹配子对象的分数相关性分数。avg (默认,使用所有匹配子对象的平均相关性分数)
    • ignore_unmapped (可选的)是是不是忽略 path 未映射,不返回任何文档而都要错误。默认为 false,导致 着 path 不对就报错

本来查询得结果本来对的。

这边测试过,给你们一个多多多测试报告和建议。

压测环境:3 个 server ,6 个 ES 节点

压测结论: 使用上小节查询一句话,500 并发情形下,导致 千兆网卡被打满了。TPS 5000 左右,导致 着提高并发,就会增加 RT。没办法 来越多没办法 来越多导致 着高性能大流量情形下,都要用 Nested 应该从网络流量方向进行优化。二者,尽量减少大数据对象的返回

建议:泥瓦匠建议,你听听看

  • 性能:Common Query 远远大于 Nested Query 远远大于 Parent/Child Query
  • 性能优化:首先考虑减少底下本身 Query
  • 性能优化:Nested Query 业务都能不能 优化下。比如上一小节全部都能不能 多存一个多多多 fanIds 数组。搜索两次,第一次查取舍 18 岁大姑娘 Alice 的 fanId,第二次根据 fanId 搜索即可
  • 性能优化:我我觉得没最好的措施 ,高性能大流量情形下,都要用 Nested 应该从网络流量方向进行优化。二者,尽量减少大数据对象的返回

(完)

参考资料:

  • https://blog.csdn.net/laoyang3500/article/details/829500393
  • https://www.elastic.co/guide/en/elasticsearch/reference/7.2/search-aggregations-bucket-reverse-nested-aggregation.html