Elastic Stack

Elastic Stack——Elastic Stack简介和Elasticsearch核心详解

Nick · 4月15日 · 2020年 · 本文10382字 · 阅读26分钟774

1、Elastic Stack简介

如果你没有听说过Elastic Stack，那你一定听说过ELK，实际上ELK是三款软件的简称，分别是Elasticsearch、
Logstash、Kibana组成，在发展的过程中，又有新成员Beats的加入，所以就形成了Elastic Stack。所以说，ELK是旧的称呼，Elastic Stack是新的名字。
Elastic Stack——Elastic Stack简介和Elasticsearch核心详解-左眼会陪右眼哭の博客
* Elasticsearch
Elasticsearch 基于java，是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引
副本机制，restful风格接口，多数据源，自动搜索负载等。
* Logstash
Logstash 基于java，是一个开源的用于收集,分析和存储日志的工具。
* Kibana
Kibana 基于nodejs，也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的
Web 界面，可以汇总、分析和搜索重要数据日志。
* Beats
Beats是elastic公司开源的一款采集系统监控数据的代理agent，是在被监控服务器上以客户端形式运行的数据收集
器的统称，可以直接把数据发送给Elasticsearch或者通过Logstash发送给Elasticsearch，然后进行后续的数据分析活
动。

Beats由如下组成:
1. Packetbeat：是一个网络数据包分析器，用于监控、收集网络流量信息，Packetbeat嗅探服务器之间的流量，
解析应用层协议，并关联到消息的处理，其支 持ICMP (v4 and v6)、DNS、HTTP、Mysql、PostgreSQL、Redis、MongoDB、Memcache等协议；
2. Filebeat：用于监控、收集服务器日志文件，其已取代 logstash forwarder；
3. Metricbeat：可定期获取外部系统的监控指标信息，其可以监控、收集 Apache、HAProxy、MongoDB
MySQL、Nginx、PostgreSQL、Redis、System、Zookeeper等服务；
4. Winlogbeat：用于监控、收集Windows系统的日志信息；

2、Elasticsearch

2.1、简介

ElasticSearch是一个基于Lucene的搜索服务器。 它提供了一一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。
官网：https://www.elastic.co/cn/elasticsearch

2.2、安装

下载地址：：https://www.elastic.co/cn/downloads/elasticsearch
解压即可
点击bin目录下的elasticsearch.bat即可启动服务器，
http://localhost:9200/
访问得到相关的版本信息
Elastic Stack——Elastic Stack简介和Elasticsearch核心详解-左眼会陪右眼哭の博客
解决允许跨域访问
在 /config/elasticsearch.yml 文件最后添加如下代码

http.cors.enabled: true
http.cors.allow-origin: "*"

2.3、可视化工具elasticsearch-head

由于ES官方并没有为ES提供界面管理工具，仅仅是提供了后台的服务。elasticsearch-head是一个为ES开发的一个页面客户端工具，其源码托管于GitHub，
地址为：https://github.com/mobz/elasticsearch-head

安装启动
1. 首先要有node环境
2. 使用npm install安装模块包
3. npm run srart即可后台启动elasticsearch-head的服务器
4. 使用 http://localhost:9100 即可访问可视化页面
在这里插入图片描述

2.4、基本概念

索引

  • 索引（index）是Elasticsearch对逻辑数据的逻辑存储，所以它可以分为更小的部分。
  • 可以把索引看成关系型数据库的表，索引的结构是为快速有效的全文索引准备的，特别是它不存储原始值。
  • Elasticsearch可以把索引存放在一台机器或者分散在多台服务器上，每个索引有一或多个分片（shard），每个
    分片可以有多个副本（replica）。

文档

  • 存储在Elasticsearch中的主要实体叫文档（document）。用关系型数据库来类比的话，一个文档相当于数据库表中的一行记录。
  • Elasticsearch和MongoDB中的文档类似，都可以有不同的结构，但Elasticsearch的文档中，相同字段必须有相同类型。
  • 文档由多个字段组成，每个字段可能多次出现在一个文档里，这样的字段叫多值字段（multivalued）。
  • 每个字段的类型，可以是文本、数值、日期等。字段类型也可以是复杂类型，一个字段包含其他子文档或者数组。

映射

  • 所有文档写进索引之前都会先进行分析，如何将输入的文本分割为词条、哪些词条又会被过滤，这种行为叫做映射（mapping）。一般由用户自己定义规则。

文档类型

  • 在Elasticsearch中，一个索引对象可以存储很多不同用途的对象。例如，一个博客应用程序可以保存文章和评论。
  • 每个文档可以有不同的结构。
  • 不同的文档类型不能为相同的属性设置不同的类型。例如，在同一索引中的所有文档类型中，一个叫title的字段必须具有相同的类型。

2.5、RESTful API

在Elasticsearch中，提供了功能丰富的RESTful API的操作，包括基本的CRUD、创建索引、删除索引等操作。

2.5.1、创建非结构化索引

在Lucene中，创建索引是需要定义字段名称以及字段的类型的，在Elasticsearch中提供了非结构化的索引，就是不需要创建索引结构，即可写入数据到索引中，实际上在Elasticsearch底层会进行结构化操作，此操作对用户是透明的。
创建空索引：

put:    127.0.0.1:9200/hello
#第一个参数：分片数
#第二个参数：副本数
{
    "settings":{
        "index":{
            "number_of_shards":"2",
            "number_of_replicas":"0"
        }
    }
}

#删除索引
DELETE: 127.0.0.1:9200/hello

{
"acknowledged": true
}

在这里插入图片描述

2.5.2、插入数据

URL规则：
POST /{索引}/{类型}/{id}

POST 127.0.0.1:9200/hello/user/1001
#数据
{
    "id":1001,
    "name":"张三",
    "age":20,
    "sex":"男"
}
#响应
{
    "_index":"haoke",
    "_type":"user",
    "_id":"1",
    "_version":1,
    "result":"created",
    "_shards":{
        "total":1,
        "successful":1,
        "failed":0
    },
    "_seq_no":0,
    "_primary_term":1
}

不指定id插入数据：

POST 127.0.0.1:9200/hello/user/
{
    "id":1002,
    "name":"张三",
    "age":20,
    "sex":"男"
}

在这里插入图片描述

2.5.3、更新数据

在Elasticsearch中，文档数据是不为修改的，但是可以通过覆盖的方式进行更新。

PUT 127.0.0.1:9200/hello/user/1001
{
    "id":1001,
    "name":"张三",
    "age":21,
    "sex":"女"
}

这时到数据已经被覆盖了，如果有字段没有值，那么值就为空
如果要局部更新

#注意：这里多了_update标识和"doc"
POST 127.0.0.1:9200/hello/user/1001_update
{
    "doc":{
        "age":23
    }
}

可以看到数据已经被局部更新了。

2.5.4、删除数据

在Elasticsearch中，删除文档数据，只需要发起DELETE请求即可。
DELETE 127.0.0.1:9200/hello/user/1001
需要注意的是，result表示已经删除，version也更加了。
如果删除一条不存在的数据，会响应404：

2.5.5、搜索数据

  1. 根据id搜索数据
Get 127.0.0.1:9200/hello/user/1001

#响应数据
{
    "_index": "hello",
    "_type": "user",
    "_id": "1001",
    "_version": 3,
    "found": true,
    "_source": {
        "id": 1001,
        "name": "张三",
        "age": 66,
        "sex": "女"
    }
}
  1. 搜索全部数据
    Get 127.0.0.1:9200/hello/user/1001
  2. 关键字搜素数据
#查询年龄等于20的用户
GET 127.0.0.1:9200/hello/user/_search?q=age:20

2.5.6、DSL搜索

Elasticsearch提供丰富且灵活的查询语言叫做DSL查询(Query DSL),它允许你构建更加复杂、强大的查询。
DSL(Domain Specific Language特定领域语言)以JSON请求体的形式出现。

#实现：查询年龄等于20的用户
POST 127.0.0.1:9200/hello/user/_search
#请求体
{
    "query":{
        "match":{
            "age":"20"
        }
    }
}

#实现：查询年龄大于30岁的男性用户。
POST 127.0.0.1:9200/hello/user/_search
#请求体
{
    "query":{
        "bool":{
            "filter":{
                "range":{
                    "age":{
                        "gt":25
                    }
                }
            },
            "must":{
                "match":{
                    "sex":"男"
                }
            }
        }
    }
}


#实现：高亮显示
POST 127.0.0.1:9200/hello/user/_search
#请求体
{
    "query":{
        "match":{
            "name":"张三 李四"
        }
    },
    "highlight":{
        "fields":{
            "name":{

            }
        }
    }
}


#实现：聚合
在Elasticsearch中，支持聚合操作，类似SQL中的group by操作。
POST 127.0.0.1:9200/hello/user/_search
#请求体
{
    "aggs":{
        "all_interests":{
            "terms":{
                "field":"age"
            }
        }
    }
}

索引

{
    "settings":{
        "index":{
            "number_of_shards":"2",
            "number_of_replicas":"0"
        }
    },
    "mappings":{
        "person":{
            "properties":{
                "name":{
                    "type":"text"
                },
                "age":{
                    "type":"integer"
                },
                "mail":{
                    "type":"keyword"
                },
                "hobby":{
                    "type":"text"
                }
            }
        }
    }
}

3、核心详解

3.1、文档

在Elasticsearch中，文档以JSON格式进行存储，可以是复杂的结构
* 元数据（metadata）
一个文档不只有数据。它还包含了元数据(metadata)——关于文档的信息。三个必须的元数据节点是：
Elastic Stack——Elastic Stack简介和Elasticsearch核心详解-左眼会陪右眼哭の博客
* _index
索引(index)类似于关系型数据库里的“数据库”——它是我们存储和索引关联数据的地方
* _type
每个类型(type)都有自己的映射(mapping)或者结构定义，就像传统数据库表中的列一样。所有类型下的文档被存储在同一个索引下，但是类型的映射(mapping)会告诉Elasticsearch不同的文档如何被索引。
_type 的名字可以是大写或小写，不能包含下划线或逗号。我们将使用 blog 做为类型名。
* _id
id仅仅是一个字符串，它与 _index 和 _type 组合时，就可以在Elasticsearch中唯一标识一个文档。当创建一个文
档，你可以自定义 _id ，也可以让Elasticsearch帮你自动生成（32位长度）。

3.2、查询响应

3.2.1、pretty

可以在查询url后面添加pretty参数，使得返回的json更易查看。
**[]图片**

3.2.2、指定响应字段

在响应的数据中，如果我们不需要全部的字段，可以指定某些需要的字段进行返回

GET  http://127.0.0.1:9200/itcast/person/If6JeXEBTDVmGkzkSswT?_source=age,name

响应数据
{
    "_index": "itcast",
    "_type": "person",
    "_id": "If6JeXEBTDVmGkzkSswT",
    "_version": 1,
    "found": true,
    "_source": {
        "name": "张三",
        "age": 20
    }
}

如不需要返回元数据，仅仅返回原始数据，可以这样：

GET http://127.0.0.1:9200/itcast/person/If6JeXEBTDVmGkzkSswT/_source
#响应数据
{
    "name": "张三",
    "age": 20,
    "mail": "111@qq.com",
    "hobby": "羽毛球、乒乓球、足球"
}

还可以这样：
GET http://127.0.0.1:9200/itcast/person/If6JeXEBTDVmGkzkSswT/_source?_source=age,name
#响应数据
{
    "name": "张三",
    "age": 20
}

3.3、判断文档是否存在

如果我们只需要判断文档是否存在，而不是查询文档内容，那么可以这样：
HEAD http://127.0.0.1:9200/itcast/person/1001/
如果文档存在：响应头信息状态码200
如果文档不存在：响应头信息状态码404

3.4、批量操作

有些情况下可以通过批量操作以减少网络请求。如：批量查询、批量插入数据。

3.4.1、批量查询

_mget

http://127.0.0.1:9200/itcast/person/_mget

{
    "ids" : [ "1001", "1003" ]
}

如果，某一条数据不存在，不影响整体响应，需要通过found的值进行判断是否查询到数据。

3.4.2、_bulk操作

在Elasticsearch中，支持批量的插入、修改、删除操作，都是通过_bulk的api完成的。
请求格式如下：（请求格式不同寻常）

{ action: { metadata }}\n
{ request body }\n
{ action: { metadata }}\n
{ request body }\n
...(这个一定要有一个换行)

注意：末尾一定要有一个换行
1. 批量插入数据：

POST    127.0.0.1:9200/itcast/_bulk

{"create":{"_index":"haoke","_type":"user","_id":2001}}
{"id":2001,"name":"name1","age": 20,"sex": "男"}
{"create":{"_index":"haoke","_type":"user","_id":2002}}
{"id":2002,"name":"name2","age": 20,"sex": "男"}
{"create":{"_index":"haoke","_type":"user","_id":2003}}
{"id":2003,"name":"name3","age": 20,"sex": "男"}
  1. 批量删除：
POST    127.0.0.1:9200/itcast/_bulk
{"delete":{"_index":"haoke","_type":"user","_id":2001}}
{"delete":{"_index":"haoke","_type":"user","_id":2002}}
{"delete":{"_index":"haoke","_type":"user","_id":2003}}

由于delete没有请求体，所以，action的下一行直接就是下一个action。
其他操作类似。
一次请求多少性能最高？
通常着眼于你请求批次的物理大小是非常有用的。一千个1kB的文档和一千个1MB的文档大不相同。一个好的
批次最好保持在5-15MB大小间。

3.5、分页

和SQL使用 LIMIT 关键字返回只有一页的结果一样，Elasticsearch接受 from 和 size 参数：
size: 结果数，默认10
from: 跳过开始的结果数，默认0
如果你想每页显示5个结果，页码从1到3，那请求如下：

GET /_search?size=5
GET /_search?size=5&from=5
GET /_search?size=5&from=10

GET  127.0.0.1:9200/hello/user/_search?size=2&from=2

应该当心分页太深或者一次请求太多的结果。结果在返回前会被排序。但是记住一个搜索请求常常涉及多个分
片。每个分片生成自己排好序的结果，它们接着需要集中起来排序以确保整体排序正确。

在集群系统中深度分页
们假设在一个有5个主分片的索引中搜索。当我们请求结果的第一
页（结果1到10）时，每个分片产生自己最顶端10个结果然后返回它们给请求节点(requesting node)，它再
排序这所有的50个结果以选出顶端的10个结果。
现在假设我们请求第1000页——结果10001到10010。工作方式都相同，不同的是每个分片都必须产生顶端的
10010个结果。然后请求节点排序这50050个结果并丢弃50040个！
你可以看到在分布式系统中，排序结果的花费随着分页的深入而成倍增长。这也是为什么网络搜索引擎中任何
语句不能返回多于1000个结果的原因。

3.6、映射

前面我们创建的索引以及插入数据，都是由Elasticsearch进行自动判断类型，有些时候我们是需要进行明确字段类型的，否则，自动判断的类型和实际需求是不相符的。
自动判断的规则如下：
Elastic Stack——Elastic Stack简介和Elasticsearch核心详解-左眼会陪右眼哭の博客
Elasticsearch中支持的类型如下：
Elastic Stack——Elastic Stack简介和Elasticsearch核心详解-左眼会陪右眼哭の博客
注意
* string类型在ElasticSearch 旧版本中使用较多，从ElasticSearch 5.x开始不再支持string，由text和
keyword类型替代。
* text 类型，当一个字段是要被全文搜索的，比如Email内容、产品描述，应该使用text类型。设置text类型
以后，字段内容会被分析，在生成倒排索引以前，字符串会被分析器分成一个一个词项。text类型的字段
不用于排序，很少用于聚合。
* keyword类型适用于索引结构化的字段，比如email地址、主机名、状态码和标签。如果字段需要进行过
滤(比如查找已发布博客中status属性为published的文章)、排序、聚合。keyword类型的字段只能通过精
确值搜索到。

创建明确类型的索引：

PUT`127.0.0.1:9200/itcast
{
    "settings":{
        "index":{
            "number_of_shards":"2",
            "number_of_replicas":"0"
        }
    },
    "mappings":{
        "person":{
            "properties":{
                "name":{
                    "type":"text"
                },
                "age":{
                    "type":"integer"
                },
                "mail":{
                    "type":"keyword"
                },
                "hobby":{
                    "type":"text"
                }
            }
        }
    }
}

查看映射：
GET 127.0.0.1:9200/itcast/_mapping
插入数据：

POST    127.0.0.1:9200/itcast/_bulk
{"index":{"_index":"itcast","_type":"person"}}
{"name":"张三","age": 20,"mail": "111@qq.com","hobby":"羽毛球、乒乓球、足球"}
{"index":{"_index":"itcast","_type":"person"}}
{"name":"李四","age": 21,"mail": "222@qq.com","hobby":"羽毛球、乒乓球、足球、篮球"}
{"index":{"_index":"itcast","_type":"person"}}
{"name":"王五","age": 22,"mail": "333@qq.com","hobby":"羽毛球、篮球、游泳、听音乐"}
{"index":{"_index":"itcast","_type":"person"}}
{"name":"赵六","age": 23,"mail": "444@qq.com","hobby":"跑步、游泳"}
{"index":{"_index":"itcast","_type":"person"}}
{"name":"孙七","age": 24,"mail": "555@qq.com","hobby":"听音乐、看电影"}

Elastic Stack——Elastic Stack简介和Elasticsearch核心详解-左眼会陪右眼哭の博客
测试搜索：

POST    127.0.0.1:9200/itcast/person/_search
{
    "query":{
        "match":{
            "hobby":"音乐"
        }
    }
}

3.7、结构化查询

3.7.1、term查询

term 主要用于精确匹配哪些值，比如数字，日期，布尔值或 not_analyzed 的字符串(未经分析的文本数据类型)：

{ "term": { "age": 26 }}
{ "term": { "date": "2014-09-01" }}
{ "term": { "public": true }}
{ "term": { "tag": "full_text" }}
#示例
POST    127.0.0.1:9200/itcast/person/_search
{
    "query":{
        "term":{
            "age":20
        }
    }
}

3.7.2、terms查询

terms 跟 term 有点类似，但 terms 允许指定多个匹配条件。 如果某个字段指定了多个值，那么文档需要一起去做匹配：

POST    127.0.0.1:9200/itcast/person/_search
{
    "query":{
        "terms":{
            "age" : [20,21]
        }
    }
}

3.7.3、range查询

range 过滤允许我们按照指定范围查找一批数据：
范围操作符包含：
gt :: 大于
gte :: 大于等于
lt :: 小于
lte :: 小于等于
示例

POST    127.0.0.1:9200/itcast/person/_search
{
    "query":{
        "range":{
            "age":{
                "gte":20,
                "lte":22
            }
        }
    }
}

3.7.4、exists 查询

exists 查询可以用于查找文档中是否包含指定字段或没有某个字段，类似于SQL语句中的 IS_NULL 条件

POST    127.0.0.1:9200/itcast/person/_search
{
    "query":{
        "exists":{
            "field": "hobby"
        }
    }
}

3.6.5、match查询

match 查询是一个标准查询，不管你需要全文本查询还是精确查询基本上都要用到它。
如果你使用 match 查询一个全文本字段，它会在真正查询之前用分析器先分析 match 一下查询字符：
如果用 match 下指定了一个确切值，在遇到数字，日期，布尔值或者 not_analyzed 的字符串时，它将为你搜索你
给定的值：

{ "match": { "age": 26 }}
{ "match": { "date": "2014-09-01" }}
{ "match": { "public": true }}
{ "match": { "tag": "full_text" }}

3.7.6、bool查询

  • bool 查询可以用来合并多个条件查询结果的布尔逻辑，它包含一下操作符：
  • must :: 多个查询条件的完全匹配,相当于 and 。
  • must_not :: 多个查询条件的相反匹配，相当于 not 。
  • should :: 至少有一个查询条件匹配, 相当于 or 。

这些参数可以分别继承一个查询条件或者一个查询条件的数组：

POST    127.0.0.1:9200/itcast/person/_search
{
   "query":{
     "bool":{
        "must":{
            "match":{"hobby":"足球"}
        },
        "must_not":{
            "match":{"hobby":"音乐"}
        },
        "should":[
            {
                "match":{
                    "hobby":"足球"
                }
            },
            {
                "match":{
                    "hobby":"羽毛球"
                }
            }
        ]
    }
   }
}

3.8、过滤查询

前面讲过结构化查询，Elasticsearch也支持过滤查询，如term、range、match等。
示例：查询年龄为20岁的用户。

POST    127.0.0.1:9200/itcast/person/_search
{
    "query":{
        "bool":{
            "filter":{
                "term":{
                    "age":20
                }
            }
        }
    }
}

查询和过滤的对比
* 一条过滤语句会询问每个文档的字段值是否包含着特定值。
* 查询语句会询问每个文档的字段值与特定值的匹配程度如何。
一条查询语句会计算每个文档与查询语句的相关性，会给出一个相关性评分 _score，并且 按照相关性对匹配到的文档进行排序。 这种评分方式非常适用于一个没有完全配置结果的全文本搜索。
* 一个简单的文档列表，快速匹配运算并存入内存是十分方便的， 每个文档仅需要1个字节。这些缓存的过滤结果
集与后续请求的结合使用是非常高效的。
* 查询语句不仅要查找相匹配的文档，还需要计算每个文档的相关性，所以一般来说查询语句要比 过滤语句更耗时，并且查询结果也不可缓存。

建议：
做精确匹配搜索时，最好用过滤语句，因为过滤语句可以缓存数据。

配套软件和教程下载

点击下载
链接：https://pan.baidu.com/s/1HJbA3Wsgbuqyd8pX4g7cpA
提取码：e506

相关文章

Spring学习笔记（二十六）——springboot集成elasticsearch

8月16日 · 2021年

Elastic Stack——Logstash基本使用、实时数据监控和可视化分析

4月18日 · 2020年

Nginx日志分析系统——Elastic Stack的系列产品的使用

4月18日 · 2020年

Elasticsearch 中文分词、全文搜索、分布式集群搭建和java客户端操作

4月18日 · 2020年
0 条回应
©2021版权所有
在线人数：1人 来访统计
说谎
林宥嘉
隐藏