GVKun编程网logo

Elasticsearch-计算重复值和唯一值（elasticsearch 重复数据处理）

12

本篇文章给大家谈谈Elasticsearch-计算重复值和唯一值，以及elasticsearch重复数据处理的知识点，同时本文还将给你拓展docker部署elasticsearch+elasticse

本篇文章给大家谈谈Elasticsearch-计算重复值和唯一值，以及elasticsearch 重复数据处理的知识点，同时本文还将给你拓展docker 部署 elasticsearch + elasticsearch-head + elasticsearch-head 跨域问题 + IK 分词器、Docker部署ElasticSearch和ElasticSearch-Head、Docker部署ElasticSearch和ElasticSearch-Head的实现、elasticsarch6.5.4 安装插件 searchguard 和 elasticsearh-head 插件安全性问题等相关知识，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

Elasticsearch-计算重复值和唯一值（elasticsearch 重复数据处理）

Elasticsearch-计算重复值和唯一值（elasticsearch 重复数据处理）

我有以下json

[ {"firstname": "john", "lastname": "doe"}, {"firstname": "john", "lastname": "smith"}, {"firstname": "jane", "lastname": "smith"}, {"firstname": "jane", "lastname": "doe"}, {"firstname": "joe", "lastname": "smith"}, {"firstname": "joe", "lastname": "doe"}, {"firstname": "steve", "lastname": "smith"}, {"firstname": "jack", "lastname": "doe"}]

我想计算重复的名字

重复计数3

不可重复的名字计数

非重复计数2

我试图计算存储桶的数量，但似乎计算所有存储桶是重复的还是非重复的

GET mynames/_search{"aggs" : {    "name_count" : {        "terms" : {            "field" : "firstname.keyword",            "min_doc_count": 2        }    },"count":{  "cardinality": {    "field": "firstname.keyword"  }}}

答案1

小编典典

好吧，我在这里利用了几种聚合。以下是我使用过的列表。列表的顺序是聚合的执行顺序。

对于重复

  • 术语汇总
  • 统计数据桶汇总

对于非重复

  • 术语汇总
    • 桶选择器 （作为子集合）
  • 总和桶选择器

汇总查询：

POST <your_index_name>/_search{     "size":0,   "aggs":{        "duplicate_aggs":{           "terms":{              "field":"firstname.keyword",            "min_doc_count":2         }      },      "duplicate_bucketcount":{           "stats_bucket":{              "buckets_path":"duplicate_aggs._count"         }      },      "nonduplicate_aggs":{           "terms":{              "field":"firstname.keyword"         },         "aggs":{              "equal_one":{                 "bucket_selector":{                    "buckets_path":{                       "count":"_count"                  },                  "script":"params.count == 1"               }            }         }      },      "nonduplicate_bucketcount":{           "sum_bucket":{              "buckets_path":"nonduplicate_aggs._count"         }      }   }}

响应

{  "took": 10,  "timed_out": false,  "_shards": {    "total": 5,    "successful": 5,    "skipped": 0,    "failed": 0  },  "hits": {    "total": 8,    "max_score": 0,    "hits": []  },  "aggregations": {    "duplicate_aggs": {      "doc_count_error_upper_bound": 0,      "sum_other_doc_count": 0,      "buckets": [        {          "key": "jane",          "doc_count": 2        },        {          "key": "joe",          "doc_count": 2        },        {          "key": "john",          "doc_count": 2        }      ]    },    "nonduplicate_aggs": {      "doc_count_error_upper_bound": 0,      "sum_other_doc_count": 0,      "buckets": [        {          "key": "jack",          "doc_count": 1        },        {          "key": "steve",          "doc_count": 1        }      ]    },    "duplicate_bucketcount": {      "count": 3,      "min": 2,      "max": 2,      "avg": 2,      "sum": 6    },    "nonduplicate_bucketcount": {      "value": 2    }  }}

注意，在上面的响应中，我们有一个duplicate_bucketcount.count键，其值3是将显示存储桶计数的值，该值是重复的键的数量。

让我知道是否有帮助！

docker 部署 elasticsearch + elasticsearch-head + elasticsearch-head 跨域问题 + IK 分词器

docker 部署 elasticsearch + elasticsearch-head + elasticsearch-head 跨域问题 + IK 分词器

0.  docker pull 拉取 elasticsearch + elasticsearch-head 镜像

 

1.  启动 elasticsearch Docker 镜像

docker run -di --name tensquare_elasticsearch -p 9200:9200 -p 9300:9300 elasticsearch

对应 IP:9200 ---- 反馈下边 json 数据，表示启动成功

 

2.  启动 elasticsearch-head 镜像

docker run -d -p 9100:9100 elasticsearch-head

 

对应 IP:9100 ---- 得到下边页面，即启动成功

 

 

3.  解决跨域问题

 

 　　进入 elasticsearch-head 页面，出现灰色未连接状态 , 即出现跨域问题

 

   　　1. 根据 docker ps 得到 elasticsearch 的 CONTAINER ID

　　　2. docker exec -it elasticsearch 的 CONTAINER ID  /bin/bash 进入容器内

   　　3. cd ./config 

   　　4. 修改 elasticsearch.yml 文件

echo "
http.cors.enabled: true
http.cors.allow-origin: ''*''" >> elasticsearch.yml

 

 

4.  重启 elasticsearch

docker restart elasticsearch的CONTAINER ID

重新进入 IP:9100 进入 elasticsearch-head, 出现绿色标注，配置成功 !

 

 

 

5.  ik 分词器的安装

　　将在 ik 所在的文件夹下，拷贝到 /usr/share/elasticsearch/plugins  ---  注意: elasticsearch 的版本号必须与 ik 分词器的版本号一致

docker cp ik elasticsearch的CONTAINER ID:/usr/share/elasticsearch/plugins
重启elasticsearch
docker restart elasticsearch

未添加ik分词器:http://IP:9200/_analyze?analyzer=chinese&pretty=true&text=我爱中国
添加ik分词器后:http://IP:9200/_analyze?analyzer=ik_smart&pretty=true&text=我爱中国

Docker部署ElasticSearch和ElasticSearch-Head

Docker部署ElasticSearch和ElasticSearch-Head

Docker部署ElasticSearch和ElasticSearch-Head

 本篇主要讲解使用Docker如何部署ElasticSearch:6.8.4 版本，讲解了从Docker拉取到最终运行ElasticSearch 以及 安装 ElasticSearch-Head 用来管理ElasticSearch相关信息的一个小工具，本博客系统首页的搜索正是使用了ElasticSearch来实现的，由于ElasticSearch 更新太快 以至于SpringData-ElasticSearch都跟不上 Es的更新 我也是一开始下载8.x的版本 导致SpringData-ElasticSearch 报错 最终我选择了6.8.4 在此记录一下

 1.Docker部署ElasticSearch:6.8.4版本

  1.1 拉取镜像
docker pull docker.elastic.co/elasticsearch/elasticsearch:6.8.4
  1.2 运行容器

  ElasticSearch的默认端口是9200，我们把宿主环境9200端口映射到Docker容器中的9200端口，就可以访问到Docker容器中的ElasticSearch服务了，同时我们把这个容器命名为es。

docker run -d --name es -p 9200:9200 -p 9300:9300 
-e "discovery.type=single-node" 
-e ES_JAVA_OPTS="-Xms=256m -Xms=256m" 
docker.elastic.co/elasticsearch/elasticsearch:6.8.4

  说明：
  -e discovery.type=single-node ：表示单节点启动
  -e ES_JAVA_OPTS="-Xms=256m -Xms=256m" ：表示设置es启动的内存大小，这个真的要设置，不然后时候会内存不够，比如我自己的辣鸡服务器！

  1.3 内存不足问题

  centos下载完elasticsearch并修改完配置后运行docker命令：

  发现没有启动成功，去除命令的-d后打印错误如下

Java HotSpot(TM) 64-Bit Server VM warning: INFO:
os::commit_memory(0x0000000085330000, 2060255232, 0) failed;
error=’Cannot allocate memory’ (errno=12)

  经过一番查找发现这是由于elasticsearch6.0默认分配jvm空间大小为2g，内存不足以分配导致。

  解决方法就是修改jvm空间分配
  运行命令：

find /var/lib/docker/overlay/ -name jvm.options


查找jvm.options文件，找到后进入使用vi命令打开jvm.options如下：

将

-Xms2g  
-Xmx2g
修改为
-Xms512m  
-Xmx512m

  保存退出即可。再次运行创建运行elasticsearch命令，成功启动。

 2.Docker部署ElasticSearch-Heard

  2.1 拉取镜像
docker pull  mobz/elasticsearch-head:5
  2.2 运行容器
docker create --name elasticsearch-head -p 9100:9100 mobz/elasticsearch-head:5
  2.3 启动容器
docker start elasticsearch-head
  2.4 打开浏览器: http://IP:9100

  发现连接不上，是因为有跨域问题，因为前后端分离开发的所以需要设置一下es

  2.5 进入刚刚启动的 es 容器，容器name = es
docker exec -it es /bin/bash
  2.6 修改elasticsearch.yml文件
vi config/elasticsearch.yml

添加
http.cors.enabled: true
http.cors.allow-origin: "*"

  其实就是SpringBoot的yml文件 添加跨域支持

  2.7 退出容器 并重启
exit
docker restart es
  2.8 访问http://localhost:9100

es.png

 总结：

  本篇只是简单的讲解了如何用Docker安装ElasticSearch 并且会遇到的坑，包括内存不足，或者版本太高等问题，以及ElasticSearch-Heard的安装和跨域的配置 ，下一篇将讲解ElasticSearch如何安装中文分词器

个人博客网站 https://www.askajohnny.com 欢迎来访问！
本文由博客一文多发平台 OpenWrite 发布！

Docker部署ElasticSearch和ElasticSearch-Head的实现

Docker部署ElasticSearch和ElasticSearch-Head的实现

本篇主要讲解使用Docker如何部署ElasticSearch:6.8.4 版本，讲解了从Docker拉取到最终运行ElasticSearch 以及 安装 ElasticSearch-Head 用来管理ElasticSearch相关信息的一个小工具，本博客系统首页的搜索正是使用了ElasticSearch来实现的，由于ElasticSearch 更新太快 以至于SpringData-ElasticSearch都跟不上 Es的更新 我也是一开始下载8.x的版本 导致SpringData-ElasticSearch 报错 最终我选择了6.8.4 在此记录一下

1.Docker部署ElasticSearch:6.8.4版本

1.1 拉取镜像

docker pull docker.elastic.co/elasticsearch/elasticsearch:6.8.4

1.2 运行容器

ElasticSearch的默认端口是9200，我们把宿主环境9200端口映射到Docker容器中的9200端口，就可以访问到Docker容器中的ElasticSearch服务了，同时我们把这个容器命名为es。

docker run -d --name es -p 9200:9200 -p 9300:9300 
-e "discovery.type=single-node" 
-e ES_JAVA_OPTS="-Xms=256m -Xms=256m" 
docker.elastic.co/elasticsearch/elasticsearch:6.8.4

说明：

-e discovery.type=single-node ：表示单节点启动

-e ES_JAVA_OPTS="-Xms=256m -Xms=256m" ：表示设置es启动的内存大小，这个真的要设置，不然后时候会内存不够，比如我自己的辣鸡服务器！

1.3 内存不足问题

centos下载完elasticsearch并修改完配置后运行docker命令：

发现没有启动成功，去除命令的-d后打印错误如下

Java HotSpot(TM) 64-Bit Server VM warning: INFO:
os::commit_memory(0x0000000085330000, 2060255232, 0) failed;
error=''Cannot allocate memory'' (errno=12)

经过一番查找发现这是由于elasticsearch6.0默认分配jvm空间大小为2g，内存不足以分配导致。

解决方法就是修改jvm空间分配
运行命令：

find /var/lib/docker/overlay/ -name jvm.options

查找jvm.options文件，找到后进入使用vi命令打开jvm.options如下：

将

-Xms2g 
-Xmx2g
修改为
-Xms512m 
-Xmx512m

保存退出即可。再次运行创建运行elasticsearch命令，成功启动。

2.Docker部署ElasticSearch-Heard

2.1 拉取镜像

docker pull mobz/elasticsearch-head:5

2.2 运行容器

docker create --name elasticsearch-head -p 9100:9100 mobz/elasticsearch-head:5

2.3 启动容器

docker start elasticsearch-head

2.4 打开浏览器: http://IP:9100

发现连接不上，是因为有跨域问题，因为前后端分离开发的所以需要设置一下es

2.5 进入刚刚启动的 es 容器，容器name = es

docker exec -it es /bin/bash

2.6 修改elasticsearch.yml文件

vi config/elasticsearch.yml

添加

http.cors.enabled: true
http.cors.allow-origin: "*"

其实就是SpringBoot的yml文件 添加跨域支持

2.7 退出容器 并重启

exit
docker restart es

2.8 访问http://localhost:9100

总结：

本篇只是简单的讲解了如何用Docker安装ElasticSearch 并且会遇到的坑，包括内存不足，或者版本太高等问题，以及ElasticSearch-Heard的安装和跨域的配置 ，下一篇将讲解ElasticSearch如何安装中文分词器

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

您可能感兴趣的文章:
  • Docker安装ElasticSearch和Kibana的问题及处理方法
  • docker安装Elasticsearch7.6集群并设置密码的方法步骤
  • 一文搞定Docker安装ElasticSearch的过程
  • 在Docker中安装Elasticsearch7.6.2的教程
  • 教你使用docker安装elasticsearch和head插件的方法

elasticsarch6.5.4 安装插件 searchguard 和 elasticsearh-head 插件安全性问题

elasticsarch6.5.4 安装插件 searchguard 和 elasticsearh-head 插件安全性问题

1、安装 searchguard6.5.4 后访问 es  https://localhost:9200 / 需要认证即用户名密码，并且是 https 开头

    当使用 elasticsearch-head 时无法连接到 es,

    解决办法：首先访问 es https://localhost:9200/ 登陆，然后 登陆 elasticsearchhead 注意 auth_user 和 auth_password 两个参数

     http://localhost:9100/?auth_user=admin&auth_password=admin123

     然后在用 es-head 连接就可以了

今天关于Elasticsearch-计算重复值和唯一值和elasticsearch 重复数据处理的讲解已经结束，谢谢您的阅读，如果想了解更多关于docker 部署 elasticsearch + elasticsearch-head + elasticsearch-head 跨域问题 + IK 分词器、Docker部署ElasticSearch和ElasticSearch-Head、Docker部署ElasticSearch和ElasticSearch-Head的实现、elasticsarch6.5.4 安装插件 searchguard 和 elasticsearh-head 插件安全性问题的相关知识，请在本站搜索。

本文标签：

上一篇将拼凑的拼凑数据放入elasticsearch时发生TypeError

下一篇Linux中可用于应用程序的内存总量（linux中可用于应用程序的内存总量是）

相关文章