搭建ELK日志中心详细过程

# 1. 通用卸载方法
apt-get remove docker docker-engine docker-ce docker.io
## 2. 更新软件包索引并安装必要的依赖，添加新的软件存储库
apt update
apt-get -y install apt-transport-https ca-certificates curl software-properties-common

## 3. 导入存储库的 GPG 密钥
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | apt-key add -

## 4. 将 Docker APT 存储库添加到系统
add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

## 5. 安装 Docker
apt-get install -y docker-ce

## 6. 启动和关闭 Docker 服务 (Docker 安装后会自动启动)
systemctl start docker
systemctl stop docker

## 7. 重启 Docker 服务
service docker restart

## 查看 Docker 版本号
docker version

## 运行 Hello World
docker run hello-world

## 下载源文件并命名为 docker-compose
curl -L "https://newbee-mall.oss-cn-beijing.aliyuncs.com/docker-compose-linux-x86_64" -o /usr/local/bin/docker-compose

## 授予执行权限
chmod +x /usr/local/bin/docker-compose

# 验证命令
docker-compose version

# 输出结果
Docker Compose version v2.10.2

## 创建 /data 目录、/data/elk 目录、/data/elk/logstash 目录和 /data/elk/elasticsearch 目录
mkdir -p /data/elk/{logstash,elasticsearch}
## 创建 /data/elk/elasticsearch/data 目录和 /data/elk/elasticsearch/plugins 目录
mkdir /data/elk/elasticsearch/{data,plugins}

## 修改文件夹权限，否则挂载时可能出现问题
chmod -R 777 /data

vim /data/elk/docker-compose.yml

version: '3.2'
services:
  elasticsearch:
    image: elasticsearch:7.17.8 # 镜像名称及版本号
    container_name: newbee-mall-cloud-elk-elasticsearch # 启动后的容器名称
    privileged: true
    user: root
    environment:
      - "cluster.name=elasticsearch"
      - "discovery.type=single-node"
      - "ES_JAVA_OPTS=-Xms768m -Xmx768m"
      - "TZ=Asia/Shanghai" # 时区设置
    volumes:
      - /data/elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins # 插件文件挂载
      - /data/elk/elasticsearch/data:/usr/share/elasticsearch/data # 数据文件挂载
    ports:
      - 9200:9200
      - 9300:9300
logstash:
  image: logstash:7.17.8 # 镜像名称及版本号
  container_name: newbee-mall-cloud-elk-logstash # 启动后的容器名称
  privileged: true
  environment:
    - TZ=Asia/Shanghai # 时区设置
  volumes:
    - /data/elk/logstash/logstash-server-mode.conf:/usr/share/logstash/
      pipeline/logstash.conf # 挂载 Logstash 的配置文件
  depends_on:
    - elasticsearch # Logstash 容器会在 Elastic Search 容器启动后启动
  links:
    - elasticsearch:es # 可以用 ES 访问 Elastic Search 服务
  ports:
    - 4560:4560
kibana:
  image: kibana:7.17.8 # 镜像名称及版本号
  container_name: newbee-mall-cloud-elk-kibana # 启动后的容器名称
  privileged: true
  links:
    - elasticsearch:es # 可以用 ES 访问 Elastic Search 服务
  depends_on:
    - elasticsearch # Kibana 容器会在 Elastic Search 容器启动后启动
  environment:
    - ELASTICSEARCH_HOSTS=http://es:9200 # 设置访问 Elastic Search 的地址
    - I18N_LOCALE="zh-CN" # Kibana 页面（设置中文显示）
    - TZ=Asia/Shanghai # 时区设置
  ports:
    - 5601:5601

vim /data/elk/logstash/logstash-server-mode.conf

input { # 数据收集配置 (输入)
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
  }
}

output { # 数据输出配置
  elasticsearch {
    hosts => "es:9200"
    index => "newbee-mall-cloud-%{+YYYY.MM.dd}"
  }
}

## 进入存放 docker-compose.yml 的目录
cd /data/elk

## 启动并在后台运行
docker-compose up -d

docker-compose logs -f --tail=200

http://localhost:9200/?pretty
http://192.168.110.11:9200/?pretty

http://localhost:5601
http://192.168.110.11:5601