基础配置
硬件需求
机器配置
应用服务
应用最小推荐配置
应用服务器linux系统最低配置要求单台 12G 以上内存,硬盘 500G硬盘。
节点 | 应用名称 | 硬件要求内存(G) | 硬件要求磁盘(G) |
---|---|---|---|
1 | mysql | 4 | 100 |
2 | nacos | 2 | 50 |
3 | redis | 1 | 50 |
4 | dvs_admin | 1 | 50 |
5 | dvs_manage | 1 | 50 |
6 | dvs_gateway | 1 | 50 |
7 | port_server | 1 | 50 |
8 | xxl-job | 1 | 50 |
大数据集群
百万级客户配置( 推荐最小配置)
hadoop集群推荐基础配置,通常在一百万级的客户数量。
节点 | 应用名称 | 硬件要求内存(G) | 硬件要求磁盘(G) |
---|---|---|---|
1 | NameNode | 32 | 500 |
2 | DataNode | 32 | 500 |
3 | DataNode | 32 | 500 |
千万级数量客户
hadoop集群推荐较高配置,通常在千万级的客户数量。
节点 | 应用名称 | 硬件要求内存(G) | 硬件要求磁盘(TB) |
---|---|---|---|
1 | NameNode | 64 | 2 |
2 | DataNode | 64 | 2 |
3 | DataNode | 64 | 2 |
hadoop集群的配置参考官网推荐配置:https://hadoop.apache.org/docs/r3.4.0/
部署步骤
基础组件
基础数据库
1.安装MARIADB,版本:10.4.33
2.创建据库 :
CREATE DATABASE nexus_datavs CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
CREATE DATABASE nexus_port CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
CREATE DATABASE xxl_job CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
初始化建表语句:
nacos 管理服务
安装nacos 启动nacos 创建standard分组
- nacos版本:1.4.2
- 具体安装参考nacos官方网址:
- https://nacos.io/docs/v1/deployment/
Redis远程字典服务
- 安装redis
- 启动redis
- redis安装版本:5.0.13
- 具体安装参考redis官方网址:
- https://redis.io/download/
Nginx反向代理
- 安装nginx
- nginx版本:1.20.1
- 具体安装参考官网:
- https://nginx.org/en/download.html
- nginx配置文件:
server {
listen 80;
server_name apexnexus-datavs.chinapex.com.cn;
access_log /var/log/nginx/datavs-access.log main;
error_log /var/log/nginx/datavs-error.log;
gzip_static on;
large_client_header_buffers 4 16k; # 读取大型客户端请求头的缓冲区的最大数量和大小
#client_max_body_size 300m; #设置nginx能处理的最大请求主体大小。
client_body_buffer_size 128k; #请求主体的缓冲区大小。
proxy_connect_timeout 600;
proxy_read_timeout 600;
proxy_send_timeout 600;
proxy_buffer_size 128k;
proxy_buffers 16 128k;
proxy_busy_buffers_size 128k;
proxy_temp_file_write_size 128k;
# ip 为网关服务安装IP
location ~* ^/(dvs-admin|dvs-manage) {
proxy_pass http://ip:19999;
proxy_set_header Host $host:$server_port;
proxy_connect_timeout 300s;
proxy_send_timeout 300s;
proxy_read_timeout 300s;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
add_header Access-Control-Allow-Methods *;
add_header Access-Control-Max-Age 3600;
add_header Access-Control-Allow-Credentials true;
add_header Access-Control-Allow-Origin $http_origin;
add_header Access-Control-Allow-Headers '*';
if ($request_method = OPTIONS){
return 200;
}
}
# ip 为xxl-job-admin服务安装IP
location /xxl-job-admin {
proxy_pass http://ip:28080;
proxy_set_header Host $host:$server_port;
proxy_connect_timeout 300s;
proxy_send_timeout 300s;
proxy_read_timeout 300s;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
add_header Access-Control-Allow-Methods *;
add_header Access-Control-Max-Age 3600;
add_header Access-Control-Allow-Credentials true;
add_header Access-Control-Allow-Origin $http_origin;
add_header Access-Control-Allow-Headers '*';
if ($request_method = OPTIONS){
return 200;
}
}
location / {
root /data/standard/frontend/dist ;
index index.html;
try_files $uri $uri/ /index.html;
}
}