Hadoop3 分布式集群搭建 (Ubuntu)
Hadoop3 分布式集群搭建 (Ubuntu)0 架构
node1
node2
node3
HDFS
NameNode
DataNode
DataNode
SecondaryNameNode
DataNode
YARN
ResourceManager
NodeManager
NodeManager
NodeManager
1 在所有机器安装 JDK8使用 Adoptium 源安装 temurin-8-jdk
sudo apt-get install -y wget apt-transport-https gnupgwget -O - https://packages.adoptium.net/artifactory/api/gpg/key/public | sudo apt-key add -echo "deb https://packages.adoptium.net/artifactory/deb $(lsb_release -sc) main" | sudo tee /etc/apt/sources.l ...
为Hyper-V虚拟机配置端口映射并暴露到公网
为Hyper-V虚拟机配置端口映射并暴露到公网
参考: https://www.cnblogs.com/kasnti/p/11727755.html
网络拓扑图
端口映射和网络配置软路由可以使用系统自带端口转发(方便),或gost程序(灵活)。
iStoreOS网络-防火墙-端口转发
GOSTdocker compose 配置如下
version: '3.8'services: debian-ssh: image: ginuerzh/gost:latest container_name: debian-ssh restart: always network_mode: "host" command: "-L udp://:2201/192.168.100.2:2201 -L tcp://:2201/192.168.100.2:2201"
无线路由器小米AX3600设置端口转发
Windows 主机配置防火墙规则
其他设置全部默认即可,如有必要,可添加UDP规则
配置端口转发打开Pow ...
国内服务器安装哪吒监控
国内服务器安装哪吒监控
参考: https://www.nodeseek.com/post-32055-1
国内服务器安装哪吒监控(agent)有多种方法,如使用官方镜像、proxychains代理、WARP代理等,这里介绍手动下载nezha-agent的方法,适用于只有IPv6的国内机。
下载agent从 https://github.com/nezhahq/agent/releases 下载 nezha-agent 并上传到国内服务器,使用 unzip 解压,将二进制文件放到/opt/nezha/agent。
这里可以使用反代加速github,在国内机上直接下载,参考步骤如下(请自行确认反代地址、agent版本号和平台)
mkdir /opt/nezha/agent -pcd /opt/nezha/agentwget https://mirror.vayki.com/proxy/https://github.com/nezhahq/agent/releases/download/v0.15.19/nezha-agent_linux_amd64.zipunzip nezha-age ...
使用 GOST 搭建安全隧道
使用 GOST 搭建安全隧道
以 Docker 为例
场景1实现A机器的3000端口映射到B机器的3001服务,要求两台机器使用隧道连接而不是端口转发。隧道协议为relay,传输类型为mwss
链路为 A:3000 -> B:3000 -> B:3001
客户端 Aversion: '3.8'services: gost: image: ginuerzh/gost:latest container_name: gost restart: always network_mode: "host" command: "-L udp://:3000 -L tcp://:3000 -F relay+mwss://服务端IP地址:3000?nodelay=true"
服务端 Bversion: '3.8'services: gost: image: ginuerzh/gost:latest container_name: gost restart: al ...
Linux 内核新增系统调用
Linux 内核新增系统调用
zstu 浙江理工大学 操作系统 课程设计 任务A 新增系统调用
1、编写一个新系统调用的响应函数,函数的名称和功能由实验者自行定义。把新的系统调用函数嵌入到Linux内核中
2、编写应用程序以测试新的系统调用并输出测试结果
以 Debian 12 为例
1 下载并解压 Linux Kernel 源码在 https://www.kernel.org/ 处下载,以 6.6.2 为例。
wget https://cdn.kernel.org/pub/linux/kernel/v6.x/linux-6.6.2.tar.xztar -xvf linux-6.6.2.tar.xzcd linux-6.6.2
2 添加系统调用函数新增 kernel/hello.c 文件如下:
// kernel/hello.c#include <linux/kernel.h>#include <linux/syscalls.h>SYSCALL_DEFINE0(hello){ printk(KERN_INFO "Hello, Linu ...
OpenWRT 安装 Docker Compose
OpenWRT 安装 Docker Compose参考:https://docs.docker.com/compose/install/linux/#install-using-the-repository
到 https://github.com/docker/compose/releases/ 寻找合适的版本
DOCKER_CONFIG=${DOCKER_CONFIG:-$HOME/.docker}mkdir -p $DOCKER_CONFIG/cli-pluginscurl -SL https://github.com/docker/compose/releases/download/v2.23.3/docker-compose-linux-armv7 -o $DOCKER_CONFIG/cli-plugins/docker-composechmod +x $DOCKER_CONFIG/cli-plugins/docker-composedocker compose version
Nginx 禁止 IP 访问并防止泄漏 SSL 证书
Nginx 禁止 IP 访问并防止泄漏 SSL 证书引言本文旨在使用 Nginx 禁止 IP 直接访问,并防止在https://ip地址 访问时暴露网站的 SSL 证书。
OpenSSL 生成自签证书安装OpenSSL
apt updateapt install openssl
生成自签名 SSL 证书和密钥
mkdir /etc/nginx/ssl/openssl req -x509 -nodes -days 3650 -newkey rsa:2048 -keyout /etc/nginx/ssl/default.key -out /etc/nginx/ssl/default.crt
Nginx 配置设置一个默认的 server 块来拦截所有未指定的请求(通常是直接通过 IP 访问的)并返回错误代码,比如 444 (无响应,推荐)或者 403 (禁止访问)。
配置示例:
# 默认 server 块server { listen 80 default_server; listen [::]:80 default_server; listen 443 ssl ...
OpenWRT 安装哪吒监控
OpenWRT 安装哪吒监控
注意:本文仅适用于哪吒监控v0,不适用于新版哪吒监控
在 https://github.com/naiba/nezha/releases 下载对应架构的 zip 包,软路由通常是 nezha-agent_linux_arm64.zip
解压后把二进制文件放入/root
运行 chmod +x /root/nezha-agent 赋予执行权限,然后创建 /etc/init.d/nezha-service:
注意此处与 在-openwrt-中安装-agent 不同的是要禁用自动更新--disable-auto-update。如果你的软路由可以访问github,就不需要禁用
nezha-agent 在启动时会自动更新,此时如果软路由不能连接到 github 就会报错
#!/bin/sh /etc/rc.commonSTART=99USE_PROCD=1start_service() { procd_open_instance procd_set_param command /root/nezha-agent -s 面板通信地址:端口 -p 秘钥 -- ...
ZFile 设置开机启动
ZFile 设置开机启动以 Debian / Ubuntu 为例
vim /etc/systemd/system/zfile.service
填入以下内容,注意核对 ZFile 安装路径,默认为 /root/zfile
[Unit]Description=zfileAfter=multi-user.target basic.target sockets.target sysinit.target network-pre.target[Service]Type=forkingExecStart=bash /root/zfile/bin/start.shExecReload=bash /root/zfile/bin/restart.shExecStop=bash /root/zfile/bin/stop.shPrivateTmp=true[Install]WantedBy=multi-user.target
设置开机启动
bash /root/zfile/bin/stop.sh #停止 zfilesystemctl daemon-reload #重新加载 systemd 配置文件syste ...
BuyVM 挂载存储块
BuyVM 挂载存储块参考:
https://zhujitips.com/2653
https://www.pigji.com/898.html
1 控制台操作存储块购买完毕后,进入后台管理界面,进入对应 VPS 界面,点击 Volumes
然后选择 Attach To Virtual Server
在 Attach To中选择可挂载的 VPS ,点击 Attach Volume
如果 VPS 已经重装过系统,可以正常使用,那么不需要重启,直接进系统准备挂载
否则先重装系统
2 Linux 终端操作进系统,列出所有磁盘的唯一标识符
ls /dev/disk/by-id/
scsi-0BUYVM_SLAB_VOLUME-序列号 就是存储块
格式化存储块
mkfs.ext4 -F /dev/disk/by-id/scsi-0BUYVM_SLAB_VOLUME-序列号 #注意更改序列号
创建挂载目录
mkdir -p /mnt/slab1
挂载存储块到目录
mount -o discard,defaults /dev/disk/by-id/scsi-0BUYVM_SLAB_VO ...
