JAVA软件海豚_海豚调度系统ApacheDolphinScheduler单机
DolphinScheduler单机部署分为后端部署和前端部署两部分：
1、后端部署
1.1 : 基础软件安装(必装项请⾃⾏安装)
PostgreSQL (8.2.15+) or MySQL (5.7系列) : 两者任选其⼀即可
JDK (1.8+) : 必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量 ZooKeeper (3.4.6+) ：必装
Hadoop (2.6+) or MinIO ：选装， 如果需要⽤到资源上传功能，针对单机可以选择本地⽂件⽬录作为上传⽂件夹(此操作不需要部署Hadoop)；当然也可以选择上传到Hadoop or MinIO集上 注意：DolphinScheduler本⾝不依赖Hadoop、Hive、Spark，仅是会调⽤他们的Client，⽤于对应任务的运⾏。
1.2 : 下载后端包
请下载最新版本的后端安装包⾄服务器部署⽬录,⽐如创建 /opt/dolphinscheduler 做为安装部署⽬录，下载地址： 下载 (以1.2.0版本为例)，下载后上传tar包到该⽬录中，并进⾏解 #创建部署⽬录，部署⽬录请不要创建在/root、/home等⾼权限⽬录
mkdir -p /opt/dolphinscheduler;免洗内裤
cd /opt/dolphinscheduler;
#解压缩
tar -zxvf apache-dolphinscheduler-incubating-1.2. -C /opt/dolphinscheduler;
mv apache-dolphinscheduler-incubating-1.2.0-dolphinscheduler-backend-bin dolphinscheduler-backend
1.3：创建部署⽤户并赋予⽬录操作权限
创建部署⽤户，并且⼀定要配置sudo免密。以创建dolphinscheduler⽤户为例
#创建⽤户需使⽤root登录
useradd dolphinscheduler;
#添加密码
echo “dolphinscheduler” | passwd –stdin dolphinscheduler
#配置sudo免密
sed -i ‘$adolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL’ /etc/sudoers
sed -i ‘s/Defaults requirett/#Defaults requirett/g’ /etc/sudoers
#修改⽬录权限，使得部署⽤户对dolphinscheduler-backend⽬录有操作权限
chown -R dolphinscheduler:dolphinscheduler dolphinscheduler-backend
注意：
– 因为任务执⾏服务是以 sudo -u {linux-user} 切换不同linux⽤户的⽅式来实现多租户运⾏作业，所以部署⽤户需要有 sudo 权限，⽽且是免密的。初学习者不理解的话，完全可以暂时忽略这⼀点
– 如果发现/etc/sudoers⽂件中有”Default requiretty”这⾏，也请注释掉
– 如果⽤到资源上传的话，还需要给该部署⽤户分配操作`本地⽂件系统或者HDFS或者MinIO`的权限
1.4 : ssh免密配置
切换到部署⽤户并配置ssh本机免密登录
su dolphinscheduler;
制作智能卡ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys温度自动控制系统
注意：正常设置后，dolphinscheduler⽤户在执⾏命令ssh localhost 是不需要再输⼊密码的
1.5 : 数据库初始化
进⼊数据库，默认数据库是PostgreSQL，如选择MySQL的话，后续需要添加mysql-connector-java驱动包到DolphinScheduler的lib⽬录下
mysql -uroot -p
进⼊数据库命令⾏窗⼝后，执⾏数据库初始化命令，设置访问账号和密码。注: {user} 和 {password} 需要替换为具体的数据库⽤户名和密码
mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO ‘{user}’@’%’ IDENTIFIED BY ‘{password}’;
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO ‘{user}’@’localhost’ IDENTIFIED BY ‘{password}’;
mysql> flush privileges;
创建表和导⼊基础数据
修改 conf ⽬录下 application-dao.properties 中的下列配置
vi conf/application-dao.properties
如果选择 MySQL，请注释掉 PostgreSQL 相关配置(反之同理), 还需要⼿动添加 [mysql-connector-java 驱动 jar] 包到 lib ⽬录下，这⾥下载的是mysql-connector-java-5.1.47.jar，然后正确配置数据库连接相关信息
# postgre #spring.datasource.driver-class-name=org.postgresql.Driver
#spring.datasource.url=jdbc:postgresql://localhost:5432/dolphinscheduler
# mysql spring.datasource.sql.jdbc.Driver
spring.datasource.url=jdbc:mysql://xxx:3306/dolphinscheduler?useUnicode=true&characterEncoding=UTF-8 需要修改ip，本机localhost即可
牌坊制作spring.datasource.username=xxx 需要修改为上⾯的{user}值
spring.datasource.password=xxx 需要修改为上⾯的{password}值
修改并保存完后，执⾏ script ⽬录下的创建表及导⼊基础数据脚本
sh script/create-dolphinscheduler.sh
注意: 如果执⾏上述脚本报 ”/bin/java: No such file or directory“ 错误，请在/etc/profile下配置 JAVA_HOME 及 PATH 变量
1.6 : 修改运⾏参数
修改 conf/env ⽬录下的 .dolphinscheduler_env.sh 环境变量(以相关⽤到的软件都安装在/opt/soft下为例)
export HADOOP_HOME=/opt/soft/hadoop供墨系统
export HADOOP_CONF_DIR=/opt/soft/hadoop/etc/hadoop
#export SPARK_HOME1=/opt/soft/spark1
export SPARK_HOME2=/opt/soft/spark2
export PYTHON_HOME=/opt/soft/python
export JAVA_HOME=/opt/soft/java
export HIVE_HOME=/opt/soft/hive
export FLINK_HOME=/opt/soft/flink
export
PATH=$HADOOP_HOME/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH:$FLINK_HOME/b
注: 这⼀步⾮常重要，例如 JAVA_HOME 和 PATH 是必须要配置的，没有⽤到的可以忽略或者注释掉；如果不
到.dolphinscheduler_env.sh, 请运⾏ ls -a
将jdk软链到/usr/bin/java下(仍以 JAVA_HOME=/opt/soft/java 为例)
sudo ln -s /opt/soft/java/bin/java /usr/bin/java
修改⼀键部署脚本 install.sh中的各参数，特别注意以下参数的配置
#这⾥填 mysql or postgresql
dbtype=”mysql”
#数据库连接地址
dbhost=”localhost:3306″
#数据库名
dbname=”dolphinscheduler”
#数据库⽤户名，此处需要修改为上⾯设置的{user}具体值
username=”xxx”
#数据库密码, 如果有特殊字符，请使⽤\转义，需要修改为上⾯设置的{passowrd}具体值
passowrd=”xxx”
#将DS安装到哪个⽬录，如: /opt/soft/dolphinscheduler，不同于现在的⽬录
installPath=”/opt/soft/dolphinscheduler”
#使⽤哪个⽤户部署，使⽤1.3⼩节创建的⽤户
deployUser=”dolphinscheduler”
#Zookeeper地址，单机本机是localhost:2181，记得把2181端⼝带上
zkQuorum=”localhost:2181″
#在哪些机器上部署DS服务，本机选localhost
ips=”localhost”
#master服务部署在哪台机器上
masters=”localhost”
#worker服务部署在哪台机器上
workers=”localhost”
#报警服务部署在哪台机器上
alertServer=”localhost”
#后端api服务部署在在哪台机器上
apiServers=”localhost”
#邮件配置，以qq邮箱为例
#邮件协议
mailProtocol=”SMTP”
#邮件服务地址
mailServerHost=”ail.qq”
#邮件服务端⼝
mailServerPort=”25″
#mailSender和mailUser配置成⼀样即可
#发送者
mailSender=”xxx@qq”
#发送⽤户
mailUser=”xxx@qq”
#邮箱密码
mailPassword=”xxx”
#TLS协议的邮箱设置为true，否则设置为false
starttlsEnable=”true”
#邮件服务地址值，参考上⾯ mailServerHost
sslTrust=”ail.qq”
复合纸
#开启SSL协议的邮箱配置为true，否则为false。注意: starttlsEnable和sslEnable不能同时为true
sslEnable=”false”
#excel下载路径
xlsFilePath=”/tmp/xls”
#业务⽤到的⽐如sql等资源⽂件上传到哪⾥，可以设置：HDFS,S3,NONE，单机如果想使⽤本地⽂件系统，请配置为HDFS，因为HDFS ⽀持本地⽂件系统；如果不需要资源上传功能请选择NONE。强调⼀点：使⽤本地⽂件系统不需要部署hadoop
resUploadStartupType=”HDFS”
#这⾥以保存到本地⽂件系统为例
#注：但是如果你想上传到HDFS的话，NameNode启⽤了HA，则需要将l和l放到conf⽬录下，本例即是放
到/opt/dolphinscheduler/conf下⾯，并配置namenode cluster名称；如果NameNode不是HA，则修改为具体的ip或者主机名即可
defaultFS=”file:///data/dolphinscheduler” #hdfs://{具体的ip/主机名}:8020
#如果ResourceManager是HA，则配置为ResourceManager节点的主备ip或者hostname,⽐如“,”，否则如果是单ResourceManager或者根本没⽤到yarn，请配置yarnHaIps=“”即可，我这⾥没⽤到yarn，配置为“”
yarnHaIps=””
#如果是单ResourceManager，则配置为ResourceManager节点ip或主机名，否则保持默认值即可。我这⾥没⽤到yarn，保持默认
singleYarnIp=”ark1″
#由于hdfs⽀持本地⽂件系统，需要确保本地⽂件夹存在且有读写权限
hdfsPath=”/data/dolphinscheduler”
注：如果打算⽤到资源中⼼功能，请执⾏以下命令：
sudo mkdir /data/dolphinscheduler
sudo chown -R dolphinscheduler:dolphinscheduler /data/dolphinscheduler
1.7 : 安装python的Zookeeper⼯具kazoo
安装python的 Zookeeper ⼯具 ，此步骤仅在⼀键部署时候⽤到
#安装pip
sudo yum -y install python-pip; #ubuntu请使⽤ sudo apt-get install python-pip
sudo pip install kazoo;
注意：如果yum没到python-pip，也可以通过下⾯⽅式安装
sudo python get-pip.py # 如果是python3，使⽤sudo python3 get-pip.py #然后
sudo pip install kazoo;
切换到部署⽤户，执⾏⼀键部署脚本
sh install.sh
注意： 第⼀次部署的话，在运⾏中第3步`3,stop server`出现5次以下信息，此信息可以忽略 sh: bin/dolphinscheduler-daemon.sh: No such file or directory
脚本完成后，会启动以下5个服务，使⽤jps命令查看服务是否启动(jps为java JDK⾃带)
MasterServer —– master服务
WorkerServer —– worker服务
LoggerServer —– logger服务
ApiApplicationServer —– api服务
AlertServer —– alert服务
如果以上服务都正常启动，说明⾃动部署成功
部署成功后，可以进⾏⽇志查看，⽇志统⼀存放于logs⽂件夹内
logs/
├── dolphinscheduler-alert-server.log
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议