您的位置 首页 java

Java一站式开源的数据中台,适合中小企业的大数据解决方案附源码

LarkMidTable 是一站式开源的数据中台,实现 元数据 管理,数据仓库开发, 数据质量管理 ,数据的可视化,实现高效赋能数据前台并提供数据服务的产品。

产品愿景

1.满足许多的小企业,提供一站式的解决方案。

2.做出世界级别,能够媲美BAT大厂的产品。

3.创造价值,产生价值,让世界变得更加美好。

产品架构图

产品技术选型

组件

用途

clickhouse/doris

离线数仓

kafka

实时数仓

datax,flinkx

数据集成

flink,flinkcdc,seatunnel

数据开发

promicuse

数据监控

druid

数据服务

datart

数据可视化

cdh

大数据平台

dolphin

任务调度

产品效果图

linux 部署文档

系统要求

window系统和Linux需要安装 python 环境,并配置 环境变量

  • java 版本: Java 8
  • 数据库版本: Mysql5.7
  • 运行环境: MacOS , Windows,Linux,python

1.系统依赖包下载

1.获取flinkx-1.12-SNAPSHOT压缩包,关注公众号【LarkMidTable】发送 【flinkx】

2.将flinkx用压缩软件解压后

linux部署:

上传解压目录flinkx到linux**【注意: 修改Linux目录权限 chown -R 用户:用户 777】**

window部署:

解压后存放在window本地

2.web的安装

2.1 创建数据库

执行bin/db下面的web.sql文件(数据库版本5.1.0版本)

2.2编译打包

1.直接从 Git 上面获得源代码,在项目的根目录下执行如下命令

 mvn clean install   

2.执行成功后将会在工程的build目录下生成安装包

 packages/admin_{VERSION}.tar.gz  

2.3解压安装包

Linux方式部署的解压方式

解压安装包

 tar -zxvf admin_2.1.2_1.tar.gz   

window方式部署解压方式

解压 admin_2.1.2_1.tar.gz 安装包,使用winRAR解压

2.4安装配置

修改项目配置

1.修改路径admin/conf/ 下面的application.yml文件

 #数据源
  datasource:
    username:  root 
    password: root
    url:  jdbc :mysql://localhost:3306/web?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true&characterEncoding=UTF-8
    driver-class-name: com.mysql.jdbc.Driver
  ....
  ....
  ....
flinkx:
  job:
     accessToken :
    #i18n (default empty as chinese, "en" as english)
    i18n:
    ## triggerpool max size
    triggerpool:
      fast:
        max: 200
      slow:
        max: 100
      ### log retention days
    logretentiondays: 30
   executor :
    flinkxHome: /home/ hadoop /flinkx/flinkx.py
    jsonPath: /home/hadoop/flinkx/job/
    logHome: /home/hadoop/flinkx/nohup.out  

1.将 localhost 修改为数据库的地址

2.将flinkxHome, json Path,logHome 配置成flinkx所在目录

例如: Linux部署的配置**【获取flinkx-1.12-SNAPSHOT压缩包,关注公众号【LarkMidTable】发送 【flinkx】】**

   executor:
    flinkxHome: /home/hadoop/flinkx/flinkx.py
    jsonPath: /home/hadoop/flinkx/job/
    logHome: /home/hadoop/flinkx/nohup.out  

例如: window 部署的配置**【获取flinkx-1.12-SNAPSHOT压缩包,关注公众号【LarkMidTable】发送 【flinkx】】**

 executor:
  flinkxHome: E:/flinkx/flinkx.py
  jsonPath: E:/flinkx/job/
  logHome: E:/flinkx/nohup.out  

2.5启动程序

Linux部署启动的方式:

 [hadoop@mini4 bin]$ cd admin/bin
[hadoop@mini4 bin]$ sh admin.sh start  

window部署启动的方式:

 运行\admin\bin下的admin.bat文件即可  

2.6验证是否启动成功

Linux部署验证启动是否成功:

 [hadoop@mini4 bin]$ jps
24931 AdminApplication  

window部署验证启动是否成功:

 09:10:58.619 admin [main] INFO  c.l.a.AdminApplication - Access URLs:
----------------------------------------------------------

        Local-API:              
        External-API:   
        web-URL:                
        ----------------------------------------------------------

09:11:01.001 admin [web, admin JobScheduleHelper#scheduleThread] INFO  c.l.a.c.t.JobScheduleHelper - >>>>>>>>> init web admin scheduler success.  

2.7访问首页

启动成功后打开页面(默认管理员用户名:admin 密码:123456) http://{ip}:8080/index.html#/dashboard

应用领域

智慧校园 、智慧交通 、智慧金融 、智慧农业、智慧医疗、智慧政务 等多个大数据领域

如果你想要源码,请记得转发+关注+私信

私信回复【 一站式大数据中台

文章来源:智云一二三科技

文章标题:Java一站式开源的数据中台,适合中小企业的大数据解决方案附源码

文章地址:https://www.zhihuclub.com/175958.shtml

关于作者: 智云科技

热门文章

网站地图