This commit is contained in:
Jane
2023-12-22 10:59:10 +08:00
parent 751c43e199
commit d1ede2d4aa
2774 changed files with 291509 additions and 0 deletions

0
document/.gitkeep Normal file
View File

View File

@@ -0,0 +1,23 @@
# .readthedocs.yaml
# Read the Docs configuration file
# See https://docs.readthedocs.io/en/stable/config-file/v2.html for details
# Required
version: 2
# Set the version of Python and other tools you might need
build:
os: ubuntu-22.04
tools:
python: "3.7"
# Build documentation in the docs/ directory with Sphinx
sphinx:
builder: html
configuration: document/source/conf.py
# We recommend specifying your dependencies to enable reproducible builds:
# https://docs.readthedocs.io/en/stable/guides/reproducible-builds.html
python:
install:
- requirements: document/source/requirements.txt

20
document/Makefile Normal file
View File

@@ -0,0 +1,20 @@
# Minimal makefile for Sphinx documentation
#
# You can set these variables from the command line, and also
# from the environment for the first two.
SPHINXOPTS ?=
SPHINXBUILD ?= sphinx-build
SOURCEDIR = source
BUILDDIR = build
# Put it first so that "make" without argument is like "make help".
help:
@$(SPHINXBUILD) -M help "$(SOURCEDIR)" "$(BUILDDIR)" $(SPHINXOPTS) $(O)
.PHONY: help Makefile
# Catch-all target: route all unknown targets to Sphinx using the new
# "make mode" option. $(O) is meant as a shortcut for $(SPHINXOPTS).
%: Makefile
@$(SPHINXBUILD) -M $@ "$(SOURCEDIR)" "$(BUILDDIR)" $(SPHINXOPTS) $(O)

32
document/README.md Normal file
View File

@@ -0,0 +1,32 @@
# Document For AllData
## build document
> 1 pip3 install -U Sphinx
>
> 2 install dependency
>
```markdown
pip3 install sphinx-autobuild
pip3 install sphinx_rtd_theme
pip3 install --upgrade myst-parser
pip3 install sphinx_markdown_tables
```
> 3 配置mac(mac单独配置)
```markdown
echo 'export HOMEBREW_BOTTLE_DOMAIN=https://mirrors.tuna.tsinghua.edu.cn/homebrew-bottles' >> ~/.bash_profile
source ~/.bash_profile
```
> 4 brew install sphinx-doc
>
> 5 echo 'export PATH="/opt/homebrew/opt/sphinx-doc/libexec/bin:$PATH"' >> ~/.zshrc
>
> 6 sphinx-build --version 查看version
>
> 7 python3.10 -m pip install --upgrade pip
>
> 8 pip3 install --upgrade myst-parser && pip3 install sphinxawesome_theme
>
> 9 make html
>
> 10 双击访问本地alldata/document/build/html/index.html
>

35
document/make.bat Normal file
View File

@@ -0,0 +1,35 @@
@ECHO OFF
pushd %~dp0
REM Command file for Sphinx documentation
if "%SPHINXBUILD%" == "" (
set SPHINXBUILD=sphinx-build
)
set SOURCEDIR=source
set BUILDDIR=build
%SPHINXBUILD% >NUL 2>NUL
if errorlevel 9009 (
echo.
echo.The 'sphinx-build' command was not found. Make sure you have Sphinx
echo.installed, then set the SPHINXBUILD environment variable to point
echo.to the full path of the 'sphinx-build' executable. Alternatively you
echo.may add the Sphinx directory to PATH.
echo.
echo.If you don't have Sphinx installed, grab it from
echo.https://www.sphinx-doc.org/
exit /b 1
)
if "%1" == "" goto help
%SPHINXBUILD% -M %1 %SOURCEDIR% %BUILDDIR% %SPHINXOPTS% %O%
goto end
:help
%SPHINXBUILD% -M help %SOURCEDIR% %BUILDDIR% %SPHINXOPTS% %O%
:end
popd

336
document/source/README.md Normal file
View File

@@ -0,0 +1,336 @@
# 可定义数据中台
## [官方文档](https://alldata.readthedocs.io/) [安装文档](https://github.com/alldatacenter/alldata/blob/master/install.md)
## 一、AllData体验版
> 体验版地址Test账号只有数据质量体验更多功能可选参加会员通道
>
> 成为会员享受会员权益详情查看Github主页文档
>
> 地址http://122.51.43.143/dashboard
>
> 账号test/123456
## 二、 官方网站
> 官方文档https://alldata.readthedocs.io
>
> 部署教程https://github.com/alldatacenter/alldata/blob/master/install.md
>
> 教程文档https://github.com/alldatacenter/alldata/blob/master/dts_quickstart.md
> 教程文档2: https://github.com/alldatacenter/alldata/blob/master/bi_quickstart.md
## 三、会员通道-商业版【可选参加】
> 【腾讯文档】2023-大数据中台AllData会员通道
>
> https://docs.qq.com/sheet/DVFd6WXJLUHJ3eEZ1
## github
[![Stargazers over time](https://starchart.cc/alldatacenter/alldata.svg)](https://starchart.cc/alldatacenter/alldata)
<br/>
<a href="https://github.com/alldatacenter/github-readme-stats">
<img width="1215" align="center" src="https://github-readme-stats.vercel.app/api/pin/?username=alldatacenter&repo=alldata" />
</a>
## 体验版
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/204965509-fc13050b-ebe8-4bd5-8882-69e1af0a8367.png">
<br/>
## 可定义数据中台
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/235920344-fbf3c9d2-6239-4c73-aa9c-77a72773780e.png">
<br/>
## 首页
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227456470-6fd4e3c8-e5b7-48f9-bf3a-83975f78654c.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227456480-d23d6df9-65f0-45f8-8d02-b1a448fcf0cc.png">
<br/>
## 数据集成
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/206071504-c0e2b3ca-e3c2-4d70-8213-55c7316465ff.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/206071513-61997f31-12c4-464b-897d-bb60f0095ee9.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/206071519-35651c39-38c9-4746-ba18-c110a672e48f.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/206071527-d2af118c-ea4e-49f7-8435-c2b9ab8039cc.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/206071530-408d3001-0596-440c-93da-60d50aaacebe.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/206071537-4c0c2b38-dbfa-46a1-850e-4b73d5ca4236.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/206071539-f6b95712-4a32-481c-b719-f56c7542888c.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/206071544-43c5136d-091d-4602-b6de-ef528f39095c.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/206071554-1bc698f3-41d4-4fc5-ac74-a419ffede30e.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/206071565-1634a747-0f60-4dcd-a294-90d80d59cdc7.png">
<br/>
## 数据质量
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227457313-aac5a92e-3780-4b81-99f3-de6ea1b32f79.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227457303-9272dd14-6602-4f32-ab26-ea2c4b9e7c55.png">
<br/>
## 数据标准
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227457469-8183b633-ace2-48ed-91ac-9d1c114e7e67.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227457478-8ddf5083-5bad-4b27-90b9-14bebf7615f6.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227457492-9c90f9a6-2a56-47ce-9042-00e2c5c662ec.png">
<br/>
## 元数据管理
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227456662-be27764e-f2a1-46a1-97fb-4689a93a42a9.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227456676-9c66e22b-393c-4757-a22f-2aa1604bef51.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227456683-36436d97-76fc-4a0d-b4b7-e0090a6a2575.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227456694-06a042cf-cad6-4bf5-ae41-8f1fad46c642.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227456700-76a54b9f-e806-4ca7-b1d3-d0a9fa383de1.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227456710-c004ac4a-5f67-45f2-9cbf-67b855a55c34.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227456722-4f468872-2ada-4ad8-a56e-69c63f9b7e31.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227456740-12c5298d-c72f-46ec-88ec-c680efbb592f.png">
<br/>
## 数据资产
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227457692-c9c1a763-b0e5-4afe-abe7-623203ab6231.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227457706-872b49b5-9ec5-4ad3-beb1-535fbd88dde3.png">
<br/>
## 数据市场
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227457844-e1a3ebbe-5a7c-43c4-8317-2bf066c5deed.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227457858-37307d6b-41a1-4475-8d69-d7bcc38f6f10.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227457862-415bdb7f-784e-4db9-9e54-eb83ea7a581f.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227457872-6cbb24e0-82e1-47de-b3f8-200cdb47b90f.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227457882-77fc873b-c340-47f1-b41c-9b2d5e73ff4d.png">
<br/>
## 数据比对
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/234816803-ca89bdd2-bce6-499d-8dbf-0522ed07ba86.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/234816815-89864618-f786-47ff-ae31-4fd8c662130b.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/234816833-7bf1202b-9a9a-48cd-9523-d329ad92cf69.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/234816849-5563f3c1-32f3-4ab8-ae1a-7919c65fd656.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/234816860-72f06760-94cd-497f-a623-7bb378d8077f.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/234816915-d45771bb-de17-4e3c-88ae-183d1aa28a1b.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/234817116-dc4bca8e-e8ac-4efa-a2a0-d91ce9eb56e8.png">
<br/>
## BI报表
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227458114-48ab43b4-437d-4b7e-9eb3-d49b1da1b762.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227458126-d5367210-fd82-4190-bf71-b99c6fc3176e.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227458133-39ad2515-4447-4f6d-a9c7-e353d70c628d.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227458143-5c771b96-6888-48e1-9e1c-265efee62b30.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227458149-b658b9ea-c6df-4a7d-884c-d02f42aadb3e.png">
<br/>
## 流程编排
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227458401-9244442e-c66d-4ebe-8a81-e989bedb1415.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227458415-ec02039f-73d0-4513-b613-5aa931c9b294.png">
<br/>
## 系统监控
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227458501-7493df22-026b-402d-80dd-03c4b9bd8224.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227458517-45eb4fd4-ccc1-4a37-8a0d-4403301bbc55.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227458525-639b90bf-ffc3-439e-ba74-b9e9ce2f1323.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227458535-2fea5b2c-b478-4192-a303-f377de0cd9b1.png">
<br/>
## 运维管理
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227458729-f6517a7e-ad37-4ce1-94d8-e2a2b41de7b9.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227458745-5455a74e-706a-4498-af4a-39454f743cd6.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227458756-9db88ca2-848d-4461-a4da-5ca149288779.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227458765-f6be2c35-d870-4952-a79c-bb26ebaac6e7.png">
<br/>
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/227458778-4f2e1b46-d532-4411-b104-8288fcb97ad7.png">
<br/>
## AllData AI Studio 社区版
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/211255550-2d58eb94-42ce-411c-9487-9f2e499e565a.png">
<br/>
## AllData Studio 社区版
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/210299541-b9f4d344-30ba-4fc9-a083-390129f7da1e.png">
<br/>
## AllData社区商业计划图
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188898972-d78bcbb6-eb30-420d-b5e1-7168aa340555.png">
<br/>
## AllData社区项目业务流程图
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188899006-aba25703-f8fa-42b6-b59f-2573ee2b27fc.png">
<br/>
## AllData社区项目树状图
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188898939-bfba6cbc-c7b0-40c4-becd-27152d5daa90.png">
<br/>
## 全站式AllData产品路线图
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/179927878-ff9c487e-0d30-49d5-bc88-6482646d90a8.png">
<br/>
## AllData社区开发规划
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/188899033-948583a4-841b-4233-ad61-bbc45c936ca1.png">
<br/>
### 数据中台建设方法论
> 确定数据中台的目标和范围: 在开始构建数据中台之前, 需要明确数据中台的目标和范围, 例如数据中台的主要功能, 应用场景, 覆盖范围等
>
> 收集数据源: 根据定义的目标和范围, 收集相关的数据源这些数据源可以包括内部和外部的结构化和非结构化数据, 实时数据, 历史数据等
>
> 数据预处理: 对收集到的数据进行预处理, 包括数据清洗, 归一化, 去重, 脱敏等操作, 以确保数据的准确性, 一致性和安全性
>
> 数据建模和集成: 对预处理的数据进行建模和集成, 包括定义数据模型, 设计数据流程, 数据映射和转换等操作, 以确保数据的结构和语义一致性
>
> 数据存储和管理: 将集成的数据存储在数据仓库或数据湖中, 并实现数据的管理, 备份和恢复
>
> 数据治理和质量管理: 实现数据质量监控, 数据血缘追溯, 数据安全保障, 合规性检查等数据治理和质量管理功能, 以保证数据的高质量和可信性
>
> 数据分析和应用: 基于数据中台, 实现数据分析和应用, 如数据挖掘, 数据可视化, 机器学习等, 以提高数据的价值和应用效果
>
> 持续优化和创新: 数据中台的建设是一个持续迭代的过程, 需要不断进行优化和创新, 以适应不断变化的数据需求和业务场景
>
> 需要注意的是, 数据中台建设需要依赖于先进的技术和方法, 如云计算, 大数据, 人工智能, 数据湖等
>
> 同时, 数据中台建设还需要依赖于跨部门的协同和配合, 以确保数据的一致性和可用性
## 数字化转型
>
> 数字化转型是指将传统企业在信息化, 网络化, 智能化, 数据化等技术的支撑下, 对业务, 组织, 文化, 价值创造, 利益分配等方面进行全面的革新和升级,
>
> 以适应市场, 技术, 用户等环境的变化数字化转型的目标是实现企业从传统生产经营方式向数字化经营模式的转变, 提高企业的效率, 创新能力, 市场竞争力和盈利能力
>
> 数字化转型方法论可以概括为以下几个方面:
>
> 确定数字化转型的战略目标和方向, 明确数字化转型的意义和价值, 为数字化转型的实施提供方向和支撑
>
> 分析业务过程, 识别业务痛点和机会, 确定数字化转型的重点领域和项目, 以提高效率, 创新能力和用户体验为导向
>
> 优化组织结构和流程, 建立数字化组织架构和工作流程, 激发组织创新和员工动力, 提高业务效率和创新能力
>
> 采用先进的信息技术和数据技术, 例如云计算, 大数据, 人工智能, 物联网等, 为数字化转型提供技术支持
>
> 建立数字化文化, 通过数字化营销, 数字化服务, 数字化协同等方式, 提升品牌价值, 用户满意度和市场影响力
>
> 实施数字化监管, 建立数字化安全, 合规和风险控制体系, 确保数字化转型的合法性, 合规性和可持续性
>
> 数字化转型是一个复杂的过程, 需要综合运用战略, 组织, 技术, 文化, 监管等多方面的手段和方法, 才能取得成功
## Architecture
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/171598215-0914f665-9950-476c-97ff-e7e07aa10eaf.png">
<br/>
<img width="1215" alt="image" src="https://user-images.githubusercontent.com/20246692/171598333-d14ff53f-3af3-481c-9f60-4f891a535b5c.png">
<br/>
## Community
> 加入微信群: https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo

28
document/source/conf.py Normal file
View File

@@ -0,0 +1,28 @@
# Configuration file for the Sphinx documentation builder.
#
# For the full list of built-in configuration values, see the documentation:
# https://www.sphinx-doc.org/en/master/usage/configuration.html
# -- Project information -----------------------------------------------------
# https://www.sphinx-doc.org/en/master/usage/configuration.html#project-information
project = 'AllData'
copyright = '2023, AllDataDC'
author = 'AllDataDC'
release = '0.4.x'
# -- General configuration ---------------------------------------------------
# https://www.sphinx-doc.org/en/master/usage/configuration.html#general-configuration
extensions = ['myst_parser']
templates_path = ['_templates']
exclude_patterns = []
language = 'zh_CN'
# -- Options for HTML output -------------------------------------------------
# https://www.sphinx-doc.org/en/master/usage/configuration.html#options-for-html-output
html_theme = 'sphinxawesome_theme'
html_static_path = ['_static']

View File

@@ -0,0 +1,24 @@
# 会员通道
## 一、AllData体验版
> 体验版地址Test账号只有数据质量体验更多功能可选参加会员通道
>
> 成为会员享受会员权益详情查看Github主页文档
>
> 地址http://122.51.43.143/dashboard
>
> 账号test/123456
## 二、 官方网站
> 官方文档https://alldata.readthedocs.io
>
> 部署教程https://github.com/alldatacenter/alldata/blob/master/install.md
>
> 教程文档https://github.com/alldatacenter/alldata/blob/master/studio/modules/service-data-dts-parent/DTS_QuickStart.md
## 三、会员通道-商业版【可选参加】
> 【腾讯文档】2023-大数据中台AllData会员通道
>
> https://docs.qq.com/sheet/DVFd6WXJLUHJ3eEZ1

View File

@@ -0,0 +1,7 @@
募捐活动
=================================
.. toctree::
:maxdepth: 2
README

16
document/source/index.rst Normal file
View File

@@ -0,0 +1,16 @@
.. alldata documentation master file, created by
sphinx-quickstart on Wed Jan 11 16:02:11 2023.
You can adapt this file completely to your liking, but it should at least
contain the root `toctree` directive.
可定义数据中台
===================================
.. toctree::
:maxdepth: 1
README
quickstart/index
studio/index
wiki/index
donate/index

View File

@@ -0,0 +1,7 @@
快速上手
=================================
.. toctree::
:maxdepth: 2
../README

View File

@@ -0,0 +1,6 @@
sphinxawesome-theme==3.3.7
urllib3==1.26.15
sphinx==5.3.0
sphinx_rtd_theme==1.1.1
readthedocs-sphinx-search==0.1.1
myst-parser==1.0.0

View File

@@ -0,0 +1,7 @@
数据中台
=================================
.. toctree::
:maxdepth: 2
../README

View File

View File

View File

@@ -0,0 +1,146 @@
# 2023年度社区分享
```markdown
AllData开源社区 ✖️ Datavines ✖️ 跑象科技 Meetup
主要介绍AllData产品的技术及其应用场景
同时我们会邀请业内同行做嘉宾分享,让参与者有机会与嘉宾和其他社区成员互动。
后续我们会继续分享AllData数字化上游生态和下游支撑平台的专题分享。
```
## 01 分享嘉宾介绍
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/ccf3deb0-fe5e-4384-bf92-a0d8b1416e5f">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/36547083-18bf-4af0-9f26-b939c1699296">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/7b89e6bb-7c46-408e-a308-50e307f0cbc8">
<br/>
## 02 AllData分享
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/32e793dc-7d17-466f-b6aa-7aa23367484c">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/acdc09aa-d704-472e-86d5-892e5e1474ed">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/16d9add0-d772-4785-a671-3c1e9c5f4b2f">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/1bb0cc1d-8ad1-4239-acac-8b59eab1824a">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/1f98910b-a672-4ee0-a277-db68dec5161a">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/4c1b82d3-3582-4896-b0eb-b450ad74cb77">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/0afafffe-49cd-44dc-a4bd-f65296db68d8">
<br/>
## 03 Datavines分享
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/868a41df-87c5-4fd5-a6c5-add7c2797b0f">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/70baf309-519d-42b4-a14e-cb8df7be29ee">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/23fb0238-94f6-4f7d-985d-048d6c182580">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/8243a579-4d6a-414e-94ea-4fbf6493282c">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/a951f8e8-18a5-4c1a-bc18-26c40de8e2d9">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/044cd7aa-b82c-4556-9ecc-715c28a9ed2d">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/a04eae39-f932-4dfd-8c9e-1983ee977fa6">
<br/>
## 04 Datart分享
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/aed13016-9991-4a0a-96c5-d584e055a2e0">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/f3f8e701-68e6-420b-bc0b-cd6e676ccd08">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/19e1bc0a-ccb9-4958-a94a-bb714d0f4f5b">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/deace393-1a88-41f7-91ea-691f5c908780">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/15fcd3fc-eb5f-4df7-9755-dd195e9e2349">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/7eee3cb7-dfc3-4b7f-91a6-dad5cf901aa5">
<br/>
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/108bd71f-412a-44ec-af46-0daf93414fa6">
<br/>
## 05 Apache StreamPark作者分享
<br/>
<img width="1215" alt="image" src="https://github.com/alldatacenter/alldata/assets/20246692/b6f6a95d-a56b-4f0f-adf7-705c23a7056b">
<br/>
```markdown
StreamPark作者王华杰给AllData社区带来了较多问题较多的分享
问题一:如何建设一款社区&&商业成功的开源平台
回答:从可用版本,到好用版本,到可规模化,真正解决客户场景的问题,让客户用在实际场景。
问题二如何用一句话定义AllData
回答:一站式的数据中台,提供能力开放的数据中台。
问题三有没有哪一块是AllData的核心优势能在客户选型阶段必定会拿出来对比竞争的核心功能比较拔尖出类拔萃的功能
回答AllData社区目前的功能正在集成阶段后续会出更多贯穿场景的闭环功能。
```

View File

@@ -0,0 +1,7 @@
alldata
=================================
.. toctree::
:maxdepth: 2
README

View File

View File

@@ -0,0 +1,93 @@
# AllData社区与Dinky社区分享
### AllData社区发起人邀请Dinky的作者文末aiwenmo对AllData社区建设进行分享和宝贵建议
### Dlink为Apache Flink而生让Flink SQL尽享丝般顺滑致力于实时计算平台的构建
### Dinky项目https://github.com/DataLinkDC/dlink
### AllData项目https://github.com/alldatacenter/alldata
### 感谢社区成员@yg9538的会议纪要
- **第一:如何激发社区对用户来参与到项目的建设,一起推动项目的发展?**
- **第二:完成整个项目的基本功能路线,流程是如何的?**
**我首先回答第二个问题。首先AllData用到的技术栈包括我们所设想的整个流程是非常全面丰富的。但然凡事都是有利有弊的技术栈的全面会导致各个技术功能点实现复杂度增高。**
### 2.1 最小MVP
**对于第一个问题其实跟第二个问题是非常有关系的。当我们具备了一个可使用的一个MVP最小可行性产品时候用户将产品用在测试或者生产实践将会给项目带来极大的益处**
**最大的好处是用户将会主动参与到我们那个项目的推动中。比如说项目的在实践中进行的测试和提出的ISSUE作为项目经验必不可少其次用户在实际生产中遇到的二开需求对于我们整个项目提升也是有极大的帮助。**
### 2.2 门户与KM知识库
**当然就是除了有一个最小可行性产品门户和知识库也必不可少,门户可以对整个项目进行一个详细的介绍。比如我们要进行部署的话我们可以进行搜索,百度上也会提供许多文档。但是百度的文档质量参差不齐,非常影响用户的体验。**
**我看到AllData有提到三个概念我是非常赞同的**
- **重设计**
- **轻编码**
- **中度测试**
**对于社区来说,我们可以总结自己的经验形成文档放在社区中。**
### 2.3 用户分类
**然后第三点,因为项目前期用户是较少,在前期用户对项目的发展至关重要。这就不仅需我们仔细的聆听用户的需求,用户的反馈,还要积极的为用户来进行解答,一般用户会划分为两大类:**
- **有完整的技术经验——较少数**
- **无完整的技术经验——占多数**
**第一种用户是自身具备一定的技术栈,一定的能力。**
**第二种用户是作为项目经理或技术他引入该开源项目来作为解决方案的**
**门户网站和知识库至关重要,它可以帮助客户进行部署。所以问题点就是如何教导用户会用我们的产品。**
### 2.4 工作推动
**然后,就是进行一个分工推这方面。如果作为一个领导者要去领导我们的协作者去完成一件事情的时候,首先要达到一个统一的共识才可以,然后如何如何来达到这个统一的共识呢**
#### 2.4.1 获得认可
**首先就得需要认可你的方案**,认可你的思路。
#### 2.4.2 产品定位
**就是说你不要让用户上生产的时候就把你所有的功能都要上去,而是可以用你几块核心功能就可以完成一个产品。**
### 2.5 技术选型
#### 2.5.1 大数据平台选型
基于这些平台你可以独立完整的跑起一个MVP。这样不仅仅能享受到社区福利也可以获得用户的认可
#### 2.5.2 MLOPS平台选型
#### 2.5.3 CI/CD
**CI/CD那一块我认为就比较独立了。这些也是有现成的项目然后我们要做的其实就是调研好现成的项目。然后把它集成进来。**
### 2.6 需求场景
**我个人对AllData的定位是一个把很多开源的项目平台统一管理、集成起来提供一个能力开放的平台**
#### 2.6.1 定义场景
**一般离线开发都是需要开发需求。**
### 2.7 其他要求
#### 2.7.1 文档要求
**第一,文档永远没有交流重要,文档的规范可以放松,但是交流是最主要的。**
#### 2.7.2 设计逻辑
**第二就是设计。先是高层级设计,再是具体细节设计。**
**这具体如何实现呢例如我们如何去把数据开发平台、调度平台、管理平台关联首先就需要把他们打通作为一个底层Base先把他们真正的打通起来。然后让他们可以再以流一个流程化的方式来跑起来。**
**建议总结:**
- **压缩技术栈**
- **理念转变为团队思想**
- **多于其他社区沟通,达到互帮互助引流的效果**

View File

@@ -0,0 +1,7 @@
dinky
=================================
.. toctree::
:maxdepth: 2
README

Binary file not shown.

After

Width:  |  Height:  |  Size: 107 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 202 KiB

View File

@@ -0,0 +1,48 @@
# PLATFORM FOR BDP 科学护城河
# Version1
```markdown
1、美团Logan埋点
2、采集中心代码编写
3、维护kafka集群
4、日志消费系统
5、爬虫采集系统
6、ETL清洗入ES, HBase
7、电商分析
8、上线demo
```
# Version2
```markdown
1、BUSINESS FOR ALL DATA PLATFORM 商业项目
2、BUSINESS FOR ALL DATA PLATFORM 计算引擎
3、DEVOPS FOR ALL DATA PLATFORM 运维引擎
4、DATA GOVERN FOR ALL DATA PLATFORM 数据治理引擎
5、DATA Integrate FOR ALL DATA PLATFORM 数据集成引擎
6、AI FOR ALL DATA PLATFORM 人工智能引擎
7、DATA ODS FOR ALL DATA PLATFORM 数据采集引擎
8、OLAP FOR ALL DATA PLATFORM OLAP查询引擎
9、OPTIMIZE FOR ALL DATA PLATFORM 性能优化引擎
10、DATABASES FOR ALL DATA PLATFORM 分布式存储引擎
```

Binary file not shown.

After

Width:  |  Height:  |  Size: 95 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 202 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 138 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 475 KiB

View File

@@ -0,0 +1,59 @@
# 未来规划
## 1、 AllData总述
>
> 一个基础平台基于Docker拉起20+种开源组件的启停,第二个是数据平台的产品
>
## 2、组件维护与升级
>
> 由于Apache很多开源项目发展节奏较快目前暂时没有很好的版本切换的能力维护不同组件的版本比较困难
>
## 3、定期升级维护最新的组件版本
>
> 并对已进行二次开发的组件进行适配升级到组件新版本,保证平滑兼容升级
>
## 4、apache社区组件版本
>
> DataSphereStudio: 1.1.0
>
> docker: 3.0.0.0-SNAPSHOT
>
> Dolphinscheduler: 3.0.0
>
> Atlas: 3.0.0-SNAPSHOT
>
> Griffin: 0.7.0-SNAPSHOT
>
> Kong: 3.0.0
>
> Flinkcdc: 2.3 RELEASE
>
> Flinkx: 1.12-SNAPSHOT
>
> Kylin: 4.0.2
>
> Presto: 0.276.2
>
> Hudi: v0.12.0
>
> Iceberg: v0.13.1
>
> Dlink: 0.6.7
>
> Linkis: 1.2.0
>
> Streamis: 0.2.0
>
> Doris: 1.0-SNAPSHOT
>
> DataX: X-version
>
> Backend: v1.2-SNAPSHOT
>
> Rancher: 2.6.7
>
> SREWorks: X-version
>
> Cube-Studio: X-version
>
> GraphScope: 0.17.0

Binary file not shown.

After

Width:  |  Height:  |  Size: 389 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 278 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 87 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 230 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 63 KiB

View File

@@ -0,0 +1,7 @@
evolution
=================================
.. toctree::
:maxdepth: 2
README

View File

@@ -0,0 +1,3 @@
# Hudi性能测试报告
> https://docs.qq.com/doc/DVFlVUExWd3Jva2ZK

View File

@@ -0,0 +1,7 @@
hudi
=================================
.. toctree::
:maxdepth: 2
README

View File

@@ -0,0 +1,10 @@
社区分享
=================================
.. toctree::
:maxdepth: 2
alldata/index
dinky/index
hudi/index
evolution/index