DataShops是什么

DataShops – 数据工厂是一个企业级PaaS平台，为企业提供工作流调度、数据开发、数据集成和数据服务等全方位的产品服务，一站式开发管理的界面，降低大数据开发和维护成本，帮助企业专注于数据价值的挖掘和探索

演示地址

演示地址

功能

• 全面托管的调度
  • DataShops提供强大的调度功能
    • 支持根据时间、依赖关系，进行任务触发的机制
    • 支持每日千万级别的任务，根据DAG关系准确、准时地运行。
    • 支持分钟、小时、天、周和月多种调度周期。
  • 完全托管的服务，无需关心调度的服务器资源问题。
  • 提供隔离功能，确保不同租户之间的任务不会相互影响。
• DataShops支持多种任务类型
  • 离线作业
    • Hive
    • Spark
    • Flink
    • Shell
    • Python
    • ClickHouse
  • 流式作业
    • Flink SQL
    • Kafka -> HDFS
    • Kafka -> Hive
  • 数据导入
    • Hive -> MySQL
    • MySQL -> Hive
• 可视化开发
  • DataShops提供可视化的代码开发、工作流设计器页面，无需搭配任何开发工具，简单拖拽和开发，即可完成复杂的数据分析任务
• 监控告警
  • 运维中心提供可视化的任务监控管理工具，支持以DAG图的形式展示任务运行时的全局情况，
  • 您可以方便地配置各类报警方式，任务发生错误可及时通知相关人员，保证业务正常运行。

架构设计

DataShops是一个分布式系统，分为master、worker、api三大组件，内部通过grpc通信，多个master做load balance

github开源地址：GitHub – NextMark/datashops: A distributed data factory, providing data access, etl, scheduling. Easily manage tasks such as hive, spark, clickhouse, flink, shell, python, mysql etc.

模板简介

1、开源免费有注释，代码随意修改，愿意的话留个友链就行。
2、响应式布局，支持移动端，ipad，ipad pro，mac等等，大部分设备全部已适配
3、功能极强，插件有的功能，主题有，插件没有的功能主题也有，无需下载任何插件
4、主题设置及其丰富，主题设置有几十项设置。自定义极强，无需修改源码
5、主题功能丰富的同时，代码极其简洁，主题毫秒级响应
6、主题自带画图回复与强大的无需采集视频模板，typecho首发功能！
7、SEO优化，主题自带百度收录推送，无需你每天干巴巴的去站长那儿推送

作者官网：https://ae.js.cn/

联系方式

QQ：2323333339
微信：T83692
QQ群：966245514

需要最新版可进群下载

或选择此链接下载typecho_joe_theme CDN by jsDelivr – A CDN for npm and GitHub

佰阅发卡KAMIFAKA是由佰阅开发一款开源免费发卡系统，从初稿设计到代码实现，不仅强迫自己在实践中学习VUE3.0，同时也在检测自己应对较复杂程序的全栈开发能力。本系统的诞生尤其要感谢VUE3简单语法，让前端页面逻辑交互得以按所思所想来实现，同时操作体验非常流畅。

0. 最终效果

项目开源地址： https://github.com/Baiyuetribe/kamiFaka

Pc端动态效果：

管理员界面：

1. 功能特色

• Stisla UI：web界面很漂亮
• 前端使用VUE3.0,页面响应迅速
• 已集成支付宝当面付、码支付、Payjs、虎皮椒支付宝、虎皮椒微信
• 普通用户支持邮箱、短信接收消息
• 管理员支持邮箱、短信、TG、微信通知
• 支持批量导入卡密
• 商品可上下架，卡密可设置一次性或长期有效
• 支持自定义背景、logo

2. 关于安装

2.1 正式环境(线上模式)

操作系统推荐：Centos7、Debian9+、Ubantu18+
第一步：安装好环境
推荐宝塔+Docker环境，已安装的可忽略。

1. # 安装宝塔
2. yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh

然后安装Docker环境

1. # 该脚本适用于Centos7、Debian9+、Ubantu18+等
2. echo y | bash <(curl -L -s https://raw.githubusercontent.com/Baiyuetribe/codes/master/docker.sh)

第二步：程序部署

1. docker run -itd --name kamifaka -p 8000:8000 --restart always baiyuetribe/kamifaka

然后通过ip地址加上端口号8000即可访问，后台加上/admin，默认管理员账号admin@qq.com,密码：123456。

第三步：域名访问设置
宝塔面板新建网站，然后打开网站设置，设置域名反代。

之后就可以通过域名正常访问了。

如果机器在国内，可以使用阿里云镜像安装。国内机器第二步操作脚本如下：

1. docker run -itd --name kamifaka -p 8000:8000 --restart always registry.cn-hangzhou.aliyuncs.com/baiyuetribe/kamifaka

2.2 本地测试(体验模式)

可以搜索win10系统安装Docker，或Mac系统安装Docker，安装过程类似普通的程序安装，默认安装就行。
然后打开终端工具，比如Windows系统的CMD，然后输入：

1. docker run -itd --name kamifaka -p 8000:8000 --restart always registry.cn-hangzhou.aliyuncs.com/baiyuetribe/kamifaka

3. 其他命令

1. # 卸载容器和本地镜像
2. docker rm -f kamifaka && docker rmi -f baiyuetribe/kamifaka

开源本项目，初衷是2021年GitHub评级能到达A++，同时也激励自己学习vue3,全面挑战下全栈开发的能力。如果使用过程中由任何问题，欢迎积极反馈，项目BUG反馈Q群：853791822

4. 项目主要依赖

• 前端UI：Stisla –> https://github.com/stisla/stisla
• 前端交互程序：vue3.0 –> https://github.com/vuejs/vue-next
• 后端：Flask –> https://github.com/pallets/flask
• 管理员接口：Flask-JWT –> https://flask-jwt-extended.readthedocs.io/en/stable/

5. 个人开发感受

本项目构思仅用了2h写完数据库、前端、后端概念设计，然后用了一周时间完善了前端UI设计和后台主要的业务逻辑功能，之后在用了一周时间完成了前后端动态交互，最后经过一小部分粉丝的积极内测，诸多BUG或小问题均已修复。从整个流程而言，初期的概念设计比较完善，所以后端代码基本不费时间，也可能是Python语法用的越来越顺手，但是整个项目主要的时间都花在前端UI及动态交互上，主要原因是对VUE3不熟练，玩不转的时候感觉程序在折腾人，玩得转的时候，感觉VUE3真的是非常高效。也许这就是程序的魅力，入门前各种困难，入门后感觉如履平地。后面笔者将持续维护该项目，更多细节操作文档正在书写中。

小说精品屋-plus v3.0.2发布了，主要改进包括：

更新

1. 手机端UI样式优化。

2.手机端阅读主题bug修复。

演示地址：http://47.106.243.172:8888/

小说精品屋介绍

小说精品屋是一个多平台（web、安卓app、微信小程序）、功能完善的屏幕自适应小说漫画连载系统，包含精品小说专区、轻小说专区和漫画专区。包括小说/漫画分类、小说/漫画搜索、小说/漫画排行、完本小说/漫画、小说/漫画评分、小说/漫画在线阅读、小说/漫画书架、小说/漫画阅读记录、小说TXT下载、小说弹幕、小说/漫画自动采集/更新/纠错、小说内容自动分享到WB、邮件自动推广、链接自动推送到百度搜索引擎等功能。

通用文档(适合所有人)：https://github.com/201206030/fiction_house/blob/develop/README.md

源码安装文档（适合有一定技术基础的人）：https://my.oschina.net/java2nb/blog/3145593

包安装文档（适合非技术人员）：https://my.oschina.net/java2nb/blog/3146627

宝塔安装教程：https://www.daniao.org/7822.html

Github地址：https://github.com/201206030/fiction_house

PS：开源不易，喜欢此项目的可以给作者的GitHub加个Star支持一下 。

小说精品屋plus介绍

小说精品屋-plus是在小说精品屋的基础上，去除了漫画和弹幕模块，专注于小说，是一个多端（PC、WAP）阅读、功能完善的原创文学CMS系统，包含了作家专区供原创作者上传小说，支持会员充值、订阅模式和实时统计报表功能。提供了爬虫工具定义规则多线程采集任意小说网站数据作为网站测试小说数据，新书自动入库，老书自动更新。

小说精品屋-plus重新进行了数据库设计、代码重构和功能增强，提升了程序整体的可读性和性能，增加了很多商用特性。

通用文档(适合所有人)：https://github.com/201206030/novel-plus/blob/release_v3.0.1/README.md

包安装教程：https://my.oschina.net/java2nb/blog/4272630

宝塔安装教程：https://www.daniao.org/9166.html

docker安装教程：https://my.oschina.net/java2nb/blog/4271989

Github地址：https://github.com/201206030/novel-plus

PS：开源不易，喜欢此项目的可以给作者的GitHub加个Star支持一下 。

小说精品屋-plus v2.11.0，v3.0.1发布了，主要改进包括：

更新

1. 手机端UI改版。
2.管理后台新增新闻发布模块。

演示地址：http://47.106.243.172:8888/

小说精品屋介绍

小说精品屋是一个多平台（web、安卓app、微信小程序）、功能完善的屏幕自适应小说漫画连载系统，包含精品小说专区、轻小说专区和漫画专区。包括小说/漫画分类、小说/漫画搜索、小说/漫画排行、完本小说/漫画、小说/漫画评分、小说/漫画在线阅读、小说/漫画书架、小说/漫画阅读记录、小说TXT下载、小说弹幕、小说/漫画自动采集/更新/纠错、小说内容自动分享到WB、邮件自动推广、链接自动推送到百度搜索引擎等功能。

通用文档(适合所有人)：https://github.com/201206030/fiction_house/blob/develop/README.md

源码安装文档（适合有一定技术基础的人）：https://my.oschina.net/java2nb/blog/3145593

包安装文档（适合非技术人员）：https://my.oschina.net/java2nb/blog/3146627

宝塔安装教程：https://www.daniao.org/7822.html

Github地址：https://github.com/201206030/fiction_house

PS：开源不易，喜欢此项目的可以给该作者的GitHub加个Star支持一下 。

小说精品屋plus介绍

小说精品屋-plus是在小说精品屋的基础上，去除了漫画和弹幕模块，专注于小说，是一个多端（PC、WAP）阅读、功能完善的原创文学CMS系统，包含了作家专区供原创作者上传小说，支持会员充值、订阅模式和实时统计报表功能。提供了爬虫工具定义规则多线程采集任意小说网站数据作为网站测试小说数据，新书自动入库，老书自动更新。

小说精品屋-plus重新进行了数据库设计、代码重构和功能增强，提升了程序整体的可读性和性能，增加了很多商用特性。

通用文档(适合所有人)：https://github.com/201206030/novel-plus/blob/release_v3.0.1/README.md

包安装教程：https://my.oschina.net/java2nb/blog/4272630

宝塔安装教程：https://www.daniao.org/9166.html

docker安装教程：https://my.oschina.net/java2nb/blog/4271989

Github地址：https://github.com/201206030/novel-plus

PS：开源不易，喜欢此项目的可以给该作者的GitHub加个Star支持一下 。