Apache Atlas为具有数据密集型平台的公司提供基本的元数据管理和数据治理功能，主要为在 Hadoop 集群中使用而设计，但也可与 Hadoop 生态系统之外的工具和进程交换元数据以实现集成。它具有灵活的类型系统来定义和管理元数据对象的模型，能自动对数据资产和数据沿袭信息进行编目，并与 Apache Ranger 数据安全框架集成实现访问控制和数据屏蔽等功能。

896

存储备份（Shield）

Shield：专为保护关键基础设施数据而设计的先进数据保护解决方案，提供一套用于有效地调度存储系统自动备份的工具集，包括 PostgreSQL、MySQL、Consul、Redis 和 MongoDB 等，还支持在众多云提供商中存储备份。是一种用于数据保护和灾难恢复的重要技术解决方案。Shield是开源的。

2024-09-05

845

绘图工具（Mermaid）

Mermaid 是一个用于绘制流程图、时序图、甘特图等的开源工具。它使用类似 Markdown 的语法进行图表描述，可以在网页中直接使用，也可以通过命令行工具生成图像。Mermaid 支持与多种文档平台和代码托管平台集成，如 GitHub、GitLab 等。在项目文档编写、技术博客创作等场景中非常有用。例如，可以在项目的 README 文件中使用 Mermaid 绘制流程图来介绍项目的工作流程，或者在技术博客中使用 Mermaid 绘制时序图来解释复杂的交互过程。同时，由于它可以在网页中直接渲染，用户无需安装额外的软件即可查看图表，方便了知识的分享和传播。

2024-09-05

508

代码生成图表（PlantUML）

PlantUML 是一个可以用简单的文本语言来描述 UML 图表（如类图、时序图、活动图等）的开源工具。它支持多种编程语言的代码嵌入，可以从代码中的注释生成图表，也可以直接在文本描述中引用代码片段。生成的图表可以以多种格式输出，如 PNG、SVG 等。在软件开发过程中，用于快速创建和共享软件设计的可视化表示。例如，开发团队可以使用 PlantUML 来描述系统的类结构、对象之间的交互流程等，方便团队成员之间的沟通和理解。同时，它也可以用于文档生成，将图表直接嵌入到技术文档中，提高文档的可读性和可理解性。

2024-09-04

736

开源备份软件（Bareos）

Bareos是高可靠、跨网络的开源备份软件，可用于基于网络备份、归档和恢复数据，支持多种客户端和存储，提供多种功能特性。一、功能特性 - 支持多种客户端和存储：客户端（“bareos-fd”）可用于 Linux、Windows、macOS、Solaris、HP-UX、AIX、BSD 等操作系统。能满足不同操作系统环境下的备份需求，适应多样化的企业 IT 架构。

2024-09-04

1150

图表绘制软件（Graphviz）

Graphviz 是一个用于绘制图表的开源软件包。它可以根据文本描述的图形结构自动生成图形，非常适合从代码生成各种类型的图表，如流程图、结构图等。可以使用特定的图形描述语言（如 DOT 语言）来描述图形，然后 Graphviz 工具会将其渲染为图像格式（如 PNG、SVG 等）。广泛应用于软件设计、数据库设计、网络架构等领域，帮助开发者可视化复杂的系统结构和流程。例如，在软件架构设计中，可以用 Graphviz 绘制模块之间的依赖关系图，以便更好地理解和沟通系统的整体结构。

2024-09-04

1080

企业级备份（BackupPC）

BackupPC：支持 Linux、Windows 和 macOS 的开源企业级备份系统，提供易于管理的 web 界面，支持重复数据删除以提高存储效率，支持压缩对 CPU 的影响最小。BackupPC 最初是为 Linux 平台设计的备份工具，专注于为 Linux 系统提供高效的备份解决方案，能有效应对 Linux 系统多样的版本和复杂的环境，解决了 Linux 系统备份的难题。

2024-09-03

534

数据可视化工具（DataEase）

DataEase 是一款人人可用的开源数据可视化分析工具。是目前国内比较火的开源数据可视化工具.2021年2月，DataEase 开源项目组成立。近几年DataEase 持续发展，在功能、性能、用户体验等方面不断优化和提升，社区用户不断增长，应用场景也日益广泛，在数据可视化领域的影响力逐渐扩大。其具体发展动态可能需要通过官方渠道、技术论坛、社交媒体等进一步了解。

2024-09-02

678

数据探索工具（Superset）

Superset由 Airbnb 贡献的轻量级 BI 产品，在 Github 上很受欢迎。它提供了 dashboard 和多维分析两大类功能，数据源支持广泛，包括 CSV、MySQL、Oracle、Redshift、Drill、Hive、Impala、Elasticsearch 等多种。其可视化效果好，直接支持几十种图形，还提供图形扩展支持，可对接如 Echarts、AntV、Highcharts、Vx 和 D3 等可视化库。不过，其文档相对简单，功能介绍方面有所缺失，且语义层建模时只能基于单表，多表关联要事先逻辑化成视图再使用。

2024-09-02

560

数据备份工具（BorgBackup）

BorgBackup：提供高效、安全的数据备份，支持压缩、身份验证、加密，具备重复数据删除技术，节省空间，适用于日常备份。BorgBackup是开源的。它遵循BSD许可证。BSD许可证是一种对开发者友好的开源许可证，允许用户自由地使用、修改和分发软件源代码，这使得BorgBackup在开源社区中得到了广泛的应用和发展。

2024-09-02

1185

数据集成工具（云雀Yunque）

Yunque（云雀）：数据集成工具，实现异构数据源的整合，帮助企业构建数据仓库、数据湖等应用架构。其框架设计采用 client 端和 server 端分布式架构，master-slave 的架构模型。master 负责接受用户的请求，通过轮询的方式，将任务转发给 slave 进行数据处理，其中 server 端一个 thread 负责一个 task 进行任务处理。server 端的架构分为 reader、channel、writer 三部分。reader 作为数据源，可以通过实现共同的 reader 接口，以 sql 的方式对数据进行抽取操作；channel 作为队列，可选的队列有默认的 linkedblockingqueue，也可使用 kafka，通过使用 kafka 做到一次写入多次读取；writer 作为目标数据源，可以通过实现共同的 writer 接口，以 sql 的方式对数据进行下沉操作。

2024-09-01

932

备份程序（Restic）

- Restic：支持 Linux、macOS 和 Windows 等操作系统，是一个快速、安全的开源备份程序。Restic最初是由开发者MichaelEischer发起的个人项目。其设计目标是提供一种快速、高效、安全且开源的备份解决方案，以满足不同用户和场景对数据备份的需求。在项目早期，Restic专注于核心功能的开发和完善，包括备份与恢复机制的构建、数据加密算法的选择与实现等。通过不断优化代码和算法，Restic逐渐提高了备份和恢复的速度与效率，同时确保了数据的安全性。

2024-09-01

987

数据集成平台（Streamsets）

Streamsets 是一款企业级的开源数据集成平台。通过拖拽式的可视化界面实现数据管道的设计和定时任务调度，数据源支持 MySQL、Oracle 等结构化和半/非结构化，目标源支持 HDFS、Hive、HBase、Kudu、Solr、Elasticsearch 等。- 2014年：Streamsets由Informatica前首席产品官Girish Pancha和Cloudera前开发团队负责人Arvind Prabhakar创立。他们成立该公司主要是应对来自动态数据（Data in Motion）的挑战，包括数据源、数据处理和数据本身（“数据漂移”问题）。同年推出了第一款产品StreamSets Data Collector（SDC），被数百家公司用于构建复杂的任意数据流，客户涵盖金融服务、制造业、医疗、媒体、制药和技术等多个行业。

2024-09-01

977

数据集成框架（纯钧chunjun）

纯钧（chunjun）是一款稳定、易用、高效、批流一体的开源数据集成框架，目前基于实时计算引擎 Flink 实现多种异构数据源之间的数据同步与计算，已在上千家公司部署且稳定运行。“纯钧”被记载于《越绝书》，书中描述其为越王勾践所藏宝剑，由铸剑大师欧冶子所铸。此剑被形容为 “手振拂，扬其华，淬如芙蓉始出。观其钣，烂如列星之行；观其光，浑浑如水之溢于塘；观其断，岩岩如琐石；观其才，焕焕如冰释。”

2024-08-31

525

分布式数据集成平台（Debezium）

Debezium 是一个开源的分布式平台，主要用于捕获数据库的变更事件，并将这些变更实时地流式传输到其他系统，以实现数据同步、监控和集成等目的。2016 年：Debezium 正式开源，支持 MySQL 数据库的变更捕获，这是其第一个支持的数据库。通过抽取数据库日志来获取变更，实现了对 MySQL 数据的全量读取和增量读取。

2024-08-30

625

开源数据同步中间件（Dbsyncer）

Dbsyncer 是一款开源的数据同步中间件。为用户提供了在多种数据库和数据源之间进行同步的解决方案。 - 支持多种同步场景，包括常见的关系型数据库（如 MySQL、Oracle、SQL Server、PostgreSQL），以及非关系型数据库（如 Elasticsearch）、Kafka、文件等，满足不同场景下的数据同步需求。

2024-08-30

881

MySQL同步工具（Canal）

Canal 是阿里巴巴开源的一款基于数据库增量日志解析，提供增量数据订阅和消费的工具。一、主要功能1. 数据同步 - 可以实时同步 MySQL 数据库的变更数据到其他系统，如数据仓库、搜索引擎、缓存系统等。实现数据的实时备份和多系统间的数据一致性。 Canal 是基于 MySQL 数据库的主从复制原理实现的，通过解析 MySQL 的 binlog 日志来获取数据库的增量变更。

2024-08-30

984

科研绘图软件（Scidavis）

Scidavis是一款免费、开源的跨平台科研绘图软件，主要用于科学数据的分析和可视化。Scidavis开发始于2007年，是qtiplot的分支，而qtiplot则是科研绘图软件Origin的克隆。qtiplot开发于2004年，由Ion Vasilief发起，直到2006年5月Knut Franke和Tilman Hoener zu Siederdissen加入该项目，之后Roger Gadiou正式加入成为主要的文档撰写人。目前，Scidavis在功能上不断完善和增强，支持多种操作系统，如Windows、macOS和Linux等。其界面简洁直观，操作容易上手，且原生支持中文等十几种语言。它可以进行基本的绘图功能，如生成多种类型的2D图（符号/线条、条形、饼图等），支持交互式3D绘图输出，内置多种分析操作，还能广泛支持拟合线性和非线性函数的数据等。并且，它允许用户根据需求对软件进行定制和扩展。

2024-08-29

589

备份软件（Duplicati）

Duplicati是一款免费、开源、跨平台的备份软件。Duplicati最初是作为一个开源项目启动，旨在为用户提供一种免费、灵活且功能强大的备份解决方案。它支持多种操作系统，包括Windows、macOS和Linux，这使得不同平台的用户都能使用它来进行数据备份。随着时间的推移，Duplicati不断添加新的功能和特性。例如，它支持AES-256加密技术，对备份的数据进行加密处理，保障数据的安全性和隐私性；实现了增量备份功能，首次备份时上传完整数据，之后只上传修改过的部分，节省带宽和存储空间；还具备定时任务功能，用户可以设定自动备份计划。Duplicati能够将数据备份到本地硬盘、网络文件服务器，还支持众多云存储服务，如Amazon S3、Google Drive、OneDrive、Dropbox、FTP、SFTP等，以及腾讯云对象存储（COS）等。这大大扩展了用户的备份选择，满足不同用户在各种场景下的备份需求。

2024-08-29

852

异构数据源同步工具（DataX）

DataX 是阿里巴巴集团推出的一款开源的异构数据源离线同步工具。致力于实现包括关系型数据库、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。一、主要功能1. 强大的数据抽取和加载能力 - DataX 可以从各种异构数据源中抽取数据，包括关系型数据库（如 MySQL、Oracle、SQL Server 等）、非关系型数据库（如 MongoDB、HBase 等）、文件系统（如 CSV、Excel、JSON 等格式的文件）等。

2024-08-28

788

- -