登录
主页
 文章
数据清理和转换工具（OpenRefine）
OpenRefine是一款开源的数据清理和转换工具，它最初由谷歌开发，原名Google Refine。它主要用于处理杂乱、不规范的数据，帮助用户对数据进行清洗、转换和重新格式化，从而使数据更适合用于分析、可视化等后续操作。它提供了一个直观的图形界面，用户无需具备深厚的编程知识即可完成复杂的数据处理任务。不过，对于高级用户，它也支持通过编写代码（如使用GREL表达式 - General Refine Expression Language）来实现更精细化的数据操作。
2024-12-29
689
0
6
分布式内存数据存储和计算平台（Hazelcast）
Hazelcast是一个分布式内存数据存储和计算平台，具有容错性且易于扩展或缩减，可让用户更快地访问数据。Hazelcast提供分布式数据结构，如分布式队列、分布式集合、分布式锁等，方便在分布式环境中进行数据共享和协作。支持数据的自动分区和负载均衡，能够根据集群中节点的数量和负载情况，自动调整数据的分布，确保数据的均匀存储和访问。具备强大的容错机制，当节点出现故障时，能够自动进行数据恢复和故障转移，保证系统的高可用性。
2024-12-29
598
0
0
数据去重评估开源平台（Destor）
Destor是一个专门用于数据去重评估的开源平台，提供了一套完整的工具集，包括容器化的存储、块级处理管道、多种指纹索引和重写算法等，可有效提升数据去重的效率和效果，从而间接提高数据质量。一、主要特点1.全面性：覆盖了从数据分块到恢复的整个数据处理流程，包含多种主流的数据去重策略和技术，如固定大小分块、内容定义分块（CDC）以及近似文件级去重等。
2024-12-28
726
8
2
开源数据质量库（Deequ）
Deequ由亚马逊开源的数据质量库，基于Scala和Spark构建，用于定义数据质量规则并执行它们，特别适用于大数据环境，能够处理大规模的数据集。主要使用Scala编程语言，构建在Apache Spark之上，能够利用Spark的分布式计算引擎来定义和执行数据质量检查。采用Apache-2.0 license开源协议。
2024-12-28
997
3
7
基于大语言模型的知识库问答系统（MaxKB）
MaxKB是一款基于大语言模型和检索增强生成（RAG）技术的开源知识库问答系统。MaxKB 是由飞致云旗下的 1Panel 团队开发的。github地址: https://github.com/1Panel-dev/MaxKB一、核心特点1.开箱即用：支持直接上传文档、自动爬取在线文档，并提供文本自动拆分、向量化、RAG等功能，能有效降低大模型的“幻觉”，为用户带来流畅准确的智能问答体验。
2024-12-27
1115
3
1
权限管理平台（mayfly-go）
mayfly-go：Web版Linux、数据库、Redis、MongoDB统一管理操作平台，提供了完整的权限管理功能，支持对账号的角色以及资源进行分配，可针对不同的用户角色，分配不同的菜单和权限，从而实现对数据资源的有效管理。一、功能特点1. 用户管理 可以实现用户信息的增删改查操作。例如，管理员能够方便地添加新用户，输入用户的基本信息如用户名、密码、邮箱等。同时，也可以对已有的用户信息进行修改，如更新用户的联系方式或者重置密码等操作。对于不再需要的用户账号，也能够进行安全删除。
2024-12-27
978
2
1
开源的数据质量管理（Qualitis）
Qualitis是微众银行开源的数据质量管理系统，专注于解决业务系统运行、数据中心建设及数据治理过程中的数据质量问题，提供了多种数据质量检测方法和自动生成报告的功能。一、核心功能1.数据质量模型定义：支持单表、多表以及自定义等多种数据质量模型，还预设了空值检查、空白检查、数值检查、枚举检查等常见的数据质量验证模板，简化了数据质量模型的定义工作。
2024-12-26
1044
8
0
内存数据网格平台（Infinispan）
Infinispan是一个开源的高性能、分布式的内存数据网格平台，可作为数据库的前端缓存层，提供数据缓存和存储功能，适用于需要处理大量数据的高并发应用场景。将所有数据存储在内存中，读写速度极高。支持分布式部署，能在多台服务器间共享数据，实现水平扩展。通过复制或分区方式实现数据冗余备份，支持自动故障转移和负载均衡，确保节点故障时服务的连续性。此外，还支持标准的SQL查询语法，可直接对内存中的数据进行查询操作，并提供多种缓存策略供用户根据业务需求选择。它提供了一个内存数据网格（In Memory Data Grid，简称IMDG）解决方案，允许数据在多个节点的内存中进行存储和管理，以实现低延迟、高吞吐量的数据访问。
2024-12-26
1137
7
0
专业数据治理服务（Professional Data Governance Services）
数据治理服务是一种综合性的服务，帮助企业或组织对其数据资产进行有效管理和优化。它涵盖了数据治理策略的制定、数据标准的建立、数据质量的提升、数据安全的保障以及数据价值的挖掘等多个方面。通过一系列的流程、工具和技术，确保数据在整个生命周期内的准确性、一致性、完整性、安全性和可用性。
2024-12-26
529
6
3
企业级开源监控解决方案（Zabbix）
Zabbix 是一个功能强大的企业级开源监控解决方案，它不仅可以收集和监控各种系统和网络数据，还提供了一定的数据可视化功能。它能够生成详细的报表和图表，展示监控对象的状态和性能指标。例如，通过 Zabbix 可以生成服务器资源使用情况的周报或月报，以直观的图表形式呈现给运维管理人员。
2024-12-25
790
0
12
数据湖构建（Data Lake Formation，DLF）
数据湖构建（Data Lake Formation，DLF）是一种用于构建和管理数据湖的服务。数据湖是一个集中式存储库，能够以原始格式存储大量的结构化和非结构化数据，包括数据库记录、传感器数据、日志文件、图像、视频等各种类型的数据。DLF的目的是简化数据湖的创建、组织和治理过程。
2024-12-25
501
5
14
生物识别技术平台（Kairos API）
Kairos API：基于云的生物识别技术平台，提供包括人脸识别、指纹识别、虹膜识别等多种生物识别功能，开发者可通过其API轻松地将生物识别技术集成到自己的应用程序中，实现高效的身份验证和识别。一、功能特点1.生物特征采集：通过各种传感器或设备，如摄像头、指纹扫描仪等，采集用户的生物特征信息，如人脸图像、指纹、虹膜等。这些采集到的原始数据是后续识别的基础。
2024-12-25
869
7
5
Chrome浏览器控制Go语言库
chromedp是一个用于控制Chrome 浏览器的 Go 语言库。它提供了一种自动化操作浏览器的方式，能够在浏览器中执行各种任务，如加载网页、点击按钮、填写表单、执行 JavaScript 代码等。这使得它在网页自动化测试、数据采集、网页性能评估等诸多领域有着广泛的应用。可以配置headless模式。
2024-12-24
676
7
14
开源数据可视化和监控工具（Grafana）
Grafana是一款流行的开源数据可视化和监控工具，支持多种数据源，如Prometheus、Graphite、InfluxDB等。它提供了丰富的可视化组件和仪表盘模板，用户可以轻松地创建各种美观且实用的数据可视化图表和监控仪表盘，以便更好地理解和分析数据。在数据安全方面，Grafana支持用户认证和授权，可与LDAP、OAuth等身份验证系统集成，确保只有授权用户能够访问和操作相应的数据和仪表盘 。
2024-12-24
802
7
7
开源合同电子签名（MiniContract）
MiniContract由重庆弈联数聚科技有限公司从其商业化产品“一合通”中剥离出的开源产品，针对特定行业特点和业务场景，提供深度定制的综合解决方案。Mini Contract通常是指小型合约。在不同的领域可能有不同的含义。在金融领域，它一般是一种金融衍生品合约，规模相对较小；在软件开发中，可能代表一种简单的、小型的契约式编程元素；在商业合作等场景下，也可以是一种简易的合同形式。
2024-12-23
540
3
9
开源手写签名库（Signature_Pad）
Signature_Pad是一款JavaScript开源手写签名库，可让用户在网页上进行手写签名，具有简单易用、高度定制的特点，能轻松集成到任何应用中。基于HTML5的canvas元素绘图，采用可变宽度的Bézier曲线插值算法，提供流畅的签名体验，支持所有现代的桌面和移动浏览器。签名可序列化为JSON格式，便于传输，还支持PNG、JPEG和SVG等多种输出格式，可应用于电子商务、在线合同签署、医疗电子记录等多种场景。
2024-12-23
1156
5
12
安卓生物识别支持库（Biometric）
Biometric：高度封装的安卓开源库，基于AndroidX的最新生物识别支持库，可通过简单的API调用，快速判断设备是否支持特定类型的生物识别，并轻松执行相关的身份验证流程，支持从API级别16开始的绝大多数安卓设备，涵盖指纹、面部识别、虹膜扫描等多种生物识别类型，其核心类BiometricHelper简化了复杂的生物识别流程，只需几行代码即可完成生物识别的启用检查、错误处理以及成功回调等功能，还提供了CryptoObject实现，方便加密操作的场景，进一步提升应用的安全性，适用于金融、支付应用、个人隐私保护严格的App、解锁应用、敏感操作确认等场景。
2024-12-23
1188
0
6
身份验证和访问管理（Keycloak）
身份验证（Authentication）是确认用户身份的过程，主要是验证用户提供的凭证（如用户名和密码、指纹、数字证书等）是否与系统中存储的信息相匹配。访问管理（Access Management）则侧重于控制已认证用户对系统资源（如应用程序、数据、网络服务等）的访问权限，确保用户只能访问其被授权的资源。
2024-12-22
525
8
14
通过网页地址转图片方案（url2image）
在文档制作、内容分享、网页监控等应用场景，我们需要通过网页地址在后台将页面转成图片来提升工作效率。一、使用无头浏览器（如Puppeteer、Chromedp）1.Puppeteer（JavaScript/Node.js环境） 原理：Puppeteer是一个Node.js库，它提供了一组高级API来控制无头Chrome或Chromium浏览器。在将URL转换为图像时，它可以打开指定的URL，等待页面加载完成（包括执行JavaScript脚本、加载资源等），然后进行截图操作。
2024-12-22
747
8
6
后台权限管理（cool-admin）
cool-admin：一个很酷的后台权限管理系统，具有模块化、插件化的特点，方便快速构建迭代后台管理系统，其权限管理功能可以对用户、角色、菜单等进行管理，从而实现对数据权限的控制。一、功能特性1.用户管理：它能够方便地对用户信息进行增删改查操作。可以管理用户的基本资料，如用户名、密码、联系方式等。例如，在一个企业内部管理系统中，管理员可以通过Cool Admin添加新员工的账号信息，修改离职员工的账号状态等。
2024-12-22
846
9
7
- -
© 2021 - 现在 杭州极深数据有限公司 版权所有 联系我们 
浙公网安备 33018302001059号  浙ICP备18026513号-1号