登录
主页
 文章
社区检测算法（Louvain）
Louvain算法是一种经典的社区检测（community detection）算法，从复杂网络中识别出紧密连接的子群体（即“社区”），其核心目标是最大化模块度（modularity）——一种衡量网络社区划分质量的指标。该算法由Blondel等人于2008年提出，因效率高、适合大规模网络而被广泛应用。一、基本概念
2025-08-13
1130
7
14
社区检测算法（Leiden）
Leiden算法是一种高效的社区检测算法，旨在从复杂网络中识别出紧密连接的节点组（社区）——社区内部节点连接密集，而社区之间连接稀疏。它是在经典的Louvain算法基础上改进而来，解决了Louvain算法可能产生非连通社区、优化精度有限等问题，目前被广泛应用于社交网络、生物网络、信息传播网络等领域。
2025-08-13
950
5
13
基于图的检索增强生成（GraphRAG）
GraphRAG（Graph-based Retrieval-Augmented Generation，基于图的检索增强生成）是知识图谱（Knowledge Graph, KAG）领域的重要分支，通过将知识图谱的结构化关系与大语言模型（LLM）结合，显著提升复杂场景下的生成准确性和可解释性。GraphRAG通过知识图谱的结构化优势与大语言模型的生成能力互补，在复杂推理、多模态检索、可解释性等方面树立了新标杆。其核心价值不仅在于技术性能的提升，更在于为医疗、金融、科研等领域提供了可落地的“认知智能”解决方案。随着动态图处理、多模态融合等技术的进一步突破，GraphRAG有望推动生成式AI从“感知智能”向“决策智能”跨越，重塑人机协作的新范式。
2025-08-12
929
8
3
开源区块链平台（Solana）
Solana 是一个高性能的开源区块链平台，专注于解决区块链领域的 scalability问题，为去中心化应用（DApps）、加密货币交易和Web3生态提供高效、低成本的基础设施。2017年由Anatoly Yakovenko（前高通工程师）创立，2020年正式主网上线。主打“高性能区块链”，目标是成为“区块链中的纳斯达克”，支持大规模商业应用落地。
2025-08-11
725
3
8
知识增强生成框架（KAG）与检索增强生成（RAG）的比较
RAG（检索增强生成，Retrieval-Augmented Generation）是一种通过融合外部知识库检索与语言模型生成能力，显著提升 AI 回答准确性和时效性的技术框架。其核心思想是让 AI 在生成内容前 “查阅资料”，而非仅依赖预训练数据，从而解决传统大模型（如 ChatGPT）的三大痛点：知识滞后性、事实性错误、领域专业性不足。
2025-08-11
1132
8
6
如何提高蓝牙设备的扫描识别速度
提高蓝牙设备的扫描识别速度，核心在于优化主设备（扫描方）的扫描策略、从设备（被扫描方）的广播行为，以及减少环境干扰，同时利用蓝牙技术的特性提升效率。一、优化主设备（扫描方）的扫描参数 主设备通过“扫描窗口”（每次主动监听广播的时长）和“扫描间隔”（两次扫描窗口的时间间隔）控制扫描频率，参数设置直接影响识别速度：
2025-08-10
776
1
5
蓝牙设备的MAC地址
蓝牙设备的MAC地址（Media Access Control Address）是蓝牙技术中用于唯一标识设备的物理地址，是设备在蓝牙通信中的“身份标识”，在设备发现、配对、数据传输等过程中发挥核心作用。一、蓝牙MAC地址的基本概念蓝牙MAC地址与以太网、Wi-Fi的MAC地址同属“链路层地址”，用于在蓝牙无线链路中唯一标识设备，确保数据能准确发送到目标设备。
2025-08-10
884
6
6
AutoGPT与AgentGPT引领自动化革命
在人工智能技术飞速迭代的当下，AutoGPT 与 AgentGPT 的横空出世，正以颠覆性力量掀起一场自动化革命，尤其在数据分析领域，它们正重塑传统工作流程，将人类从繁琐的机械劳动中解放出来。一、AutoGPT：端到端自动化的破局者1.全流程自主化的核心能力AutoGPT 以其强大的端到端分析流程惊艳业界。当用户提出 “分析 Q2 用户穿戴时长下降原因” 这样的需求时，AutoGPT 无需人工介入，便能开启一场全自主的数据探索之旅。它会自动调用 HoraeDB API，精准高效地完成数据查询，从海量数据中提取与分析目标相关的信息；紧接着，借助 Polars 工具进行专业的特征工程，对数据进行清洗、转换和提炼，为后续的模型训练奠定坚实基础；随后，通过 MindsDB 开展模型训练，构建出能够揭示数据规律的预测模型；最终，自动生成包含直观可视化图表的 Markdown 报告，将复杂的分析结果以清晰易懂的方式呈现给用户。这一全程无人干预的流程，极大地提升了数据分析的效率与准确性。
2025-08-09
800
0
12
自动化分析与 MLOps：Snorkel AI 与 Evidently 的闭环
在人工智能领域，数据标注和模型监控是 MLOps（机器学习运维）流程中的关键环节。传统的人工标注和手动监控方式效率低下且容易出错，而 Snorkel AI 和 Evidently 的结合则提供了一种高效、自动化的解决方案，形成从数据标注到模型部署再到监控反馈的闭环。一、Snorkel AI：弱监督学习与数据标注的革新
2025-08-09
707
9
9
AI工具在数据质量管理中的应用
数据质量管理的核心挑战在于平衡数据的复杂性与管理的有效性：一方面，数据来源多元（如业务系统、第三方接口、物联网设备等）导致格式异构、标准不一，海量数据的实时流转又加剧了冗余、重复或滞后等问题的隐蔽性，难以通过传统手段快速识别；另一方面，跨部门协作中对数据定义、质量指标的认知差异易引发责任模糊，而业务需求的动态变化（如指标调整、场景拓展）又要求质量管理体系具备灵活性，需在技术工具（如 AI 检测、自动化校验）的适配性、数据全生命周期（从采集到销毁）的持续监控，以及人力、成本投入与质量提升效益之间找到动态平衡，同时还要应对数据隐私合规等外部约束带来的额外复杂度。
2025-08-09
841
0
14
数据分析框架从 “工具堆砌” 转向 “智能协同”
在数字化浪潮席卷全球的今天，数据已成为企业核心资产，而数据分析框架作为释放数据价值的引擎，正经历着从 “工具堆砌” 到 “智能协同” 的范式革命。这一转变不仅是技术迭代的必然结果，更是企业应对复杂业务场景、提升决策效能的战略选择。一、工具堆砌的困境
2025-08-08
1106
5
2
LLM驱动的数据分析组合（HoraeDB+Polars+Snorkel AI）
在当今大数据时代，数据规模呈指数级增长，传统数据分析方法在处理效率和精度上渐显乏力。企业和科研机构迫切需要高效处理和分析海量数据的解决方案，以挖掘数据背后的价值。LLM（大语言模型）的横空出世，为数据分析领域注入了全新活力。由 HoraeDB、Polars 和 Snorkel AI 构成的数据分析组合，在 LLM 的驱动下，凭借各自的独特优势，正重塑数据分析的流程与效能，成为数据处理领域的新标杆。
2025-08-07
687
5
13
蓝牙基础：FIFO（First-In-First-Out）缓存区
在蓝牙通信中，FIFO（First-In-First-Out，先进先出）缓存区是解决数据传输中“速度不匹配”和“时序异步”问题的核心机制，广泛应用于蓝牙芯片内部、协议栈各层级及主从设备交互中。其核心作用是临时存储数据，平衡数据产生/处理速度与传输速度的差异，避免数据丢失或溢出。
2025-08-07
1043
2
13
蓝牙基础：JavaScript之ArrayBuffer的用法
`ArrayBuffer` 是 JavaScript 中用于存储原始二进制数据的固定长度缓冲区，是处理二进制数据（如文件、网络通信、设备交互等场景）的基础。它本身无法直接读写数据，需要通过视图（View） 来操作（如 `TypedArray` 或 `DataView`）。一、基本概念ArrayBuffer：内存中的一段二进制数据缓冲区，一旦创建，长度不可修改。
2025-08-06
1128
8
5
大规模RAG框架（HoraeDB+Flink+Evidently AI）
一、引言在当今数据爆炸的时代，海量信息的高效处理与应用成为各行业发展的关键。大规模检索增强生成（RAG）框架作为一种融合检索与生成能力的先进技术方案，能够充分利用海量数据，为用户提供精准、高效的智能服务。而 HoraeDB、Flink 和 Evidently AI 的结合，构建起了一个强大的大规模 RAG 框架，凭借各组件的优势协同，实现了数据的高效存储、实时处理及模型的有效监控，为相关领域的发展注入新动力。
2025-08-06
1071
9
4
Snowsight与DuckDB的轻量化组合
在企业级数据分析场景中，工具链的轻量化部署与高效能运转已成为提升业务响应速度的核心诉求。Snowflake 旗下的 Snowsight 与嵌入式数据库 DuckDB 形成的技术组合，通过云端资源与本地计算的协同架构，为数据处理流程提供了兼具灵活性与专业性的解决方案，尤其适用于资源受限的初创团队及敏捷型业务场景。
2025-08-05
862
0
13
模型监控与数据质量守护（Evidently AI）
Evidently AI 是一个专注于机器学习模型监控与数据质量守护的开源框架，旨在帮助数据科学家、ML工程师和AI团队系统性地评估、测试和监控AI系统的可靠性与性能。在智能设备场景中，Evidently可实时监控用户分群分布变化（如某地区用户穿戴时长突然下降），通过SHAP值分析影响因子，并自动触发邮件/钉钉告警。其内置的100+指标（如数据分布K-S检验、特征重要性衰减）可覆盖90%以上的MLOps监控需求。
2025-08-05
587
8
13
弱监督学习的效率工具（Snorkel AI）
Snorkel AI开启了数据标注革命。在智能设备用户行为分析中，Snorkel可通过简单规则（如“夜间23:00-6:00穿戴时长>3小时标记为睡眠监测”）生成弱标签，结合LLM（如Claude）自动标注未结构化数据（如用户反馈文本），标注效率提升80%。其数据编程（Data Programming）框架可快速构建用户分群模型（如“运动爱好者”“健康监测用户”），并通过贝叶斯模型融合（Bayesian Model Averaging）提升模型泛化能力，减少对标注数据的依赖。
2025-08-04
860
5
5
高性能时间序列分析的Rust引擎（Polars）
Polars基于Rust和Apache Arrow构建，处理GB级穿戴数据时，速度比Pandas快5-10倍，内存占用减少60%。其惰性求值（Lazy Evaluation）和向量化计算，可在不加载全量数据的情况下完成复杂聚合（如按设备型号统计周均穿戴时长）。在量化投资领域，Polars通过`rolling_mean`、`shift`等窗口函数，可快速计算用户连续穿戴天数、时段分布等指标，代码量比Pandas减少30%。对于智能设备数据，其时区转换（UTC↔本地时间）和重采样功能（如将秒级数据聚合为小时级）尤为实用。
2025-08-04
682
2
8
云原生时序数据库（HoraeDB）
Apache HoraeDB（孵化中）是一款高性能、分布式的云原生时序数据库，由蚂蚁集团捐赠并贡献至Apache软件基金会，核心技术源自蚂蚁自研的CeresDB。其设计目标是解决传统时序数据库在高基数标签场景（如物联网设备、金融交易监控）下的性能瓶颈，同时支持分析型负载与实时查询的混合工作流。其技术原理和架构设计深度贴合时序数据 “高写入、高基数、查询模式固定、冷热分化明显” 的核心特性，通过混合存储引擎、分布式架构、高基数优化三大技术支柱，实现了性能、成本与扩展性的平衡。
2025-08-03
562
6
1
- -
© 2021 - 现在 杭州极深数据有限公司 版权所有 （深数据® DEEPDATA® 极深®） 联系我们 
浙公网安备 33018302001059号  浙ICP备18026513号-1号