登录
主页
 文章
数据可视化语法工具（VegaLite）
VegaLite 是一种用于数据可视化的语法和工具。VegaLite是基于Vega可视化语法的一种高层次、简洁的可视化规范。它提供了一种声明式的方式来描述数据可视化，让用户能够通过简单的JSON格式或特定的编程语言接口来定义可视化的各个方面，如图形类型、数据映射、视觉编码等，而无需详细了解底层的绘图细节和复杂的交互逻辑。
2025-01-21
1146
8
4
高效向量搜索RAG解决方案（Canopy）
Canopy利用Pinecone在高效向量搜索方面的专业知识，提供强大且可扩展的RAG（Retrieval-Augmented Generation）解决方案。包括与Pinecone向量数据库的紧密集成，支持流处理和实时更新，先进的查询处理和重新排序功能，以及管理知识库和版本控制的工具。项目地址：https://github.com/pinecone-io/canopy
2025-01-21
1163
9
10
容器化检索增强框架（R2R）
R2R by SciPhi-AI是一个专门的RAG框架，专注于通过迭代细化来改进检索过程。主要特点包括实现新颖的检索算法，支持多步检索过程，与各种嵌入模型和向量存储集成，以及用于分析和可视化检索性能的工具。适合有兴趣突破检索技术界限的开发人员和研究人员，特别是在需要创新检索方法的场景。具有 RESTful API 的容器化检索增强一代 （RAG）。具有生产就绪型功能，包括多模式内容摄取、混合搜索功能、可配置的 GraphRAG 以及用户和文档管理。
2025-01-21
1172
6
9
百度依存句法分析工具（DDParser）
DDParser由百度基于大规模标注数据和深度学习平台飞桨研发的中文依存句法分析工具。它采用简单易理解的标注体系，支持一键安装部署及调用，适合开发者快速学习及使用。能够直接获取输入文本中的关联词对、长距离依赖词对等信息。其训练数据丰富，覆盖多种场景，在随机数据上的准确率较高，并且输入层加入了词的字符级别表示，缓解了因粒度不同带来的效果下降问题。
2025-01-19
1013
0
3
语言模型集成框架（Haystack）
Haystack提供模块化架构，支持多种文档存储方案，可与广泛使用的语言模型无缝集成，具有可扩展架构以处理海量文档，还拥有简洁易用的API，便于构建自定义的NLP工作流。适用于构建端到端的问答和搜索系统，特别适合需要处理大量文档和与多种语言模型集成的场景。其主要目标是帮助开发者更方便地构建强大的NLP应用程序，如问答系统、语义搜索和文档摘要等。它提供了一个灵活的框架，能够将不同的NLP组件（如语言模型、文档存储、检索算法等）组合在一起。
2025-01-19
1119
7
0
掩码语言模型（MLM）
掩码语言模型（Masked Language Model，MLM）是自然语言处理（NLP）中一种重要的预训练任务，尤其在基于深度学习的语言模型中被广泛使用。它是一种自监督学习技术，让模型学习语言的语义和语法规则。一、发展历程 在 MLM 出现之前，早期的语言模型主要基于统计方法，如 ngram 模型。这些模型通过统计文本中单词出现的频率和连续 n 个单词的组合频率，来预测下一个单词或生成文本。然而，它们存在局限性，无法很好地捕捉语义信息和长距离依赖关系。例如，对于句子 "I love to play [?] in the park"，简单的 ngram 模型可能仅根据前面几个单词的统计信息预测 [?] 处的单词，而难以考虑更广泛的上下文和语义信息。
2025-01-19
972
3
10
余弦相似度（Cosine Similarity）
余弦相似度是一种用于衡量两个向量之间相似度的度量方法。在向量空间模型中，它通过计算两个向量夹角的余弦值来确定它们的相似程度。对于两个非零向量 $A$ 和 $B$，余弦相似度的取值范围是 $[-1,1]$。当余弦相似度为 $1$ 时，表示两个向量完全相似；当为 $-1$ 时，表示完全相反；当为 $0$ 时，表示两个向量正交（即相互垂直，没有任何相似成分）。
2025-01-18
1095
3
3
BERT vs ELMo
BERT和ELMo作为自然语言处理领域两个大神，自诞生以来，便以其独特的技术架构与卓越的表现，在推动该领域发展的进程中扮演着举足轻重的角色。在BERT横空出世之前，自然语言处理领域虽已取得一定进展，但传统词嵌入方法，如Word2Vec和GloVe，却有着难以忽视的短板。它们赋予每个单词的是静态的向量表示，无法依据单词所处上下文的不同而灵动变化，这使得模型在面对复杂语义场景时往往力不从心。
2025-01-18
1089
3
0
深度双向语言模型（ELMo）
ELMo（Embeddings from Language Models）是由艾伦人工智能研究所（Allen Institute for AI）开发的一种深度双向语言模型。它在自然语言处理（NLP）领域是一个重要的进展，主要用于生成词向量，这些词向量能够更好地捕捉单词在上下文中的语义信息。在ELMo出现之前，传统的词向量（如Word2Vec和GloVe）是静态的，即一个单词在任何语境下都有相同的向量表示，这无法很好地适应单词在不同句子中的语义变化。
2025-01-18
625
7
2
基于双向变换器的编码表示（BERT）
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练语言模型，由谷歌在2018年提出。它在自然语言处理（NLP）领域引起了巨大的变革。在BERT之前，许多语言模型主要是单向的，例如从左到右或者从右到左处理文本序列。而BERT的双向特性使得它能够同时考虑文本中单词的前后文信息，从而更好地理解文本的语义。
2025-01-18
774
9
5
下一句预测（NSP）
下一句预测（Next Sentence Prediction，NSP）是自然语言处理（NLP）中的一个任务。它主要是判断给定的两个句子在原文中是否是相邻的句子。例如，对于句子A和句子B，模型需要预测句子B是否是句子A在文本中的下一句。早期NLP任务主要关注单词层面的预测和理解，如传统的词袋模型、ngram模型等，随着对语言理解的深入，研究人员开始意识到句子之间的关系对于理解文本整体含义的重要性。
2025-01-17
1032
7
4
人工智能数据处理平台（txtai）
txtai是一个功能丰富的人工智能数据处理平台，提供了一整套工具，用于构建语义搜索、语言模型工作流和文档处理流水线。其核心功能包括用于高效相似性搜索的嵌入式数据库，方便集成语言模型和其他人工智能服务的API，支持自定义工作流的可扩展架构，以及多语言和多数据格式支持。它为开发人员提供了一套强大的工具，可以高效地构建与文本相关的应用程序，如语义搜索、文本分类和知识图谱构建等。其设计理念是简单易用，同时又能提供高性能的文本处理功能。适合需要在单一框架内实现多种人工智能功能的组织，特别是那些需要处理多种数据类型和语言的场景。
2025-01-17
825
3
5
近似最近邻搜索（ANNS）
近似最近邻搜索（Approximate Nearest Neighbor Search，ANNS）是一种在高维向量空间中寻找与给定查询向量相近向量的技术。在精确的最近邻搜索（NNS）中，目标是找到距离查询向量最近的一个或多个向量。然而，随着数据维度的增加和数据规模的扩大，精确搜索在计算上变得非常昂贵。ANNS通过牺牲一定的精度来换取搜索速度的大幅提升。例如，在一个包含数百万张图像特征向量的数据库中，使用ANNS可以快速找到与给定图像特征向量近似最近的图像，虽然找到的可能不是绝对最近的邻居，但在很多实际应用场景中，这种近似结果已经足够满足需求。
2025-01-16
692
9
10
向量数据库（Qdrant）
Qdrant是一个向量数据库，专门用于存储、搜索和管理高维向量。它的主要目标是为基于向量相似度搜索的应用提供高效的存储和检索解决方案，这些应用包括但不限于人工智能、机器学习、自然语言处理等领域。例如，在语义搜索中，Qdrant可以帮助找到与给定查询向量在语义上最相似的文档向量；在图像识别中，它可以存储图像特征向量，并快速检索相似图像的特征向量。
2025-01-16
557
6
12
全流程RAG应用开发平台（Cognita）
Cognita提供统一的平台来构建和部署AI应用程序，是全流程的RAG应用开发平台，与流行机器学习框架和工具集成，内置监控和可观测性功能，支持模型版本管理和实验跟踪。适合希望简化整个机器学习生命周期的组织，特别是在需要端到端AI应用开发和部署的平台的场景。项目地址：https://github.com/truefoundry/cognita
2025-01-16
842
2
13
元数据管理框架（Egeria）
Egeria是一个开源项目，由Linux基金会托管。允许组织在其组织内共享和管理数据，依赖OpenLineage标准进行数据血统管理，定义了企业为管理数字资源所需的800多种元数据的标准模式，并通过开放API、框架、连接器和交换协议等实现工具和元数据存储库之间的元数据共享和交换。适合大型企业，尤其是需要高度自动化、集成的平台间信息交换解决方案的团队。
2025-01-16
600
5
3
数据可视化工具（Frappe Insights）
Insights用于可视化挖掘PostgreSQL数据库的工具，在图形生成方面具有较强优势。支持PostgreSQL连接，自动检测发现数据库，允许连接到多个数据库，并允许模式编辑和添加自定义SQL字段，还提供数据挖掘、过滤器、基于时间的图形等功能。为满足企业和个人对于数据分析和可视化日益增长的需求，以及解决传统商业智能工具复杂、昂贵、难用等问题，基于Frappe框架进行开发，从一开始就致力于打造一个开源、易用、功能强大的数据可视化和分析平台。
2025-01-16
946
9
13
轻量级高效RAG框架（FlashRAG）
在自然语言处理（NLP）领域，随着知识密集型任务（如问答系统、知识图谱填充、文档生成等）的需求不断增加，传统的语言模型在处理这些任务时可能会因为缺乏足够的外部知识而出现信息不准确或不完整的情况。FlashRAG是一种轻量级且高效的检索增强生成（Retrieval Augmented Generation，RAG）框架。RAG框架的核心是结合信息检索和语言生成技术，以提供更准确、更有针对性的文本生成服务。FlashRAG在这个基础上，专注于通过优化的架构和算法来实现高效的知识检索和高质量的文本生成，同时保持轻量级的特点，使其能够在资源受限的环境下（如一些边缘计算设备或者小型服务器）良好地运行。FlashRAG具有优化的检索算法以提高速度，支持分布式处理和扩展，与流行的语言模型和向量存储集成，还提供用于基准测试和性能分析的工具。
2025-01-16
1027
9
8
RAG检索技术增强
RAG（Retrieval Augmented Generation）技术增强是一种在自然语言处理领域广泛应用的技术手段，主要目的是提升语言生成模型的性能。在面对自然语言处理任务时，首先从外部知识源（如文档库、知识库、数据库等）中检索与任务相关的信息片段，然后利用这些检索到的信息来增强语言生成模型的输出，从而生成更准确、更有针对性的自然语言内容。
2025-01-16
516
6
6
面向学术研究的RAG框架（STORM）
STORM by stanfordoval由斯坦福大学开发的面向学术研究的RAG框架，实现了多项创新的RAG算法和技术，重点优化检索机制的准确性和效率，与最先进的语言模型深度集成，配套详尽的文档和研究论文。适合探索RAG技术前沿的学者和从业者，特别是在学术研究和高等教育领域。项目地址：https://github.com/stanfordoval/storm
2025-01-16
998
2
1
- -
© 2021 - 现在 杭州极深数据有限公司 版权所有 （深数据® DEEPDATA® 极深®） 联系我们 
浙公网安备 33018302001059号  浙ICP备18026513号-1号