外接4500万篇论文的数据库，采用检索增强的方法，通过数据存储、bi-encoder检索器、cross-encoder重排序器等组件，从大量文献中筛选出与输入查询语义相关的段落，为LLM生成关键词提供丰富的学术文献依据。由艾伦人工智能研究所（AI2）和华盛顿大学共同开发，官网为https://open-scholar.allen.ai/。
面对全球科研论文数量爆炸式增长，科研人员面临严重信息过载，而现有通用AI工具如ChatGPT等在处理科学问题时存在生成幻觉、成本高、参数规模大等缺陷。艾伦人工智能研究所（AI2）和华盛顿大学意识到需要一款专门针对科研的AI工具，以帮助科研人员更高效地处理和利用科研文献。
2024年：艾伦人工智能研究所和华盛顿大学合作开发出OpenScholar。在测试中，OpenScholar-8B的回答准确度超过了GPT-4O模型5%，比基于GPT-4O构建的PaperQA2高出7%，引用准确性与人类专家相当。
一、核心技术
1.架构搭建：构建了以检索增强为核心的架构，包括数据存储、检索器、生成模块等。能在生成文本过程中检索外部信息，从超4500万篇开放获取学术论文数据库中主动检索相关论文，综合发现并生成答案。
采用“自我反馈推理循环”，通过自然语言反馈反复完善输出，提高质量并自适应纳入补充信息。
2.检索器与生成模块构建：开发专门训练的检索器OpenScholar-retriever，包括双编码器和交叉编码器；生成模块采用经过专门训练的Llama 3.1 8B参数语言模型。
3.基准测试开发：为评估性能，研究团队开发首个跨学科大规模文献检索基准ScholarQA Bench。
二、功能特点
1.精准回答：针对复杂科研问题，提供有引文支持的全面答案，答案有出处，方便用户验证和深入研究。
2.界面友好：用户界面简洁直观，非专业科研人员也能轻松使用，只需在平台提问即可获取答案。
3.事实性和引用准确性出色：在ScholarQA Bench基准测试中，在事实性和引用准确性方面表现出色，优于GPT-4等规模更大的专有模型，能避免生成虚假引文。
4.与人类专家相媲美：在组织性、覆盖范围、相关性和实用性四个关键指标上与人类专家相媲美，其答案被评为比人工书写的回复更“有用”。
三、引用验证功能
引用验证功能主要通过检索器、数据存储和检索增强的自我反馈推理机制协同实现：
1.数据存储与处理基础
构建数据存储库：OpenScholar建立大型数据存储库（OpenScholar-Datastore，OSDS），并为这些论文构建了约2.5亿个相应的段落嵌入。每篇文献被分割为250词的文本块，并与论文标题连接形成段落，再通过嵌入技术进行向量化处理，为引用验证提供了丰富且结构化的数据基础。
2.检索器的精准筛选
双编码器预筛选：在检索时，模型利用专门训练的检索器OpenScholar-Retriever，首先由双编码器对文献段落和用户查询进行编码，通过计算余弦相似度来初步筛选，生成候选段落集合，快速缩小与问题相关的文献范围。
交叉编码器重排：交叉编码器会对每个候选段落与查询进行联合编码，捕捉更深层次的语义关联，生成更精确的重排分数，确保检索出与问题高度相关的文献段落，为准确引用提供可靠的来源。
3.检索增强的自我反馈推理机制
初步回答生成及反馈生成：生成模块基于经过筛选的文献段落与输入的科研问题，生成初步的回答，同时还会生成一系列自然语言的反馈，指出初步回答中可能存在的问题，如需要补充的细节、可改进的组织结构等。
基于反馈的检索与迭代改进：模型使用生成的反馈来再次检索更多相关文献，进一步完善回答内容，使回答更加全面和准确，也为引用验证提供更多的参考依据。
引用验证：在这个阶段，模型会对回答中的每个引用进行核查，将引用内容与数据存储中的文献段落进行比对等操作，确保每个科学论断都有足够的文献支持，从而完成引用验证，保证引用的准确性和可靠性。
四、应用场景
1.科学研究领域
文献综述：能快速从4500万篇开放获取的学术论文中检索并综合相关信息，帮助研究人员了解某一课题的研究现状、历史脉络、主要研究成果和存在的问题等，提高文献综述的效率和质量。
问题解答：针对复杂的科学问题，可基于大量文献生成准确、有引文支持的答案，为科研人员在探索新课题、解决研究难题时提供思路和参考依据。
寻找数据集：帮助研究人员快速找到适合自己研究的最新、最相关的数据集，了解数据集的来源、特点、适用范围等信息，为实验和分析提供数据支持。
追踪研究前沿：实时关注各学科领域的研究动态和前沿进展，及时推送相关的最新研究成果和趋势，助力科研人员紧跟领域发展方向，避免重复研究，激发创新灵感。
跨学科研究：由于涵盖多个学科领域的文献，能促进不同学科之间的知识融合和交流，帮助跨学科研究团队更好地理解不同领域的知识和方法，找到跨学科研究的切入点和创新点。
2.教育和培训领域
教学材料生成：教育机构可以用它生成基于最新科研文献的教学材料，使教学内容更具时效性和科学性，帮助学生了解学科前沿知识，拓宽学术视野。
学术辅导：学生在撰写课程论文、进行学术项目研究时，可利用OpenScholar获取相关文献资料和解答，提高学习和研究能力，培养科学思维和研究方法。
学术素养培训：作为培训工具，帮助学生和研究人员学习如何检索、评估和综合科研文献，提升他们的学术信息检索和处理能力，为未来的学术研究和职业发展奠定基础。
3.政策制定和商业决策领域
政策制定：政策制定者可以借助OpenScholar提供的基于科学证据的信息，了解相关领域的科研成果和发展趋势，为制定科技政策、教育政策、产业政策等提供科学依据，使政策更加科学、合理、有效。
商业决策：企业的研发部门可以利用它获取行业内的最新技术研究和市场趋势，为产品研发、技术创新、市场战略制定等提供决策支持，帮助企业保持竞争力。
投资评估：投资机构在评估科技项目、科研企业的投资价值时，可通过OpenScholar了解相关领域的技术水平、发展潜力等信息，做出更准确的投资决策，降低投资风险。
