技术学习分享_一航技术 技术资讯 txtai 5.3 发布,AI 驱动的语义搜索应用

txtai 5.3 发布,AI 驱动的语义搜索应用

广告位

AI 驱动的语义搜索应用 txtai 已发布 5.3 版本,此版本添加了嵌入引导和提示驱动的搜索,以及多种训练语言模型的方法。

提示驱动的搜索是 txtai 中会话搜索的一大进步,它可以将复杂的提示传递给 txtai ,以自定义返回搜索结果的方式。另外,现在支持从头开始培训语言模型。支持屏蔽语言建模 (MLM)、因果语言建模 (CLM) 和替换标记检测(ELECTRA 风格),同属微型模型工作的一部分。

txtai 是一个人工智能驱动的搜索引擎,可以在文本的各个部分上建立一个 AI 驱动的索引。 txtai 支持构建文本索引以执行相似性搜索并创建基于问 – 答的系统。此外,txtai 还具有用于 zero-shot 分类的功能。

txtai 5.3 发布,AI 驱动的语义搜索应用

新功能

  • 将语言建模任务添加到 HFTrainer ( #403 )
  • 添加语言建模示例笔记本(#408 
  • 将常见问题解答部分添加到文档 ( #413 )
  • 将语言生成任务添加到 HFTrainer ( #414 )
  • 向 HFTrainer 添加替换标记检测任务(#415 
  • 添加用于文本生成的生成器管道 ( #416 )
  • 添加用于 LLM 的嵌入引导和提示驱动搜索的笔记本 ( #418 )

改进

  • 标准化 BM25 和 TF-IDF 分数(#401 
  • 如果在 Google Colab 中运行,请添加注释以重新启动内核 – 谢谢@hsm207!( #410 )
  • 启动 API 和找不到配置文件时添加清除错误(#412 
  • 提取器管道 2.0 ( #417 )
  • 使文本参数对于应用程序中的提取器管道是可选的(#420 

Bug修复

  • 修复 ORDER BY 区分大小写的问题(#405 

 更新公告:https://github.com/neuml/txtai/releases/tag/v5.3.0

 

展开阅读全文
本文来自网络,不代表技术学习分享_一航技术立场,转载请注明出处。

作者: 一航技术

上一篇
下一篇
广告位

发表回复

返回顶部