嵌入是一种与大型语言模型(即 ChatGPT 和 Bard and Claude 背后的技术)相邻的技术。我为每篇文章计算了 1536 维嵌入向量(浮点数数组),并将这些向量存储在网站的 SQLite 数据库中。与在 SQLite 中使用 TG、sqlite-tg 和 datasette-sqlite-tg 进行地理空间 SQL 查询相关的五篇最热门文章是 SQLite 中的地缘政治-2023-01-04 使用 SpatiaLite 和 Datasette 查看 GeoPackage 数据-2022-12-11 在 GDAL 中使用 SQL-2023-03-09 使用 SpatiaLite 进行 KNN 查询-2021-05-16 GUnion 在 SpatiaLite 中组合几何图形-2022-04-12 下面是我用来计算余弦相似度距离的 Python 函数: 我的 TIL 站点在我的 Datasette Python 框架上运行,。
PinnedPinnedPrivate
simonwillison.netPinnedPinnedPrivate
amjith.com最近我了解了一种称为矢量搜索或语义搜索的新型搜索。这是一种搜索技术,它试图找到与用户搜索词的含义相匹配的文档,而不是像全文搜索 (FTS) 那样尝试匹配关键字。我看到了 Alex Garcia 的帖子,该帖子介绍了一个名为 sqlite-vss 的用于矢量搜索的新 SQLite 扩展。由于我的博客数据已经在我认为的 SQLite 数据库中,为什么不呢?计算嵌入需要一个名为句子转换器的 python 库。这可以用 pip 安装: 我使用可信赖的 sqlite-utils 将嵌入到我的数据库中添加到新列中。CLI 有一个 子命令,可用于在表的每一行上运行 python 函数并将结果写入不同的列。首先让我们在 列上运行嵌入: 接下来是 列,用于计算每个帖子正文的嵌入: 现在我们启用 sqlite-vss 扩展并使用它来构建索引。
PinnedPinnedPrivate
pinecone.io矢量数据库是专门存储和检索向量嵌入的数据库,用来让 AI 系统按语义相似度查找信息。大语言模型、生成式应用和语义搜索会把文本、图片或其他内容转换成高维向量,这些向量包含概念、关系和上下文信息。传统数据库擅长精确匹配字符串、数字和字段,难以高效处理“意思相近”的查询;独立向量索引如 FAISS 能加速相似度搜索,却缺少完整的数据管理能力。矢量数据库把向量索引、原始内容引用、元数据过滤、插入更新、扩展、安全和备份放在一起。典型流程是先用嵌入模型把内容转成向量并写入数据库,查询时再把问题转成向量,寻找最接近的邻居,然后返回关联内容。底层常用近似最近邻搜索,通过随机投影、量化或图结构在速度和准确性之间取舍。它让 AI 获得可检索的长期记忆,而不必把所有知识塞进模型参数。