跳转到内容
Foldbun Stack文档
EN获取 API 密钥即将推出

SigLIP2 (siglip2)

以 Markdown 查看在 Playground 中试用即将推出

siglip2(SigLIP2-B)将图像和文本嵌入同一个共享向量空间。文本向量可以直接与图像向量比较,因此既能用一句话搜索图片,也能无需训练就将图像与一组候选标签进行分类。

模型 ID siglip2
模型 SigLIP 2 base,patch 16,224 px(Google)
权重 Google 官方发布(google/siglip2-base-patch16-224)
用例 嵌入与检索
接口 POST /v1/embeddings
模型池 公共池:所有已注册账户可用,每个 UTC 日包含 100 次调用
计费单位 image、text。单位与价格:计费
许可证 Apache-2.0

SigLIP 2 有两个一同训练的编码器,使描述同一事物的图片和句子在同一个向量空间中彼此靠近。一次调用只运行其中一个:一张图片走图像编码器,或每条文本走文本编码器。

图像。 图片转换为 RGB,缩放到 224 × 224 像素并做归一化,再送入图像编码器的视觉 Transformer(ViT,图块大小 16)。一张图片对应一次前向推理。

文本。 每条文本转为小写,切分为 token,并填充或截断到 64 个 token,再送入文本编码器。每条文本各自一次前向推理,因此包含 N 条文本的调用运行 N 次推理。

两个编码器返回的向量都缩放到长度 1(L2 归一化),以 float32 数值返回;录制的响应中 dimensions 为 768。两类向量位于同一个空间,所以图像向量与文本向量的点积就是它们的余弦相似度,文本可以用来搜索图片,也可以为一张图片给一组标签排序。计费对应推理次数:一张图片计为一个 image,每条文本计为一个 text,两者都不依赖缓存。

siglip2 为 POST /v1/embeddings 提供服务,图像和文本位于同一个空间。一次调用只能给出 image(一张图片)和 texts(1 到 64 条文本,每条 1 到 1000 个字符)中的一个,不能同时给出。仅含文本的调用,其响应中没有 image。

  • 图像与文本之间的得分数值很小。录制的示例中,最佳匹配得分为 0.133,无关组合约为 0。有意义的只是排名和得分之间的差距,因此应在同一个查询内部比较各得分,不假设固定的截断值。
  • 不同模型的向量不可比较:siglip2 的向量不能与 dinov3 的向量比较。图像与图像之间的相似度、去重和以图搜图,请使用只嵌入图像、向量描述图像外观的 dinov3。

用例说明与调用示例:嵌入与检索。

  • 每次调用只能给出一张 image 或 1 到 64 条 texts,不能同时给出。每条文本 1 到 1000 个字符;每条文本只有前 64 个 token 会被嵌入。
  • 图片限制:详见图片。
  • 延迟:录制的调用中 timing.processingMs 约为 200 ms。该数值取决于输入、排队情况和节点负载,不构成保证。