dot product为何能衡量similarity

2023-10-18 18:59
文章标签 衡量 similarity dot product

本文主要是介绍dot product为何能衡量similarity,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在这里插入图片描述

https://developers.google.com/machine-learning/clustering/similarity/check-your-understanding
https://math.stackexchange.com/questions/689022/how-does-the-dot-product-determine-similarity

cosine similarity仅取决于两个向量的角度,而dot product同时取决于两个向量的角度和长度,这道题因为vector A的长度比较长,虽然角度很大,但还是能让A与B更相似。
所以自注意力机制得到的attention matrix中,不一定是对角线的元素值最大吧,因为N * C,C * N的矩阵中,如果有一个样本Ni的1C的向量的模特别大,那么它会某些Nj跟Nj特征相乘的值没有Nj跟Ni特征相乘的值大,也就是下面这张图的问题。
在这里插入图片描述
是不是一个样本Ni的1
C的向量的模特别大,就说明它比较重要呢。
在这里插入图片描述

这篇关于dot product为何能衡量similarity的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/234543

相关文章

ural 1014. Product of Digits贪心

1014. Product of Digits Time limit: 1.0 second Memory limit: 64 MB Your task is to find the minimal positive integer number  Q so that the product of digits of  Q is exactly equal to  N. Inpu

leetcode#628. Maximum Product of Three Numbers

题目 Given an integer array, find three numbers whose product is maximum and output the maximum product. Example 1: Input: [1,2,3]Output: 6 Example 2: Input: [1,2,3,4]Output: 24 Note: The lengt

如何将Product依赖的LibraryModule导出成jar

在Android Studio新建Module时可以选择创建的module是工程module还是Android Library。 或者可以在工程module中的build.gradle文件中将 apply plugin: 'com.android.application'改为apply plugin: 'com.android.library' 同时将applicati

[LeetCode] 238. Product of Array Except Self

题:https://leetcode.com/problems/product-of-array-except-self/description/ 题目 Given an array nums of n integers where n > 1, return an array output such that output[i] is equal to the product of all

CodeForces 487C Prefix Product Sequence

题意: 构造一个1~n的排列  使得n个前缀积%n是一个0~n-1的排列 思路: 首先确定n一定放最后  要不然会有%n会有多个0  这时n-1位置的前缀积为(n-1)! 接着讨论n  n为合数时只有n=4有解  因为如果n为合数一定可以拆成p*q的形式  明显pq|(n-1)! 然后构造ai=(i+1)*inv[i]  因为(i+1)*inv[i] == (j+1)*inv[j]时一

[论文笔记]Circle Loss: A Unified Perspective of Pair Similarity Optimization

引言 为了理解CoSENT的loss,今天来读一下Circle Loss: A Unified Perspective of Pair Similarity Optimization。 为了简单,下文中以翻译的口吻记录,比如替换"作者"为"我们"。 这篇论文从对深度特征学习的成对相似度优化角度出发,旨在最大化同类之间的相似度 s p s_p s

Subtract the Product and Sum of Digits of an Integer

Given an integer number n, return the difference between the product of its digits and the sum of its digits. Example 1: Input: n = 234Output: 15 Explanation: Product of digits = 2 * 3 * 4 = 24

NLP-文本匹配-2016:SiamseNet【Learning text similarity with siamese recurrent networks】

NLP-文本匹配-2016:SiamseNet【Learning text similarity with siamese recurrent networks】

NLP-文本匹配-2013:DSSM【首次提出将深度学习应用到文本匹配,每个文本对象均由5层的神经网络进行向量化表示,最后通过向量间的余弦值来衡量文本对象的相似度】【釆用词袋模型,丢失单词顺序关系】

深度语义结构模型(DSSM)首次提出了将深度学习应用到文本匹配方法中,该模型通过建模用户查询和文档的匹配度,同传统文本匹配模型相比获得了显著的提升。在深度语义结构模型中,每个文本对象均由5层的神经网络进行向量化表示,最后通过向量间的余弦值来衡量文本对象的相似度 DSSM模型由宁完全采用全连接神经网络构建,以至于参数较多,不利于模型参数的学习与优化,并且DSSM模型在获取词(片段)嵌入时釆用了词袋

caffe源码解析-inner_product_layer

打开inner_product_layer.hpp文件,发现全连接层是非常清晰简单的,我们主要关注如下四个函数就行。 LayerSetUp(SetUp的作用一般用于初始化,比如网络结构参数的获取)ReshapeForward_cpuBackward_cpu ** inner_product_layer.hpp ** namespace caffe {template <typename