LLM学习笔记

Embedding

https://www.julyedu.com/question/big/kp_id/30/ques_id/2968

https://projector.tensorflow.org/

在人工智能领域，Embedding（嵌入）是一种将离散对象（如单词、类别、图像等）转换为连续向量表示的技术。这些向量会在低维空间中，并且能够体现出对象之间的语义关系。Embedding 本质上是一种映射，把高维空间中稀疏、离散的数据点映射到低维的连续向量空间。在这个新的空间里，相似的对象在空间中的距离会更近，不同的对象距离则更远。

文本中的每个单词会用独热编码（One-Hot Encoding）表示。不过，这种编码方式会导致向量维度非常高且稀疏。而词嵌入会把每个单词映射到一个低维的连续向量，例如 100 维或者 300 维。这些向量是通过神经网络训练得到的，训练目标是让在语义上相近的单词在向量空间中的距离也相近。