下面是一个使用Hugging Face库中的transformers包来比较BERT模型中CLS嵌入与单个输出的代码示例:
from transformers import BertTokenizer, BertModel
# 加载BERT模型和预训练的权重
model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertModel.from_pretrained(model_name)
# 输入文本
text = "Hello, how are you doing today?"
# 分词和编码
input_ids = tokenizer.encode(text, add_special_tokens=True)
input_ids = torch.tensor(input_ids).unsqueeze(0) # 添加batch维度
# 前向传播
outputs = model(input_ids)
last_hidden_state = outputs.last_hidden_state # 获取最后一层的隐藏状态
pooler_output = outputs.pooler_output # 获取CLS嵌入
# 打印结果
print("Last hidden state shape:", last_hidden_state.shape)
print("CLS embedding shape:", pooler_output.shape)
以上代码使用Hugging Face的transformers库加载了预训练的BERT模型和对应的tokenizer。然后,我们将要处理的文本进行分词和编码,并通过模型的model
变量进行前向传播。
在输出中,last_hidden_state
变量是一个形状为[batch_size, sequence_length, hidden_size]的张量,代表了每个标记的隐藏状态。pooler_output
变量是形状为[batch_size, hidden_size]的张量,代表了CLS嵌入。
你可以根据需要使用这些变量来提取和比较不同的嵌入表示。