该错误是因为RobertaForMaskedLM没有bert属性导致的。可以在代码中使用model属性来代替bert属性,如下所示:
from transformers import RobertaForMaskedLM model = RobertaForMaskedLM.from_pretrained('roberta-base') inputs = "Hello, my name is [MASK]." input_ids = tokenizer.encode(inputs, add_special_tokens=True, return_tensors="pt") outputs = model(input_ids) predicted_index = torch.argmax(outputs[0][0], dim=-1) predicted_token = tokenizer.convert_ids_to_tokens([predicted_index])[0] print(predicted_token)
在此示例中,使用model属性代替bert属性可以解决属性错误问题。
上一篇:BERT512限制是如何工作的?