BERT预训练-mased_lm准确率一直为零
创始人
2024-11-30 23:00:54
0

这可能是因为在执行预处理数据时出现了问题。请确保您在准备数据时使用了正确的预处理器,并且在输入BERT中使用了正确的预处理标记器。例如,如果您使用的是huggingface transformers库,则可以按照以下方式调用tokenizer和model:

from transformers import BertTokenizer, BertModel

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

encoded_input = tokenizer("Hello, how are you doing today?", return_tensors='pt')
outputs = model(**encoded_input)

此外,请确保您的数据集经过了正确的预处理,以及正确地使用了掩码标记'[MASK]'。如果数据集中没有对应的掩码标记,则无法计算masked_lm_accuracy。

如果所有这些都已正确设置,您还需要准确检查您的数据集是否符合BERT的格式要求,包括正确调整时间步长和batch size,并检查是否存在一些格式上的错误。

相关内容

热门资讯

近期!多乐小程序游戏破解器(辅... 近期!多乐小程序游戏破解器(辅助)切实存在有辅助攻略(了解有挂)1、下载好多乐小程序游戏破解器透视辅...
做出回应!四川家园茶馆辅助(辅... 做出回应!四川家园茶馆辅助(辅助)果然真的有辅助技巧(有挂辅助)1、玩家可以在四川家园茶馆辅助透视最...
相较于以往!广东老友麻将有挂吗... 相较于以往!广东老友麻将有挂吗(辅助)确实真的有辅助app(有挂详细)1、操作简单,无需广东老友麻将...
据报道!开心十三张有没有挂(辅... 据报道!开心十三张有没有挂(辅助)真是是有辅助技巧(有挂方略)1、开心十三张有没有挂辅助器安装包、开...
复盘辅助挂!皮皮四川麻辣(辅助... 复盘辅助挂!皮皮四川麻辣(辅助)其实确实有辅助插件(真实有挂)皮皮四川麻辣是不是有人用挂微扑克wpk...
2026版教学!蜂娱辅助(辅助... 2026版教学!蜂娱辅助(辅助)好像真的是有辅助方法(有挂工具)在进入蜂娱辅助软件靠谱后,参与本局比...
做出回应!家乡大二的技巧(辅助... 做出回应!家乡大二的技巧(辅助)其实真的有辅助技巧(有挂猫腻)家乡大二的技巧是不是有人用挂微扑克wp...
连日来!四川麻将血战到底定制插... 连日来!四川麻将血战到底定制插件辅助(辅助)好像是真的有辅助软件(确实有挂)1、全新机制【四川麻将血...
第三方插件!微乐自建房辅助可信... 第三方插件!微乐自建房辅助可信吗(辅助)原来真的有辅助工具(有挂技巧)运微乐自建房辅助可信吗辅助工具...
近日!大唐麻将开挂软件(辅助)... 近日!大唐麻将开挂软件(辅助)好像是有辅助方法(有挂方式)1、下载好大唐麻将开挂软件脚本下载之后点击...