BERT训练中,精度和召回率没有变化。
创始人
2024-11-30 23:00:41
0

如果在 BERT 训练期间没有精度或召回率的变化,有以下几个可能的原因:

  1. 数据集的标注存在问题,导致模型无法学习准确的类别和特征。
  2. 模型的学习率(learning rate)设置过低或过高,导致模型无法收敛或过拟合。
  3. 数据集中不平衡的类别分布可能影响评估指标。
  4. 模型架构或参数不适合数据集和任务,因此需要进行调整和优化。

针对这个问题,我们可以尝试以下调整方法:

  1. 检查数据集的标注是否正确,尝试修改标注,并重新训练模型。
  2. 调整学习率的大小,并观察模型在验证集上的性能。
  3. 使用 F1-score 等更合适的评估指标,并考虑对数据集进行重新采样或数据增强操作。
  4. 使用其他预训练模型或自定义模型来获得更好的性能。

参考代码:

  1. 调整学习率
from transformers import AdamW
from transformers import get_linear_schedule_with_warmup

optimizer = AdamW(model.parameters(), lr=5e-5, eps=1e-8)
scheduler = get_linear_schedule_with_warmup(optimizer, num_warmup_steps=0, 
                     num_training_steps=num_train_optimization_steps)
  1. 使用 F1-score
from sklearn.metrics import f1_score

outputs = model(inputs)
_, predicted = torch.max(outputs, 1)
f1_score(y_true, predicted, average='weighted')
  1. 数据增强
from nlpaug.augmenter.sentence import ContextualWordEmbsForSentenceAug

aug = ContextualWordEmbsForSentenceAug(model_path='bert-base-

相关内容

热门资讯

做出回应!四川家园茶馆辅助(辅... 做出回应!四川家园茶馆辅助(辅助)果然真的有辅助技巧(有挂辅助)1、玩家可以在四川家园茶馆辅助透视最...
相较于以往!广东老友麻将有挂吗... 相较于以往!广东老友麻将有挂吗(辅助)确实真的有辅助app(有挂详细)1、操作简单,无需广东老友麻将...
据报道!开心十三张有没有挂(辅... 据报道!开心十三张有没有挂(辅助)真是是有辅助技巧(有挂方略)1、开心十三张有没有挂辅助器安装包、开...
复盘辅助挂!皮皮四川麻辣(辅助... 复盘辅助挂!皮皮四川麻辣(辅助)其实确实有辅助插件(真实有挂)皮皮四川麻辣是不是有人用挂微扑克wpk...
2026版教学!蜂娱辅助(辅助... 2026版教学!蜂娱辅助(辅助)好像真的是有辅助方法(有挂工具)在进入蜂娱辅助软件靠谱后,参与本局比...
做出回应!家乡大二的技巧(辅助... 做出回应!家乡大二的技巧(辅助)其实真的有辅助技巧(有挂猫腻)家乡大二的技巧是不是有人用挂微扑克wp...
连日来!四川麻将血战到底定制插... 连日来!四川麻将血战到底定制插件辅助(辅助)好像是真的有辅助软件(确实有挂)1、全新机制【四川麻将血...
第三方插件!微乐自建房辅助可信... 第三方插件!微乐自建房辅助可信吗(辅助)原来真的有辅助工具(有挂技巧)运微乐自建房辅助可信吗辅助工具...
近日!大唐麻将开挂软件(辅助)... 近日!大唐麻将开挂软件(辅助)好像是有辅助方法(有挂方式)1、下载好大唐麻将开挂软件脚本下载之后点击...
值得注意的是!拼十app辅助(... 值得注意的是!拼十app辅助(辅助)都是存在有辅助教程(有挂教程)1、游戏颠覆性的策略玩法,独创攻略...