BertTokenizeradd_token函数无法正常工作。
创始人
2024-11-30 23:00:13
0次
在使用 Bert Tokenizer 中新增 token 时，需要使用 add_tokens 函数而不是 add_token。add_token 函数只能用于新增单个 token，如果想新增多个 token，需要使用 add_tokens 函数。示例代码如下：
from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
tokenizer.add_tokens(['new_token_1', 'new_token_2'])
encoded_input = tokenizer("This is a new_token_1")
print(encoded_input)
在这个例子中，我们使用 add_tokens 函数向 tokenizer 添加了两个新的 token。然后，我们使用修改后的 tokenizer 对一个字符串进行编码，输出编码结果，以检查新增 token 是否生效。
相关内容
热门资讯
两分钟辅助！开心泉州小程序开挂...
两分钟辅助！开心泉州小程序开挂有什么技巧，原来真的是有辅助插件（有挂教学）开心泉州小程序开挂有什么技...
七分钟辅助！奇迹脚本辅助，真是...
七分钟辅助！奇迹脚本辅助，真是有辅助软件（确实有挂）1、超多福利：超高返利，海量正版游戏，奇迹脚本辅...
一分钟辅助！天天贵阳智能辅助器...
一分钟辅助！天天贵阳智能辅助器，原来是有辅助脚本（真的有挂）亲，关键说明，天天贵阳智能辅助器透视脚本...
3分钟辅助！一起宁德钓蟹黑科技...
3分钟辅助！一起宁德钓蟹黑科技辅助软件推荐，其实真的有辅助挂（有挂存在）1、玩家可以在一起宁德钓蟹黑...
第二分钟辅助！大菠萝789辅助...
第二分钟辅助！大菠萝789辅助器下载，原来存在有辅助挂（存在有挂）运大菠萝789辅助器下载辅助工具，...
3分钟辅助！科乐填坑辅助，原来...
3分钟辅助！科乐填坑辅助，原来真的是有辅助器（有挂方略）1、下载好科乐填坑辅助透视辅助下载之后点击打...
3分钟辅助！潮友会透视辅助教程...
3分钟辅助！潮友会透视辅助教程，果然存在有辅助器（有挂辅助）亲，关键说明，潮友会透视辅助教程透视脚本...
4分钟辅助！福建兄弟十三冰修改...
4分钟辅助！福建兄弟十三冰修改器，本来真的是有辅助app（有挂讲解）1、游戏颠覆性的策略玩法，独创攻...
第二分钟辅助！wepoker插...
第二分钟辅助！wepoker插件程序，真是是真的有辅助技巧（有挂细节）1、不需要AI权限，帮助你快速...
1分钟辅助！悠悠互娱辅助，真是...
1分钟辅助！悠悠互娱辅助，真是是有辅助神器（有挂解密）悠悠互娱辅助透视方法中分为三种模型：悠悠互娱辅...