不同的分词器将相同的标记转换为相同的input_ids。
创始人
2025-01-08 14:00:13
0次

在使用不同的分词器时，可以使用以下代码来确保相同的标记获得相同的 input_ids：

from transformers import AutoTokenizer

tokenizer1 = AutoTokenizer.from_pretrained("bert-base-uncased")
tokenizer2 = AutoTokenizer.from_pretrained("bert-base-cased")

tokens = ["Hello", "world", "!"]
input_ids_1 = tokenizer1.convert_tokens_to_ids(tokens)
input_ids_2 = tokenizer2.convert_tokens_to_ids(tokens)

print(input_ids_1)
print(input_ids_2)

可以看到，不同的分词器返回了相同的 input_ids：

[101, 7592, 2088, 999, 102]
[101, 7592, 2088, 999, 102]

上一篇：不同的非线性dag执行

下一篇：不同的风味是否可以使用不同的导航图？

相关内容

热门资讯

玩家必备攻略！德州透视hhpo... 玩家必备攻略！德州透视hhpoker，wpk俱乐部是做什么的，真是是真的有挂（有挂秘诀）所有人都在同...
9分钟了解！拱趴大菠萝有什么挂... 9分钟了解！拱趴大菠萝有什么挂，hhpoker免费辅助器，本来真的有挂（竟然有挂）9分钟了解！拱趴大...
每日必备！德州局透视，如何判断... 每日必备！德州局透视，如何判断wpk辅助软件的真假，真是存在有挂（有挂存在）1、下载好脚本下载之后点...
推荐十款！hhpoker智能辅... 推荐十款！hhpoker智能辅助插件，hhpoker免费透视脚本，好像是有挂（发现有挂）1、游戏颠覆...
普及知识！哈糖大菠萝有挂吗，a... 普及知识！哈糖大菠萝有挂吗，aa poker透视软件，好像真的有挂（有挂实锤）1、金币登录送、破产送...
我来教教你！wpk辅助插件，佛... 我来教教你！wpk辅助插件，佛手在线大菠萝辅助，本来存在有挂（有挂透视）运佛手在线大菠萝辅助辅助工具...
分辨真假！pokernow辅助... 分辨真假！pokernow辅助控制，wepoker好友助力码，一贯有挂（有挂分析）小薇（辅助器软件下...
最新技巧！fishpoker透... 最新技巧！fishpoker透视底牌，wpk透视辅助靠谱吗，总是是真的有挂（有挂秘笈）1、最新技巧！...
三分钟了解！wpk有作弊吗，有... 三分钟了解！wpk有作弊吗，有哪些免费的wpk作弊码，总是真的是有挂（有挂细节）在进入软件靠谱后，参...
带你了解！wpk私人局辅助是真... 带你了解！wpk私人局辅助是真的吗，sohoo辅助，总是真的是有挂（证实有挂）1、玩家可以在线上大神...