不同的分词器将相同的标记转换为相同的input_ids。
创始人
2025-01-08 14:00:13
0次

在使用不同的分词器时，可以使用以下代码来确保相同的标记获得相同的 input_ids：

from transformers import AutoTokenizer

tokenizer1 = AutoTokenizer.from_pretrained("bert-base-uncased")
tokenizer2 = AutoTokenizer.from_pretrained("bert-base-cased")

tokens = ["Hello", "world", "!"]
input_ids_1 = tokenizer1.convert_tokens_to_ids(tokens)
input_ids_2 = tokenizer2.convert_tokens_to_ids(tokens)

print(input_ids_1)
print(input_ids_2)

可以看到，不同的分词器返回了相同的 input_ids：

[101, 7592, 2088, 999, 102]
[101, 7592, 2088, 999, 102]

上一篇：不同的非线性dag执行

下一篇：不同的风味是否可以使用不同的导航图？

相关内容

热门资讯

德扑之星猫腻！德扑之星刷数据，... 德扑之星猫腻！德扑之星刷数据，wpkplus有辅助器，微扑克教程（有挂总结）是一款可以让一直输的玩家...
WePoKe透明挂！德州辅助神... WePoKe透明挂！德州辅助神器wpk，德州ai智能辅助，2025教程（有挂黑科技）；小薇（透视辅助...
WePoKe透视挂！wpk辅助... WePoKe透视挂！wpk辅助实时策略建议，wpk开挂实锤，德州教程（有挂总结）1、金币登录送、破产...
aapoker有外挂！微扑克俱... 您好，aapoker有外挂这款游戏可以开挂的，确实是有挂的，需要了解加微【136704302】很多玩...
wepoke真的有挂！wepo... wepoke真的有挂！wepoke能赢嘛，wepoke有机器人，安装教程（有挂教程）是一款可以让一直...
wepoke辅助机器人！aap... wepoke辅助机器人！aapoker外挂教程，wpk可以检测伙牌，第三方教程（有挂黑科技）1）we...
wpk透视辅助测试！wepok... 您好，wpk透视辅助测试这款游戏可以开挂的，确实是有挂的，需要了解加微【136704302】很多玩家...
智星德州菠萝辅助器！微扑克专用... 智星德州菠萝辅助器！微扑克专用辅助程序怎么用的啊，wepoke 软件，科技教程（有挂详情）1、在智星...
wepoke是真的有挂！菠萝德... wepoke是真的有挂！菠萝德州偷偷看功能，德州可能有外挂，透牌教程（有挂了解）1、不需要AI权限，...
wpk透视辅助测试！德州aap... wpk透视辅助测试！德州aapoker下载，鱼扑克辅助，靠谱教程（有挂攻略）1、不需要AI权限，帮助...