Antlr4是否能记忆化tokens？
创始人
2024-11-08 06:30:22
0次

Antlr4能够记忆化tokens，也称为token memoization。默认情况下，Antlr4不启用token memoization，但可以通过以下方式启用：

  1. 在语法文件中添加@parser::members{...}或@lexer::members{...}块，并在其中声明一个TokenStreamRewriter对象。例如：

@parser::members { TokenStreamRewriter rewriter; }

  1. 在解析过程中调用rewriter.getTokenStream().mark()方法，以将当前位置作为记忆点。例如：

parser.getTokenStream().mark();

  1. 在解析后调用rewriter.getTokenStream().release()方法，以释放所有标记点之后的tokens。例如：

parser.myRule(); rewriter.getTokenStream().release(ParserRuleContext.EMPTY);

注意：token memoization会使用额外的内存来存储tokens，因此在处理大规模文本时应该格外小心。

上一篇：Antlr4生成的java代码中访问者模式的混淆。

下一篇：ANTLR4是否能为扫描器中的模式匹配生成DFA？

相关内容

热门资讯

有挂透视！德普之星辅助工具如何... 有挂透视！德普之星辅助工具如何设置，微乐家乡游戏攻略，妙招教程（讲解有挂）-哔哩哔哩1、很好的工具软...
科普透视!智星菠萝透视!都是真... 科普透视!智星菠萝透视!都是真的是有辅助教程(有挂助手)-哔哩哔哩1、金币登录送、破产送、升级送、活...
科普透视！aapoker怎么提... 科普透视！aapoker怎么提高中牌率，微乐江苏小程序游戏破解器下载，策略教程（有挂教学）-哔哩哔哩...
普及透视!智星菠萝可以辅助吗!... 普及透视!智星菠萝可以辅助吗!果然是真的有辅助教程(有挂技术)-哔哩哔哩1、在智星菠萝可以辅助吗插件...
详情透视！wepoker的辅助... 详情透视！wepoker的辅助器，微乐小程序辅助器脚本，方式教程（有挂猫腻）-哔哩哔哩1、首先打开w...
详细透视!fishpoker透... 详细透视!fishpoker透视底牌!本来有辅助工具(确实有挂)-哔哩哔哩1、fishpoker透视...
专业透视！竞技联盟破解版最新版... 专业透视！竞技联盟破解版最新版，微信小程序微乐挂如何获取，法门教程（竟然有挂）-哔哩哔哩1、起透看视...
分享透视!约局吧能不能开挂!切... 分享透视!约局吧能不能开挂!切实真的有辅助攻略(确实有挂)-哔哩哔哩1、超多福利：超高返利，海量正版...
分享透视！hhpoker是正规... 分享透视！hhpoker是正规的吗，微乐自建房辅助神器怎么安装，资料教程（的确有挂）-哔哩哔哩1、下...
教你透视!pokemmo内置修... 教你透视!pokemmo内置修改器!一贯是有辅助脚本(发现有挂)-哔哩哔哩1、pokemmo内置修改...