boost::tokenizer详解

2024-06-15 03:18
文章标签 详解 boost tokenizer

本文主要是介绍boost::tokenizer详解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

tokenizer 库提供预定义好的四个分词对象, 其中char_delimiters_separator弃用. 其他如下:

1. char_separator

char_separator有两个构造函数
1. char_separator()
使用函数 std::isspace() 来识别被弃分隔符,同时使用 std::ispunct() 来识别保留分隔符。另外,抛弃空白单词。(见例2)
2. char_separator(// 不保留的分隔符
                               const Char* dropped_delims,
                               // 保留的分隔符
                               const Char* kept_delims = 0, 
                               // 默认不保留空格分隔符, 反之加上改参数keep_empty_tokens
                               empty_token_policy empty_tokens = drop_empty_tokens) 

该函数创建一个 char_separator 对象,该对象被用于创建一个 token_iterator 或 tokenizer 以执行单词分解。dropped_delims 和 kept_delims 都是字符串,其中的每个字符被用作分解时的分隔符。当在输入序列中遇到一个分隔符时,当前单词即完成,并开始下一个新单词。dropped_delims 中的分隔符不出现在输出的单词中,而 kept_delims 中的分隔符则会作为单词输出。如果 empty_tokens 为 drop_empty_tokens, 则空白单词不会出现在输出中。如果 empty_tokens 为 keep_empty_tokens 则空白单词将出现在输出中。 (见例3)

2. escaped_list_separator

escaped_list_separator有两个构造函数
下面三个字符做为分隔符: '\', ',', '"'
1. explicit escaped_list_separator(Char e = '\\', Char c = ',',Char q = '\"');    
参数描述
e指定用作转义的字符。缺省使用C风格的\(反斜杠)。但是你可以传入不同的字符来覆盖它。
如果你有很多字段是Windows风格的文件名时,路径中的每个\都要转义。
你可以使用其它字符作为转义字符。
c指定用作字段分隔的字符
q指定用作引号的字符
2. escaped_list_separator(string_type e, string_type c, string_type q):
参数描述
e字符串e中的字符都被视为转义字符。如果给定的是空字符串,则没有转义字符。
c字符串c中的字符都被视为分隔符。如果给定的是空字符串,则没有分隔符。
q字符串q中的字符都被视为引号字符。如果给定的是空字符串,则没有引号字符。

3. offset_separator

offset_separator 有一个有用的构造函数
template<typename Iter>
  offset_separator(Iter begin,Iter end,bool bwrapoffsets = true, bool breturnpartiallast = true);

参数描述
begin, end指定整数偏移量序列
bwrapoffsets指明当所有偏移量用完后是否回绕到偏移量序列的开头继续。
例如字符串 "1225200101012002" 用偏移量 (2,2,4) 分解,
如果 bwrapoffsets 为 true, 则分解为 12 25 2001 01 01 2002.
如果 bwrapoffsets 为 false, 则分解为 12 25 2001,然后就由于偏移量用完而结束。
breturnpartiallast指明当被分解序列在生成当前偏移量所需的字符数之前结束,是否创建一个单词,或是忽略它。
例如字符串 "122501" 用偏移量 (2,2,4) 分解,
如果 breturnpartiallast 为 true,则分解为 12 25 01.
如果为 false, 则分解为 12 25,然后就由于序列中只剩下2个字符不足4个而结束。

例子

[cpp] view plain copy print ?
  1. void test_string_tokenizer()  
  2. {  
  3.     using namespace boost;  
  4.   
  5.     // 1. 使用缺省模板参数创建分词对象, 默认把所有的空格和标点作为分隔符.   
  6.     {  
  7.         std::string str("Link raise the master-sword.");  
  8.   
  9.         tokenizer<> tok(str);  
  10.         for (BOOST_AUTO(pos, tok.begin()); pos != tok.end(); ++pos)  
  11.             std::cout << "[" << *pos << "]";  
  12.         std::cout << std::endl;  
  13.         // [Link][raise][the][master][sword]  
  14.     }  
  15.   
  16.     // 2. char_separator()  
  17.     {  
  18.         std::string str("Link raise the master-sword.");  
  19.   
  20.         // 一个char_separator对象, 默认构造函数(保留标点但将它看作分隔符)  
  21.         char_separator<char> sep;  
  22.         tokenizer<char_separator<char> > tok(str, sep);  
  23.         for (BOOST_AUTO(pos, tok.begin()); pos != tok.end(); ++pos)  
  24.             std::cout << "[" << *pos << "]";  
  25.         std::cout << std::endl;  
  26.         // [Link][raise][the][master][-][sword][.]  
  27.     }  
  28.   
  29.     // 3. char_separator(const Char* dropped_delims,  
  30.     //                   const Char* kept_delims = 0,   
  31.     //                   empty_token_policy empty_tokens = drop_empty_tokens)  
  32.     {  
  33.         std::string str = ";!!;Hello|world||-foo--bar;yow;baz|";  
  34.   
  35.         char_separator<char> sep1("-;|");  
  36.         tokenizer<char_separator<char> > tok1(str, sep1);  
  37.         for (BOOST_AUTO(pos, tok1.begin()); pos != tok1.end(); ++pos)  
  38.             std::cout << "[" << *pos << "]";  
  39.         std::cout << std::endl;  
  40.         // [!!][Hello][world][foo][bar][yow][baz]  
  41.   
  42.         char_separator<char> sep2("-;""|", keep_empty_tokens);  
  43.         tokenizer<char_separator<char> > tok2(str, sep2);  
  44.         for (BOOST_AUTO(pos, tok2.begin()); pos != tok2.end(); ++pos)  
  45.             std::cout << "[" << *pos << "]";  
  46.         std::cout << std::endl;  
  47.         // [][!!][Hello][|][world][|][][|][][foo][][bar][yow][baz][|][]  
  48.     }  
  49.   
  50.     // 4. escaped_list_separator  
  51.     {  
  52.         std::string str = "Field 1,\"putting quotes around fields, allows commas\",Field 3";  
  53.   
  54.         tokenizer<escaped_list_separator<char> > tok(str);  
  55.         for (BOOST_AUTO(pos, tok.begin()); pos != tok.end(); ++pos)  
  56.             std::cout << "[" << *pos << "]";  
  57.         std::cout << std::endl;  
  58.         // [Field 1][putting quotes around fields, allows commas][Field 3]  
  59.         // 引号内的逗号不可做为分隔符.  
  60.     }  
  61.       
  62.     // 5. offset_separator  
  63.     {  
  64.         std::string str = "12252001400";  
  65.   
  66.         int offsets[] = {2, 2, 4};  
  67.         offset_separator f(offsets, offsets + 3);  
  68.         tokenizer<offset_separator> tok(str, f);  
  69.   
  70.         for (BOOST_AUTO(pos, tok.begin()); pos != tok.end(); ++pos)  
  71.             std::cout << "[" << *pos << "]";  
  72.         std::cout << std::endl;  
  73.     }  
  74. }  

这篇关于boost::tokenizer详解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1062285

相关文章

Python正则表达式语法及re模块中的常用函数详解

《Python正则表达式语法及re模块中的常用函数详解》这篇文章主要给大家介绍了关于Python正则表达式语法及re模块中常用函数的相关资料,正则表达式是一种强大的字符串处理工具,可以用于匹配、切分、... 目录概念、作用和步骤语法re模块中的常用函数总结 概念、作用和步骤概念: 本身也是一个字符串,其中

Nginx location匹配模式与规则详解

《Nginxlocation匹配模式与规则详解》:本文主要介绍Nginxlocation匹配模式与规则,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、环境二、匹配模式1. 精准模式2. 前缀模式(不继续匹配正则)3. 前缀模式(继续匹配正则)4. 正则模式(大

Android实现在线预览office文档的示例详解

《Android实现在线预览office文档的示例详解》在移动端展示在线Office文档(如Word、Excel、PPT)是一项常见需求,这篇文章为大家重点介绍了两种方案的实现方法,希望对大家有一定的... 目录一、项目概述二、相关技术知识三、实现思路3.1 方案一:WebView + Office Onl

Java实现优雅日期处理的方案详解

《Java实现优雅日期处理的方案详解》在我们的日常工作中,需要经常处理各种格式,各种类似的的日期或者时间,下面我们就来看看如何使用java处理这样的日期问题吧,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言一、日期的坑1.1 日期格式化陷阱1.2 时区转换二、优雅方案的进阶之路2.1 线程安全重构2

Java中的JSONObject详解

《Java中的JSONObject详解》:本文主要介绍Java中的JSONObject详解,需要的朋友可以参考下... Java中的jsONObject详解一、引言在Java开发中,处理JSON数据是一种常见的需求。JSONObject是处理JSON对象的一个非常有用的类,它提供了一系列的API来操作J

HTML5中的Microdata与历史记录管理详解

《HTML5中的Microdata与历史记录管理详解》Microdata作为HTML5新增的一个特性,它允许开发者在HTML文档中添加更多的语义信息,以便于搜索引擎和浏览器更好地理解页面内容,本文将探... 目录html5中的Mijscrodata与历史记录管理背景简介html5中的Microdata使用M

html5的响应式布局的方法示例详解

《html5的响应式布局的方法示例详解》:本文主要介绍了HTML5中使用媒体查询和Flexbox进行响应式布局的方法,简要介绍了CSSGrid布局的基础知识和如何实现自动换行的网格布局,详细内容请阅读本文,希望能对你有所帮助... 一 使用媒体查询响应式布局        使用的参数@media这是常用的

HTML5表格语法格式详解

《HTML5表格语法格式详解》在HTML语法中,表格主要通过table、tr和td3个标签构成,本文通过实例代码讲解HTML5表格语法格式,感兴趣的朋友一起看看吧... 目录一、表格1.表格语法格式2.表格属性 3.例子二、不规则表格1.跨行2.跨列3.例子一、表格在html语法中,表格主要通过< tab

Linux之计划任务和调度命令at/cron详解

《Linux之计划任务和调度命令at/cron详解》:本文主要介绍Linux之计划任务和调度命令at/cron的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux计划任务和调度命令at/cron一、计划任务二、命令{at}介绍三、命令语法及功能 :at

Java使用SLF4J记录不同级别日志的示例详解

《Java使用SLF4J记录不同级别日志的示例详解》SLF4J是一个简单的日志门面,它允许在运行时选择不同的日志实现,这篇文章主要为大家详细介绍了如何使用SLF4J记录不同级别日志,感兴趣的可以了解下... 目录一、SLF4J简介二、添加依赖三、配置Logback四、记录不同级别的日志五、总结一、SLF4J