基于一个中心度图的带有通配符和间隙长度约束的模式匹配

导师：武优西教授学生：沈丛

基于一个中心度图的带有通配符和间隙长度约束的模式匹配• 作者

-Dan Guo, Xuegang Hu, Fei Xie, Xindong Wu• 论文名

- Pattern matching with wildcards and gap-length constraints based on a centrality-degree graph

• 发表期刊或会议及页码- Applied Intelligence 出版年份 2012 页码 1-18- 该文被 EI 索引收录

目录

本文核心内容

• 本文主要提出的是一个图结构 WON 网。这个图代表着一个网络，该网络带有基于每个结点的中心度的权重度量。使用该网络去获取所有候选匹配解；同时本文设计 WOW算法， WOW 代表基于 WON 网的带有通配符的模式匹配。

背景和事例

• 模式匹配的在生物信息学上的例子：• TATA 在 DNA 序列中经常于 CAATCT 之后 30-50 个通配符出

现。• 一个 PROSITE 模式是一带有固定长度间隙为 [4,9] 的字符组

成的序列。• 在信息获取中，带有无用或者“不经心“的字符间隙的词

汇更有意义。

背景和事例

• 例 1 已知 S = gagggcc和 P = g ε0(1,2) ×g ε1(1,2)c, 其中 ε0(1,2) 是一个长度可变的间隙，其通配符个数在 1到 2 之间，通配符 φ可匹配文本中的任意字符。

• 该表表示了模式的出现。

背景和事例

• 在 S 中所有的出现为｛ <0,2,5>,<0,3,5>,<0,3,6>,<2,4,6> ｝。

• 一次性条件下，我们的目标是取得解｛ <0,3,5>,<2,4,6> ｝ ,而非｛ <0,2,5> ｝或者｛ <0,3,6> ｝。

背景和事例• 现存的工作中，没有多项式算法能实现一个关于以上

PMGO 问题的完整解。虽然一系列的算法有提出，但在最优解问题上更胜一筹的算法还未出现。现有的算法均为启发式算法，未考虑在一次性条件下在整个候选解空间中不同出现之间的冲突。

• 本文所做的工作： • （ 1 ）我们提出了一个图结构 WON-Net ，来表示在已知

序列 S 中模式 P 的所有出现。其拥有三个优点：（ a ）它能够处理一个模式，每个子模式可由一些字符组成。（ b）在在 WON-Net 的子结构上的并行执行能在不丢失解的同时改善效率。（ c ）可通过结点的中心度在所有出现中取得每个子模式的频繁度。

背景和事例

• （ 2 ）基于 WON-Net ，提出了 WOW 算法来解决 PMGO问题。比起其他同类算法， WOW 的理念是，出现的权重中心度越小，与其他出现交叠的可能更小，来据此取得最优解。 WOW 比同类算法更为有效和稳定。

• （ 3 ）我们还提出一个调整机制来平衡解与运算时间之间的关系。我们定义了一个新的 WOW 变量， WOW-δ 。理论分析和实验表明， WOW 和 WOW-δ 比同类算法更有效。运行时间也更有优势。

相关工作• 一个通配符可以匹配在一个已知字母表中的任何字符。带

通配符的模式匹配问题首先在文献 16 中有提出。之后， Cole 等人提出了在模式中带有固定长度的通配符。 U.Manber 等人描述了带有间隙约束为 [0,g] 的通配符，其中 g 为一个可变的长度。在文献 17 中，提出有另一个间隙约束，其中的通配符有着同样的间隙约束 [a,b](a≤b), 诸如 Aε(1, 3)Cε(1, 3)Gε(1, 3)C.

• 【 16 】 Fischer MJ, Paterson MS (1974) String matching and other products.Technical report, Massachusetts Institute of Technology,Cambridge, MA, USA

• 【 17 】 Zhang M, Kao B, Cheung DW, Yip KY (2005) Mining periodic patterns with gap requirement from sequences. In: Proceedings of ACM SIGMOD, Baltimore, Maryland, USA, pp 623–633

相关工作• 通过打破该限制， Navarro 和 Raffinot 提出了一个更为灵

活的定义，用户被允许分别用不同长度的约束来指定通配符，例如模式 P=Aε(0, 2)Cε(1, 3)G 。为了移除大量无用的信息，在问题中兼有非重叠条件和一次性条件。 Ding 等人提出非交叠的条件，其不允许相同字符在已知序列中的同一个位置出现超过一次。一次性条件更为严格。

• 本文中，我们关注于定义在文献【 8】中带有可变通配符的问题和文献【 15】中一次性条件问题。

• 【 8】 Navarro G, Raffinot M (2002) Flexible pattern matching in strings—practical on-line search algorithms for texts and biological sequences. Cambridge University Press, Cambridge

• 【 15】 Chen G, Wu X, Zhu X, Arslan AN, He Y (2006) Efficient string matching with wildcards and length constraints. Knowl Inf Syst 10(4):399–419

相关工作• 在带有通配符的模式匹配问题上已经有一些研究努力成果

。该问题也已经被延伸至近似匹配，模式挖掘，模式建模，等等。当前在带有通配符的模式匹配上的努力， Gaps-Shift-And 和 Gaps-BNDM 不能处理间隙约束为 [0,g] 这样的两个通配符间有一个字符的模式。他们只能表示模式中每个出现的初始的或者最终的字符位置。 PAIG 和 NAMEIC 改善了在模式匹配时间上的效率。但是它们不能处理在一次性条件下的问题。而且，在 NAMEIC 中的图结构一定要被描述为一个字符。其缺乏可变性。进一步地， SAIL 和BPBM 以及快速搜索（ Quicksearch ）能有效地处理一次性条件下的序列模式的的匹配。但是这些基于一个局部启发式策略（最左最优）的算法没有更优的解来处理在线模式匹配。

相关工作

• 不同于通过从头至尾地扫描序列的 SAIL 算法， RSAIL 和HSO 通过通过反方向扫描序列来取得一个最优解。 Wu 等人则提出基于 HSO 的 AGSP 和 SBO 算法。然而，没有算法在最优解上胜过其他。以上算法在整个解集上缺乏理论性的分析。

• 本文中打破了限制，子模式可以是连续间隙间的一个或若干个字符。同时考虑间隙长度条件和一次性条件来取得每个子模式的确切匹配位置。本文的工作度量了一个出现在整个候选出现空间中的影响来取得最优解。

问题陈述

• 已知一个主序列 S 和一个带有通配符的模式 P ，我们的目标是取得 S 中关于 PMGO （带有间隙长度约束和一次性条件的模式匹配）问题的 P 的出现。

• 用于抽取模式的序列 S=s0s1……sn-1称为主序列。模式P=p0ε0(N0,M0)p1 · · · εm−2(Nm−2,Mm−2)pm−1 是带有通配符的一个序列，其中一个通配符可匹配任意字符，子模式pi （ 0≤i≤m-1 ）是一个不带有通配符的序列，间隙εi(Ni,Mi) (Ni ≤ Mi ) 代表 pi 和 pi+1 之间通配符的局部长度约束 [Ni,Mi] 。

问题陈述

• 例如， ε0(9, 12) 匹配 p0 和 p1 之间长度为 9,10,11 或者 12的任意字符。然后， [GN,GM](GN≤GM) 是带有间隙的 P 的全局长度约束。令 |PGL| 作为模式 P 的全局长度。

• P 的长度必须满足

问题陈述

• 定义 3.1 一个出现 occ=(k0,……,km-1) 是带有间隙约束的 S 中P 的一个位置序列。在 S 中的位置 ki ，存在 pi ， 0 ≤ i < m, 0 ≤ ki < n 。其须满足如下的长度间隙约束：

• 定义 3.2 假设 occ1=<k0,……,km-1>,occ2=<h0,……,hm-1> 是 P 的两个出现。 Set_occ1 = ∪0≤i<m{ki, ki + 1, . . . , ki + |pi| − 1}且 Set_occ2 = ∪0≤i<m{hi,hi + 1, . . . , hi + |pi| − 1}. 如果 Set_occ1 ∩ Set_occ2 = null, 我们称其满足一次性条件。

问题陈述• 性质 3.1 令 OPMGO(P,S) 作为在 S 中 P 的关于 PMGO 问题的一个解，

OPMG(P,S) 作为一个集，其包含 S 中 P 的所有出现。 |OPMGO(P,S)| 是OPMGO(P,S) 中出现的数目， |OPMG(P,S)| 是在 OPMG(P,S) 中出现的数目。 OPMGO(P,S) O⊆ PMG(P,S) 。

• 例 2 已知 S=ggggggcc, P=gg ε0(1,2) ×g ε1(1,2)c, 且[GN,GM]=[6,8],p0=gg,p1=g,p2=c 。

• OPMG(P,S)={<0,3,6>,<0,4,6>,<0,4,7>,<1,4,6>,<1,4,7>,<1,5,7>,<2,5,7>} 。 | OPMG(P,S)|=7 。

• OPMGO(P,S)={<0,3,6>} 或者 {<0,4,6>,<2,5,7>} 或者 {<0,4,7>} 或者 {<1,4,6>}或者 {<1,4,7>} 或者 {<1,5,7>} 或者 {<2,5,7>} 。如表 1 中所示， occ0,occ1,occ2,occ3,occ4 和 occ5共享在 S 中第一个位置的 g 字符。 Occ0 和 occ6共享在 S 中第三个位置的 g 字符。

• OPMGO_MAX(P ， S)={occ1,occ5}={<0,4,6>,<2,5,7>} 。 | OPMGO_MAX(P ， S)|=2。这里 <0,4,6>,<2,5,7>满足一次性条件。

WON-Net （ P,S ）和度• 这一部分定义了数据结构 WON-Net 来表示 S 中 P 的所有出现。已知

相关性质。• 4.1 WON-Net （ P ， S ）• WON-Net （ V ， E ）是一个与每个结点的中心度相关的直接图，其中

V 和 E 分别是一组结点和边。如同在树的理论中，其有父结点，子结点，叶结点。我们定义每个结点的中心度是 WON-Net 中通过该结点的从根结点到叶结点的路径数。

WON-Net （ P,S ）和度• 定义 4.1 已知一个模式 P 和一个主序列 T ，我们构造一个直接图

WON-Net 。如果在 WON-Net 中从根结点到叶结点的路径对应 S 中 P的所有出现， WON-Net视为 PMGO 问题的候选出现空间，表示为WON-Net （ P,S ）。在出现 Occ=<occ0,…… ， occj,…… ， occm-1> 中对应于 occj 结点的层是 j ， 0 ≤ j ≤ m 。

• 对于在 WON-Trie= （ VT,ET ）中 WON-Net 中第 j层的结点 n, 有Set_n={n,n+1,……,n+|pj|-1} 。

• 定义 4.2 如果WON-Trie= （ VT,ET ），满足 SetTrie ∩SetNet-Trie = null ，我们说WON-Trie 是 WON-Net 的一个子结构。这里， SetTrie = ∪ n WON-Trie ∈

Set_n 并且 SetNet-Trie = ∪ n {WON-Net−WON-Trie}∈ Set_n.

WON-Net （ P,S ）和度• 性质 4.1 存在 OPMGO(P,S) O⊆ PMG(P,S) ≌ {Path}, 其中 Path=<root node,

……,leaf node> WON-Net(P,S)∈ 。• 性质 4.2 WON-Net(P,S) = ∪ 0≤i<|Net|, 其中 WON-Trie i(P, S) ∩ WON-Triej (P, S)

= null (i ≠ j) 。• 这里， 0 ≤ i, j < |Net|, |Net| 是 WON-Net(P,S) 中子结构的数目， |Net|

≥1 。

中心度• 在 WON-Net （ P,S ）中出现于第 i 个子结构 WON-Triei （ P,S ）的第 j层的结点 n 表示为 ni,j 。对于结点 ni,j ，我们定义 ni,j 的入度 Din(ni,j) 作为从根结点到 ni,j 的路径数。 ni,j 的出度 Dout(ni,j) 作为从叶子结点到 ni,j 的路径数。则， ni,j 的中心度 D(ni,j) 是经过 ni,j 的从根结点到叶结点的路径数。其等于入度乘以出度。结点 ni,j 的中心度表明了子模式的频度，而 pj 表示在所有出现中第 j 个匹配的位置。 D （ n ）表示 ni,j 的中心度的总和， 0≤j≤m 。

中心度

• 公式 4.1

• 其中 nki,j-1 是 ni,j 的第 k

个双亲结点， h 是 ni,j

的双亲结点数。• 其中 nk

i,j+1 是 ni,j 的第 k个子结点， h 是 ni,j 的子结点数。

中心度

• 性质 4.3 如果 n∈WON-Triei(P,S), 存在 D （ ni,j ） |WON-Trieh(P,S)=0(i≠h), 并且 D （ n ） |WON-Net(P,S)=D(n)|WON-Triei(P,S) 。

• 目前已有的工作中，子模式的长度是 1 。为了方便将本文的工作同先前的工作【 15 ， 20-22】做比较，

• 【 15】 Chen G, Wu X, Zhu X, Arslan AN, He Y (2006) Efficient string matching with wildcards and length constraints. Knowl Inf Syst 10(4):399–419

• 【 20】 Guo D, Hong X, Hu X, Gao J, Liu Y, Wu G, Wu X (2011) A bitparallel algorithm for sequential pattern matching with wildcards. Cybern Syst 42(6):382–401

• 【 21】 Wang H, Xie F, Hu X, Li P, Wu X (2010) Pattern matching with flexible wildcards and recurring characters. In: 2010 IEEE international conference on granular computing (GrC 2010), Silicon Valley, USA, 2010. IEEE Comput Soc, Los Alamitos, pp 782–786

• 【 22】 Wu Y, Wu X, Jiang H, Min F (2011) A heuristic algorithm for MPMGOOC. Chin J Comput 32(8):1452–1462

中心度• 这里在例 3 中设置 |pi|=1(0≤i≤m) ，其中 m 是子模式数。

实际上，本文中处理的情形都是 |pi|>1(0≤i≤m) 。• 例 3 S=ttcctcctcaadttctccttcdddttcatcac,P=tε0(0, 2)cε1(0, 2)tε

2(0, 2)c,GN=4, GM=10 。如图， WON-Net(P,S) 分解为 WON-Trie0,WON-Trie1,WON-Trie2 。结点 161 ， 3 代表出现在 WON-Trie1第三层中的结点，在图中表示为

• Din(161,3)=2,Dout(161,3)=1,D(161,3)=2×1=2,D(16)=D(161,3)+D(16

1,1)=2×1+2×2=4

子树

• 根据 WON-Net(P,S) 中子结构的独立性，我们可分别处理 WON-Trieg(P,S)(0≤g<|Net|) 。对于每个 WON-Trieg(P,S)(0≤g<|Net|) ，基于最小结点的层，我们将WON-Trieg(P,S)划分为多个子树。如果某些层有同样最小的结点，我们选择最靠近叶结点的层。

• 将WON-Trieg(P,S)简化为 Tg ，将 Tg 中的第 i 个子树化简为 S

i,g ，在 Si,g 中的第 k 个出现写做 occk,i,g 。 |Tg| 是在 Tg 中子树的个数。 |Si,g| 是在 Si,g 中从根结点到叶结点的路径数。

子树

• Si,g = (VS,ES) Tg = (VT ⊆,ET ) WON-Net = (V ,E⊆) 。

• 可在子树 Si,g 上使用公式 4.1 来取得 Dnode Si,g∈ 和 Docc{nodek} Si,g∈ 。

子树• 其中 m 是 P 的子模式的数目， Dnode Si,g∈ 是在 Si,g

中包含结点出现的数目。• 例 4 如在例 3 和图 2 中所示，根结点在第 0层

。划分为 T0 和 T1 。• T0 在第 2层有两个子树。在第三层中将 T1划分

为 S0,1,S1,1,S2,1 。其表明了在 S0,1 中，结点 151 ， 2

的中心度为 2×1=2 ，但是在 T1 中 2×2=4 。

子树

• 其中 m 是 P 的子模式的数目， Dnode Si,g∈ 是在 Si,g 中包含结点出现的数目。

• 例 4 如在例 3 和图 2 中所示，根结点在第 0层。划分为 T0

和 T1 。• T0 在第 2层有两个子树。在第三层中将 T1划分为 S0,1,S1,1,S2,

1 。其表明了在 S0,1 中，结点 151 ， 2 的中心度为 2×1=2 ，但是在 T1 中 2×2=4 。

权重中心度量

• 在这部分中，我们定义了权重中心度量，记录了 WON-Net中从根结点到叶结点的距离（横切结点的数目）。距离（重叠）越小，中心度越小。这里使用了两种测度方法：聚簇和局部化。聚簇的测度捕捉了子树的中心度。局部测度捕捉了在一个子树中一个单一出现的中心度。权重特征表示怎样中心化其某单元（聚簇或者局部化）与如何中心化所有其他的单元 (聚簇或者局部化 ) 在 WON-Net 相关联。

权重中心度量

• 定义 5.1 我们定义距离 docc,occ' 作为 occ 与 occ' 之间相交叠字母的数目。

• 正如例 3 中，如果 occ=<12,14,15,17> 和 occ'=<15,17,19,20>,docc,occ'=2

权重中心度量

• 性质 5.1 如果 h≠g,则存在 CWC[Si,g]|Th=0并且 LWC[occk,i,g]|Th=0。

时间复杂度代价对于通过公式 5.1计算所有不同出现对的代价过高。基于子树中结点中心度由公式 5.1改进至 5.2。 在一棵子树中只有一个结点的层表示为第 dep层。在子树中第 dep层的唯一个结点表示为 nodedep 。

算法设计

• 对于 PMGO 问题，我们设计了 WOW 算法（基于 WON-Net）的带有通配符的模式匹配。首先，基于 WON-Net （ P,S），其确保了候选出现的完整度。其次，基于子结构的独立性（性质 4.1 （ 2 ）），分别处理 Tg((0 ≤ g <|Net|) 。在｛ Tg ｝上并行处理可有效提高效率。第三，根据定理 6.1--6.5 中的条件，使用 LMO( 最左优化 )策略和 RMO( 最优优化 )策略来实现最优解。最后，为改善在一次性条件下结点的利用率，设计了带有权重中心度测度的 CMP （中心度测度修剪）策略来取得最小中心度聚簇 Si,g ， 然后选择在 Si,g 中最小中心度局部单元 occ 。

算法设计

• 如图 3 中所示和算法 1 ， WOW 算法的过程如下。首先，基于搜索在 S 中的每个子模式 pi(0≤i≤ m−1) , 构造WON-Net(P,S) ，并将其分解为子结构。 {Tg}, 0 ≤ g < |Net| 。其次，对于每个 Tg ，选择一个出现。

算法设计• （ a ）如果 P 没有冗余子

模式，或者每个间隙有着同样的大写和小写限制（Ni=Mj for i, 0≤i<m-1∀ ）或者 Tg 没有自由结点（后面的定义 6.1 ），使用 LMO(最左优化 )策略和 RMO( 最优优化 )策略来实现最优解。

算法设计• （ b ）否则，使用 CMP

（中心度测度修剪）策略取得最优解。还使用了 RMO策略来替代 LMO策略。 LMO 可以处理在线过程，但是 RMO 和 CMP 不能。之后，将出现放入 OP

MGO_Tg(P, S) ，并使用出现修剪策略来更新 Tg 。该过程循环执行直到 Tg 不再有一个出现。这里 OPMGO_Tg(P, S)是一个在 Tg 中 OPMGO(P, S)的子集。最后，将 OPMGO_Tg(P, S)放入 OPMGO(P, S) 。

LMO/RMO

• LMO策略从在 Tg 中的第 0层到第 m-1层选取最左结点，如算法 2 ，其中 m 是P 的子模式数目。 RMO策略相似于 LMO策略。但是RMO策略选择的是最右结点，如算法 3 。

• 如例 3 ，通过 LMO 得到像 <0,

2,4,5> 这样的第一个出现，通过 RMO 取得 <4,6,7,8> 。

CMP

• LMO/RMO策略可有效得处理算法 1 的第 4步中提到的情况。然而，在现实世界中的多数模式是没有这些特征的无序状态。在算法 4 中， CMP策略可处理权重中心测度的大多数模式。思想是一个出现的中心度越小，和其他相重叠的越小。因此，应在一次应条件下取得尽可能多的出现。

CMP

• 在 CMP策略中，首先选择 Tg 中带有最小结点的层。如果某些层有着同样最小的结点，我们选择最靠近叶结点的层，表示为第 dep层。将在第 dep层上的 Tg划分为子树的一个最小集。这是因为，在一次性条件下出现的数目不比在第 dep层上 Tg 中的结点出现数多。之后，我们通过权重中心度量（聚簇测度和局部化测度）来取得最小中心度子树 Si,g 和最小中心度出现 occk,i,g 。

CMP

• 例如，在例 3 中 T1 上采用了 CMP策略。在图 4 （ a ）中，通过聚簇测度取得了最小中心度 S2,1 ，之后，在图 4 （b ）中，通过局部化测度在 S2,1 上选择最小中心度 occ0,2,1<13, 16, 18, 20> 或者 occ1,2,1<13, 16, 19, 20> 。之后修剪 occ0,2,1

和 occ1,2,1 ，留下了 <12, 14, 15, 17> 。通过 |OPMGO_T2(P, S)| = 2 的 CMP策略取得 T2 的最优解，但是可通过 LMO策略或者 RMO策略取得 |OPMGO_T2(P, S)| = 1 。