设计并实现中文垃圾短信过滤器,能够较好识别不断变化的垃圾短信。以逻辑回归模型为基础,提出字节级n元文法提取短信特征,并采用TONE(Train On or Near Error)方法训练过滤器。通过实验测试,证明应用该方法实现的垃圾短信过滤效果很好。

第 2 4卷第 4期 21 0 0年 1 2月

黑

龙

江

工

程

学

院

学

报(自然科学版)

V o.2№ .4 1 4 De ., 1 c 20 0

J u n l fHeln ja g I s i t fTe h oo y o r a i gin n t u eo c n lg o o t

基于逻辑回归模型的中文垃圾短信过滤 郑晓霞刘超。邹，,钰 (. 1黑龙江工程学院计算机科学与技术系，黑龙江哈尔滨 1 0 5; .龙江工程学院管理学院， 500 2黑黑龙江哈尔滨 1 0 5 ) 5 0 0

摘

要：设计并实现中文垃圾短信过滤器，能够较好识别不断变化的垃圾短信。以逻辑回归模型为基础，出字节提

级元文法提取短信特征，采用 T并 ONE T anOno a ro)法训练过滤器。通过实验测试，明应用该方 ( ri r Ner rr方 E证法实现的垃圾短信过滤效果很好。 关键词：中文垃圾短信过滤；辑回归模型；文法； NE逻元 TO 中图分类号： 3 1 TP 9文献标志码： A文章编号：6 14 7 (0 0 0—0 60 1 7—6 9 2 1 )40 3 4

Chi s ho t m e s g s s r i e s a f le i a e n ne e s r s a e e v c p m it r ng b s d o l itc r g e so og s i e r s i n ZH ENG a— i LI Ch o ZOU Xi o x a, U a, Yu ( . o u e c n e a d T c n lg e at n, i n j n n t ue o e h oo y Ha b 5 0 0 hn 2 E o o 1 C mp tr i c n e h oo y D p rme t He o gi g I s tt fT c n l, r i 1 0 5,C i S e l a i g n a . c n my a d Ma a e n p rme t n n g me tDe a t n,Heln j n n t u eo c n lg,Ha bn 1 0 5 i gi gI si t fTe h oo y o a t r i 5 0 0,Chn ) ia

Ab t a t W e d sg e n mp e e t d t e Ch n s h r s a e e v c p m i e ih c n d f n e sr c: e i n d a d i lm n e h i e e s o t me s g s s r ie s a f t

r wh c a e e s l

t ee o u in o h r s a es a h v l t fs o tme s g p m. I gsi e rs in mo e s da t i ei gmo e;b t e e o . itcr g e so d li u e sisfl rn d l y elv l o s t N— gr m s p o wa d t xta tme s g p m' f a ur s;a he fle s t ane t a i utf r r o e r c s a e s a s e t e nd t i ri r i d wih TONE ( a n On o t Tr i r

Ne rEro )me h d a r r t o .Th ef r a c v la e y e p r e t ft e s o tme s g ss a f t rb s d ep ro m n e e au td b x e i n so h h r s a e p m i e a e m l o he me ho s p e t o . n t t d i r ty go d

Ke r s Ch n s h r s a e e v c p m i e i g￣l g s i r g e so d l y wo d: i e e s o tme s g ss r ie s a fl rn t o it e r s i n mo e;N— r m;TONE c ga

近几年来，动通信技术的快速发展使得垃圾移短信的数量剧增。短信内容安全已经上升为一个重要的话题。垃圾短信涉及到色情服务广告、证制假作、济诈骗、经贩毒等，人们生活的干扰已经到了对不容忽视的程度，已经对部分用户造成经济财产并 的损失。一些国家已采取法律及技术手段来控制垃圾短信的泛滥。 由于垃圾邮件过滤技术在国外已经非常成熟，

件。典型的方法包括贝叶斯 ( a e )法、 b y s方支持向量 机 ( u p r Vetr c ie S S p o t co hn, VM) Ma方法、大熵方最法、 P ( rdcinb at l th压缩算法等。 P M P e i o yP ri c ) t a Ma

机器学习方法正确率高、本低，当前的主流方成是 法，有广泛的应用前景。具

机器学习技术大体上分为两类：生成模型 (如朴素贝叶斯模型 )和判别学习模型 (支持向量机模如型、最大熵模型和逻辑回归模型 )当前，多数

垃。大圾短信过滤采用的是生成模型。而相关研究领域， 如文本分类、垃圾邮件过滤的研究表明，别学习模判

并且移动设备的计算性能不断增长，些复杂而功一 能强大的系统被应用到移动网络上，因此，以使用可类似应用于反垃圾邮件的过滤系统来对日益泛滥的垃圾短信进行处理。 目前，圾邮件过滤技术已经得到广泛应用，垃并将其看作二值文本分类技术的应用。应用机器学习 理论通过学习样本训练过滤器，而识别出垃圾邮进 收稿日期：000—3 2 1—81

型优于生成模型l模型是影响垃圾短信过滤效果 1,的核心因素，当选择过滤模型是系统成功的关键。恰 逻辑回归 ( o i i Re rsin L模型和 S I gs c g es, R) t o VM一

样，一种判别学习模型，有良好的性能；辑回是具逻归模型的时间复杂度和空间复杂度都低于 S VM,更重要的是，逻辑回归模型可以很容易地以在线学习 方式调整模型的参数，模型能够适应不断演进的使

基金项目：江省教育厅资助项目(1541黑龙 15 10) 作者简介：晓霞 (9 1 )女，郑 17一，副教授，士，究方向：息检索与硕研信信息过滤.

垃圾短信，因此，逻辑回归模型成为当前垃圾短信过 滤中的主流模型之一 l。 2]