本文实例讲述了php实现的中文分词类。分享给大家供大家参考,具体如下:
该中文分词类源码使用http://tools.jb51.net/code/jb51_php_format进行了格式化处理,便于阅读。具体代码如下:
class Segmentation { var $options = array('lowercase' => TRUE, 'segment_english' => FALSE); var $dict_name = 'Unknown'; var $dict_words = array(); function setLowercase($value) { if ($value) { $this->options['lowercase'] = TRUE; } else { $this->options['lowercase'] = FALSE; } return TRUE; } function setSegmentEnglish($value) { if ($value) { $this->options['segment_english'] = TRUE; } else { $this->options['segment_english'] = FALSE; } return TRUE; } function load($dict_file) { if (!file_exists($dict_file)) { return FALSE; } $fp = fopen($dict_file, 'r'); $temp = fgets($fp, 1024); if ($temp === FALSE) { return FALSE; } else { if (strpos($temp, "\t") !== FALSE) { list ($dict_type, $dict_name) = explode("\t", trim($temp)); } else { $dict_type = trim($temp); $dict_name = 'Unknown'; } $this->dict_name = $dict_name; if ($dict_type !== 'DICT_WORD_W') { return FALSE; } } while (!feof($fp)) { $this->dict_words[rtrim(fgets($fp, 32))] = 1; } fclose($fp); return TRUE; } function getDictName() { return $this->dict_name; } function segmentString($str) { if (count($this->dict_words) === 0) { return FALSE; } $lines = explode("\n", $str); return $this->_segmentLines($lines); } function segmentFile($filename) { if (count($this->dict_words) === 0) { return FALSE; } $lines = file($filename); return $this->_segmentLines($lines); } function _segmentLines($lines) { $contents_segmented = ''; foreach ($lines as $line) { $contents_segmented .= $this->_segmentLine(rtrim($line)) . " \n"; } do { $contents_segmented = str_replace(' ', ' ', $contents_segmented); } while (strpos($contents_segmented, ' ') !== FALSE); return $contents_segmented; } function _segmentLine($str) { $str_final = ''; $str_array = array(); $str_length = strlen($str); if ($str_length > 0) { if (ord($str{$str_length-1}) >= 129) { $str .= ' '; } } for ($i=0; $i<$str_length; $i++) { if (ord($str{$i}) >= 129) { $str_array[] = $str{$i} . $str{$i+1}; $i++; } else { $str_tmp = $str{$i}; for ($j=$i+1; $j<$str_length; $j++) { if (ord($str{$j}) < 129) { $str_tmp .= $str{$j}; } else { break; } } $str_array[] = array($str_tmp); $i = $j - 1; } } $pos = count($str_array); while ($pos > 0) { $char = $str_array[$pos-1]; if (is_array($char)) { $str_final_tmp = $char[0]; if ($this->options['segment_english']) { $str_final_tmp = preg_replace("/([\!\"\#\$\%\&\'\(\)\*\+\,\-\.\/\:\;\<\=\>\", " $1 ", $str_final_tmp); $str_final_tmp = preg_replace("/([\!\"\#\$\%\&\'\(\)\*\+\,\-\.\/\:\;\<\=\>\"\#\$\%\&\'\(\)\*\+\,\-\.\/\:\;\<\=\>\", " $1 $2 ", $str_final_tmp); } if ($this->options['lowercase']) { $str_final_tmp = strtolower($str_final_tmp); } $str_final = " $str_final_tmp$str_final"; $pos--; } else { $word_found = 0; $word_array = array(0 => ''); if ($pos < 4) { $word_temp = $pos + 1; } else { $word_temp = 5; } for ($i=1; $i<$word_temp; $i++) { $word_array[$i] = $str_array[$pos-$i] . $word_array[$i-1]; } for ($i=($word_temp-1); $i>1; $i--) { if (array_key_exists($word_array[$i], $this->dict_words)) { $word_found = $i; break; } } if ($word_found) { $str_final = " $word_array[$word_found]$str_final"; $pos = $pos - $word_found; } else { $str_final = " $char$str_final"; $pos--; } } } return $str_final; } } "_blank" href="https://www.jb51.net/Special/168.htm">php常用函数与技巧总结》、《php字符串(string)用法总结》、《PHP数组(Array)操作技巧大全》、《PHP基本语法入门教程》、《php+mysql数据库操作入门教程》及《php常见数据库操作技巧汇总》希望本文所述对大家PHP程序设计有所帮助。
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
暂无评论...
更新日志
2024年11月25日
2024年11月25日
- 凤飞飞《我们的主题曲》飞跃制作[正版原抓WAV+CUE]
- 刘嘉亮《亮情歌2》[WAV+CUE][1G]
- 红馆40·谭咏麟《歌者恋歌浓情30年演唱会》3CD[低速原抓WAV+CUE][1.8G]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[320K/MP3][193.25MB]
- 【轻音乐】曼托凡尼乐团《精选辑》2CD.1998[FLAC+CUE整轨]
- 邝美云《心中有爱》1989年香港DMIJP版1MTO东芝首版[WAV+CUE]
- 群星《情叹-发烧女声DSD》天籁女声发烧碟[WAV+CUE]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[FLAC/分轨][748.03MB]
- 理想混蛋《Origin Sessions》[320K/MP3][37.47MB]
- 公馆青少年《我其实一点都不酷》[320K/MP3][78.78MB]
- 群星《情叹-发烧男声DSD》最值得珍藏的完美男声[WAV+CUE]
- 群星《国韵飘香·贵妃醉酒HQCD黑胶王》2CD[WAV]
- 卫兰《DAUGHTER》【低速原抓WAV+CUE】
- 公馆青少年《我其实一点都不酷》[FLAC/分轨][398.22MB]
- ZWEI《迟暮的花 (Explicit)》[320K/MP3][57.16MB]