老大,你提过的词典太老了,很多词语都没有。我想自己扩充我的词库,但不知道TF/IDF如何获得。 通过你提过的新词生词的TF/IDF计算器(http://www.xunsearch.com/scws/demo/get_tfidf.php) 结果计算出来的大部分内容都是一样的值,而...
老大,你提过的词典太老了,很多词语都没有。我想自己扩充我的词库,但不知道TF/IDF如何获得。 通过你提过的新词生词的TF/IDF计算器(http://www.xunsearch.com/scws/demo/get_tfidf.php) 结果计算出来的大部分内容都是一样的值,而...
...较奇怪~~ 一切都是按说明操作的 还有xdb没有增加新的词语和减少词语用的官方XDB导出的TXT
研究了一下源代码,最终功夫不负有心人,成功的避过了中英文混合,使用字典中的词语分词,我用的是 在调整每次读取数据的大小和缓冲区大小时有不同的情况
我这个是简单的改动,就是注释掉了一段代码 [code] diff -ur scws-1.2.1/libscws/scws.c scws-1.2.1.changed/libscws/scws.c --- scws-1.2.1/libscws/scws.c 2013-01-11 10:39:28.000000000 +0800 +++ scws-1.2.1.changed/libscws/scws.c 2013-07-03 10:38:49.409846632 +0800 @@ -60,6 +60,9 @@ s->...
看了一下基本上说内置了中文分词 内置中文分词 好处我想应该索引会相对的小一些 但是坏处就是要维护词库 新出词语不用立马根据 所以问一下是否支持一元分词 这样就可以实现类似mysql like方式的搜索了
...,若成功则返回true。$words数组的格式请参考示例,key为词语,value为词频。 这样生成词库,相当有方便,能否也增加一下
如果我每次都只叠加一点点词语 估计就5-6个是否每次叠加完成都要执行 $xdb->Optimize();函数? 因为执行这个$xdb->Optimize();要等很久... 能不能周期性的优化? 就是新加的差不多数量了比如100个了就手动执行一次$xdb->Optimize();? ...
比如比如我希望用SCWS能搜索 一个关键词的信息,但是现在虽然内容里面有很多这包含这个词语的信息了, 但是搜索的时候却搜索不到. 应该如何处理呢? 如果是修改rules.ini文件的话,难道是加到[special]这个位置吗???