http://cslt.org/mediawiki/index.php?action=history&feed=atom&title=2014-11-19 2026-05-10T09:02:01Z 本wiki的该页面的版本历史 MediaWiki 1.23.3 http://cslt.org/mediawiki/index.php?title=2014-11-19&diff=12575&oldid=prev 2014-11-19T12:06:51Z

<p>‎<span dir="auto"><span class="autocomment">原因</span></span></p> <table class='diff diff-contentalign-left'> <col class='diff-marker' /> <col class='diff-content' /> <col class='diff-marker' /> <col class='diff-content' /> <tr style='vertical-align: top;'> <td colspan='2' style="background-color: white; color:black; text-align: center;">←上一版本</td> <td colspan='2' style="background-color: white; color:black; text-align: center;">2014年11月19日 (三) 12:06的版本</td> </tr><tr><td colspan="2" class="diff-lineno">第48行：</td> <td colspan="2" class="diff-lineno">第48行：</td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>&#160; [汝, 河, 进行, 开发商, 新建, 房产, 权, 等级]</div></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>&#160; [汝, 河, 进行, 开发商, 新建, 房产, 权, 等级]</div></td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>过程：</div></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>过程：</div></td></tr> <tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>[汝, 河, 进行, 开发商, 新建, 房产, 权, 登机]'score is:29.822336867451668</div></td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins class="diffchange diffchange-inline"> </ins>[汝, 河, 进行, 开发商, 新建, 房产, 权, 登机]'score is:29.822336867451668</div></td></tr> <tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>[汝, 河, 进行, 开发商, 新建, 房产, 权, 等级]'score is:29.208215907216072</div></td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins class="diffchange diffchange-inline"> </ins>[汝, 河, 进行, 开发商, 新建, 房产, 权, 等级]'score is:29.208215907216072</div></td></tr> <tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>[汝, 河, 进行, 开发商, 新建, 房产, 权, 登记]'score is:27.493204072117805</div></td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins class="diffchange diffchange-inline"> </ins>[汝, 河, 进行, 开发商, 新建, 房产, 权, 登记]'score is:27.493204072117805</div></td></tr> <tr><td class='diff-marker'>−</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>[汝, 河, 进行, 开发商, 新建, 房产, 权, 登基]'score is:29.822336867451668</div></td><td class='diff-marker'>+</td><td style="color:black; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div><ins class="diffchange diffchange-inline"> </ins>[汝, 河, 进行, 开发商, 新建, 房产, 权, 登基]'score is:29.822336867451668</div></td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>test result:汝 河 进 行 开 发 商 新 建 房 产 权 登 记 &#160;</div></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"><div>test result:汝 河 进 行 开 发 商 新 建 房 产 权 登 记 &#160;</div></td></tr> <tr><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td><td class='diff-marker'>&#160;</td><td style="background-color: #f9f9f9; color: #333333; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #e6e6e6; vertical-align: top; white-space: pre-wrap;"></td></tr> </table>

Caoli http://cslt.org/mediawiki/index.php?title=2014-11-19&diff=12574&oldid=prev 2014-11-19T12:06:02Z

<p>以“ 拼写检查功能模块的测试报告如下: author CaoLi date:2014 11.19 =建立测试集= 首先对测试集进行手动改错业务词后再自动分词,...”为内容创建页面</p> <p><b>新页面</b></p><div> 拼写检查功能模块的测试报告如下:<br /> author CaoLi date:2014 11.19<br /> =建立测试集=<br /> 首先对测试集进行手动改错业务词后再自动分词,进行测试.条数:200条.<br /> 例如：<br /> 手动改错业务词：<br /> 申请班里高领老人紧贴变更和终止的实现<br /> 原句自动分词后：<br /> 申请 班里 高领 老人 紧贴 变更 和 终止 的 实现<br /> 测试集为:测试集(.\corpus\20141016凉山州\3文本\testJ.txt)前200条,注意是只取每一条对应的问题.<br /> =评价=<br /> 测试结果的评价标准:<br /> 正确率=正确识别出需要修改的个体总数/识别出需要修改的个体总数<br /> 召回率=正确识别出需要修改的个体总数/测试集中存在的需要修改的个体总数<br /> 准确率=修改对的个体总数/个体总数<br /> 例如:<br /> 正确:<br /> 我 真 想 办理 身份证 呀. <br /> 测试用例: <br /> 我 挣 像 办理 神风证 压. <br /> 结果:<br /> 我 证 想 班里 身份证 压. <br /> <br /> 动作:<br /> 我-&gt;我(correct) 像-&gt;想（correct） 办理-&gt;班里（false） 神风证-&gt;身份证(correct) 挣-&gt;证(false) 压-&gt;压(false) <br /> 评价：<br /> 需要修改: 正确率=3/4. 召回率=3/4. <br /> 不要修改：正确率=1/2. 召回率=1/2. <br /> 准确率:3/6<br /> <br /> =测试结果=<br /> 1.使用的语言模型:使用训练集&lt;凉山州政务知识训练集1016.xls&gt;中的&lt;标准问题 答案&gt;训练的3-gram语言模型.（详细结果见test-model-RESULT.txt）<br /> <br /> RESULT: <br /> 需要修改:正确率:498/498 = 1.0 召回率: 498/881 = 0.565266<br /> 不要修改:正确率:2228/2611 = 0.853313 召回率: 2228/2228 = 1.0 <br /> 准确率 :2678/3109 = 0.861370<br /> <br /> =结果分析=<br /> <br /> 根据上面的结果发现召回率较低，<br /> <br /> ==原因==<br /> <br /> 可能的原因为：由于是先手动改错业务词再根据词表自动分词的。故系统有可能将一个业务词分成了好几个词。<br /> <br /> 例如：<br /> [汝, 河, 进行, 开发商, 新建, 房产, 权, 等级]<br /> 过程：<br /> [汝, 河, 进行, 开发商, 新建, 房产, 权, 登机]'score is:29.822336867451668<br /> [汝, 河, 进行, 开发商, 新建, 房产, 权, 等级]'score is:29.208215907216072<br /> [汝, 河, 进行, 开发商, 新建, 房产, 权, 登记]'score is:27.493204072117805<br /> [汝, 河, 进行, 开发商, 新建, 房产, 权, 登基]'score is:29.822336867451668<br /> test result:汝 河 进 行 开 发 商 新 建 房 产 权 登 记 <br /> <br /> 分析：<br /> 由于上面将“汝河”分成了“汝”，“河”两个词,系统就不会对词“汝河”进行重新组合并打分。<br /> <br /> 把改错的业务词分开的所占的比重：44/98=0.448979<br /> <br /> 例如：<br /> 架势证 ------架势 证<br /> <br /> ==改进==<br /> <br /> 可能的改进方法：<br /> <br /> 我们可以用拼音进行分词，但目前还未采取那样做。</div>

Caoli