相关动态
NLTK学习笔记(二):文本、语料资源和WordNet汇总
2024-11-10 18:09

NLTK学习笔记(二):文本、语料资源和WordNet汇总

示例 描述 fileids() 语料库中的文件 fileids([categories]) 对应分类中的语料库文件 categories() 语料库的分类 categories([fileids]) 文件对应的语料库分类 raw(fileids=[f1,f2..],categories=[c1,c2...]) 对应文件和分类中原始内容。参数可以式空 words(fileids=[f1,f2..],categories=[c1,c2...]) 对应文件和分类的词汇。参数可以空 sents() sents(fileids=[f1,f2..],categories=[c1,c2...]) abspath(fileid) 文件在磁盘的位置 encoding(fileid) 文件的编码 open(fileid) 打开文件流 root() 本地语料库corpus的位置 readme() README文件的内容

  1. 最简单的是孤立的文本集合
  2. 按照文本等标签分类组成结构,如:布朗语料库
  3. 分类不严格,会重叠的语料库,如:路透社语料库
  4. 随时间/语言用法改变的语料库 ,如:就职演说库

注意 返回类似text1的Text对象

古藤堡语料库

包含36000本电子书,可以在这里下载


网络&&聊天体

网络text主要是非正式文学,论坛交流,剧本,评论等。聊天文本是根据聊天室划分的(文件名包括 日期、聊天室、帖子数量),被划分为15个大文件。





布朗语料库

百万词级语料库,没啥好说的。按照文本分类,如新闻、社论等。


因为这个语料库是研究文本间系统性差异的资源,所以可以来比较一下不同文本中情态动词的用法。


路透社语料库

新闻文档,分为“训练”和“测试”两组。便于及其进行训练和测试。命名就是'test/number'和'training/number'


就职演说语料库

感觉这算是美国特色吧。因为命名采用'year-name.txt'的格式,我们可以提取出来时间维度,并且做个折线图来统计特定词汇的出现频率(不同年代中)


感受一下效果图(附截图)


如果想操作自己的语料库,并且使用之前的方法,那么,需要 函数来载入他们,这个函数参数有两个,第一个是根目录,第二个是子文件(可以使用正则表达式进行匹配)




词典:包括词性和注释信息。

stopwords即是,遗憾的是没有中文停用词


名字词典

就两部分组成,男性和女性的英文名字。这里我们研究一下最后一个名字最后一个字母和性别的关系


(附截图)

发音词典

这个更神奇,竟然是为了发音合成准备的。以后通读这本书后,也想想怎么迁移到中文上。

引入 后,我们可以得到它音素的长度,由此可以找到押韵的词语


在因素表中,我们会发现数字:1,2,0。分别代表着:主重音、次重音、无重音。 这里我们可以定义一个function,找到具有特定重音模式的词汇



最后必须说一下这个字典。WordNet是由Princeton 大学的心理学家,语言学家和计算机工程师联合设计的一种基于认知语言学的英语词典。它不是光把单词以字母顺序排列,而且按照单词的意义组成一个“单词的网络”。

引入和同义词

motorcar和automobile是同义词,可以借助wordnet来研究。


结果是:[Synset('car.n.01')]。说明motorcar 只有一个 可能的含义。car.n.01被称为“同义 词集 ”。我们可以通过 来查看当前同义词集的其他词 (car这个单词就有很多个同义词集了) 。 和 可以分别查看定义和例子(但是Python3里面不可以。) 而类似car.n.01.car这样的处于下一级的称之为词条。 对于词条级别的obj,可以看下面的操作。


上位词、下位词、反义词

上位词(hypernym),指概念上外延更广的主题词。 例如:”花”是”鲜花”的上位词,”植物”是”花”的上位词,”音乐”是”mp3”的上位词。反过来就是下位词了。

上位词和下位词通过 和 来访问。


反义词就通过 来访问

其他词集关系

之前是从上->到下,或者反过来。更重要的是从整体->局部,或者反过来。如大树和树冠、树干的关系,这些是 。而大树集合就成了森林, 。而树的实质是心材和边材组成,即。

当两个单词有相同的上位词(在词树中寻找),而若上位词恰好属于较低层,那么它们会有一定密切联系。


当然,类似于树的结构中总是有神的,可以通过 来查看一个synset的最小深度。基于这些,我们可以在0-1的范围内返回相似度。对于上面的代码,查看相似度:。

    以上就是本篇文章【NLTK学习笔记(二):文本、语料资源和WordNet汇总】的全部内容了,欢迎阅览 ! 文章地址:http://changmeillh.xhstdz.com/news/4630.html 
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 物流园资讯移动站 http://changmeillh.xhstdz.com/mobile/ , 查看更多   
最新文章
'智能AI文案助手:一键快速生成创意内容的软件工具'
随着人工智能技术的不断发展在各个领域的应用日益广泛。在内容创作领域一键生成文案的软件逐渐崭露头角成为众多创意工作者的得力
Rank Math新手教程指南:最佳Wordpress排名插件2024
Rank Math是一款功能强大的WordPress SEO插件,旨在帮助网站管理员和博主优化他们的网站以提高在搜索引擎中的排名。它提供了全面
数字艺术革命:3D虚拟展览,为艺术爱好者打开新世界
nbsp;nbsp;nbsp;nbsp;便利性:无界限的艺术探索,3D虚拟艺术展览通过高质量的3D扫描技术,将实体艺术品转化为
AI智能营销领域的卓越引领者
作为 AI 智能营销业务的先锋企业,专注于为客户打造智能化的营销解决方案,助力其在激烈的市场竞争中脱颖而出。我们的核心优势在
百度蜘蛛池收录:揭秘蜘蛛池做排名解析技巧,助力网站快速崛起
揭秘蜘蛛池收录技巧,解析如何利用蜘蛛池快速提升网站排名,助力网站快速崛起。本文目录导读:了解蜘蛛池蜘蛛池做排名解析技巧随
网站排名优化,专治周a斯受欢迎的秘诀
网站排名优化是提升网站在搜索引擎中排名的关键。针对周a斯受欢迎的秘诀,关键在于提供高质量、有价值的内容,同时注重网站结构
杭州SEO优化,助您网站飞跃,企业腾飞之道
杭州SEO网站优化,专业提升网站排名,助力企业快速提高网络曝光度,抢占市场份额,实现线上业绩腾飞。通过科学策略,精准关键词
#### 智能创作发布到抖音怎么不存在流量
在数字化时代的浪潮中人工智能()的应用已经渗透到各个领域其中智能创作更是以其高效、便捷的特性受到了广大创作者的青睐。它不
国际站:SEO Checker诊断工具助力商家诊断详情页,提升seo效果
国际站商家看过来:众所周知,一个优质的商品描述,可以提升买家转化的同时,还可以带来更多免费流量,从而让商家获得更多询盘和
相关文章