深度学习 自然语言处理 怎么获得数据集 中文语料集？

• 深度学习 自然语言处理 怎么获得数据集 中文语料集
  • 爬虫
  • 数据平台
    • 1 数据堂
    • 2 搜狗实验室
    • 3 自然语言处理与信息检索共享平台
    • 4 聚数力
  • 人工收集的

现如今构件人工智能、机器学习甚至深度学习系统，变得越来越容易。

但是让这些模型或者系统真正有价值的却是“数据”。那么如果刚刚上手机器学习或者深度学习，怎么寻找合适的数据集呢？

下面就介绍一些获取数据的方法：

1 爬虫

最好的方法就是自己写爬虫，优点是可以自由的定制想要的数据，缺点是周期较长。

但现在随着python的兴起，越来越多的架包的开发，爬虫越来越简单实现。

跟着下面这个教程可以很快的实现一个强大的爬虫：

CSDN 爬虫教程
http://blog.csdn.net/u012052268/article/category/6889435

2 数据平台

国内一些机构贡献了一些数据集出来，大家可以在上面下载。

2.1 数据堂

数据堂 是国内比较大的大数据交易平台，上面有许多数据覆盖面很广，但是要收费，推荐有财力的实验室采购。网址： http://www.datatang.com/

2.2 搜狗实验室

搜狗实验室是比较权威的数据提供方提供的数据质量很高而且数据是免费的。网址：
http://www.sogou.com/labs/

2.3 自然语言处理与信息检索共享平台

是中科大的信息平台，上面有一些自然语言相关的数据集。网址：
http://www.nlpir.org/?action-category-catid-28

2.4 聚数力

http://dataju.cn/Dataju/web/home

3 人工收集的

这是几个博主自己总结的，质量很高。

https://zhuanlan.zhihu.com/p/25138563

https://www.zhihu.com/question/53655758/answer/146351918

https://www.douban.com/note/269081724/

原文链接：https://lookme.blog.csdn.net/article/details/78035272

本站声明:网站内容来源于网络,如有侵权,请联系我们,我们将及时处理。