数据分析的流程,一般可以按“数据采集-数据处理-数据分析-数据展现-报告撰写”这样的步骤来实施一个数据分析项目。
所以学习数据分析的第一步就是数据采集,获取数据。
数据获取有几种方式:内部数据、外部获取。
内部数据又分为两种:直接获取和收集整理。比如公司的数据库、数据表这些就是直接获取;另一种就是需要你再去另外整理才能得到数据的一些文档 ,这就是收集整理。
外部数据获取的方式多一些,比如利用搜索引擎查找、行业报告、通过技术手段爬取等等。
在各大平台上“数据分析师在哪里找数据呢?”也是一个关注度很高的话题。
今天汇总了一些常用的数据获取网站,方便大家学习的时候使用。
- 199IT大数据导航
http://hao.199it.com/
这个网站应该对于经常找数据的人并不陌生,它不生产网站,它是数据的搬运工,里面的数据报告是别的网站产出的,可以直接通过这个网站看报告,也可以通过这个网站去相应的行业网站看报告。
- CIO资源站
https://research.fanruan.com/cio/#content
CIO资源站 – IT建设规划白皮书报告资料全站免费下载 (fanruan.com) 为企业CIO/IT管理提供IT建设、IT战略规划、新兴技术资料的一站式下载。不仅涵盖大数据、数据中台、数据治理等大数据相关技术的最新资料,还有许多关于数字化、信息化、新技术、IT管理等领域的学习资料。 每周上传10+全网最新IT建设资料,包含权威机构的白皮书、研究报告,还有华为、阿里巴巴、京东这些名企的一手资料,还有大佬演讲的PPT!
- 中国互联网信息中心CNNIC
http://www.cnnic.net.cn/
第n次《中国互联网络发展状况统计报告》,报告每半年发布一次,有行业细分数据,也有宏观数据,力荐!
- CEIC
https://www.ceicdata.com/zh-hans
涵盖超过195个国家400多万个时间序列的数据源,最完整的一套超过128个国家的经济数据,能够精确查找GDP、CPI、进口、出口、外资等深度数据。
- 中国统计信息网
http://www.tjcn.org/
国家统计局的官方网站,汇集了各国各级政府各年度的国民经济和社会发展统计信息,建立了以统计公报为主,统计年鉴、阶段发展数据、统计分析、经济新闻等。
- 亚马逊
https://registry.opendata.aws/
来自亚马逊的跨科学云数据平台,拥有免费且开元的数据库,包含化学、生物、经济等多个领域的数据集。
- figshare
https://figshare.com/
研究成果共享平台,这里向全世界开放免费的研究成果及科学数据。
- 搜数网
http://www.soshoo.com/index.do
汇集了中国资讯行自92年以来收集的44个行业所有统计和调查数据
- 国家统计局
http://data.stats.gov.cn/index.htm
包含了我国经济民生等多个方面的数据,并且在月度、季度、年度都有覆盖,较为全面。
- UCI
https://archive.ics.uci.edu/ml/index.php
该网站目前维护了436个经典的机器学习、数据挖掘数据集,包含分类、聚类、回归等问题下的多个数据集。
- github
https://github.com/
一个非常全面的数据获取渠道,包含各个细分领域的数据库资源,自然科学和社会科学的覆盖都很全面,适合做研究和数据分析的人员。
以上网站可以说是数据分析师们很常用的网站了,也是对学习数据分析中的你是很有用的网站了。
你很难想象,一个在专业技术领域的工程师,需要数据分析来判断技术的可靠性;一个从事新媒体的运营者,也需要数据分析来做内容和活动上的决策。
那么你开始学习大数据了吗?