大数据下历史学研究方法

Ⅰ 如何学习“大数据”方面的知识

总体思维

社会科学研究社会现象的总体特征，以往采样一直是主要数据获取手段，这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据，而不再依赖于采样，从而可以带来更全面的认识，可以更清楚地发现样本无法揭示的细节信息。

正如舍恩伯格总结道：“我们总是习惯把统计抽样看作文明得以建立的牢固基石，就如同几何学定理和万有引力定律一样。但是，统计抽样其实只是为了在技术受限的特定时期，解决当时存在的一些特定问题而产生的，其历史不足一百年。如今，技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。在某些特定的情况下，我们依然可以使用样本分析法，但这不再是我们分析数据的主要方式。

”也就是说，在大数据时代，随着数据收集、存储、分析技术的突破性发展，我们可以更加方便、快捷、动态地获得研究对象有关的所有数据，而不再因诸多限制不得不采用样本研究方法，相应地，思维方式也应该从样本思维转向总体思维，从而能够更加全面、立体、系统地认识总体状况。

容错思维

在小数据时代，由于收集的样本信息量比较少，所以必须确保记录下来的数据尽量结构化、精确化，否则，分析得出的结论在推及总体上就会“南辕北辙”，因此，就必须十分注重精确思维。然而，在大数据时代，得益于大数据技术的突破，大量的非结构化、异构化的数据能够得到储存和分析，这一方面提升了我们从数据中获取知识和洞见的能力，另一方面也对传统的精确思维造成了挑战。

舍恩伯格指出，“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户”。

也就是说，在大数据时代，思维方式要从精确思维转向容错思维，当拥有海量即时数据时，绝对的精准不再是追求的主要目标，适当忽略微观层面上的精确度，容许一定程度的错误与混杂，反而可以在宏观层面拥有更好的知识和洞察力。

相关思维

在小数据世界中，人们往往执着于现象背后的因果关系，试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代，人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系，获得更多的认知与洞见，运用这些认知与洞见就可以帮助我们捕捉现在和预测未来，而建立在相关关系分析基础上的预测正是大数据的核心议题。

通过关注线性的相关关系，以及复杂的非线性相关关系，可以帮助人们看到很多以前不曾注意的联系，还可以掌握以前无法理解的复杂技术和社会动态，相关关系甚至可以超越因果关系，成为我们了解这个世界的更好视角。舍恩伯格指出，大数据的出现让人们放弃了对因果关系的渴求，转而关注相关关系，人们只需知道“是什么”，而不用知道“为什么”。

我们不必非得知道事物或现象背后的复杂深层原因，而只需要通过大数据分析获知“是什么”就意义非凡，这会给我们提供非常新颖且有价值的观点、信息和知识。也就是说，在大数据时代，思维方式要从因果思维转向相关思维，努力颠覆千百年来人类形成的传统思维模式和固有偏见，才能更好地分享大数据带来的深刻洞见。

智能思维

不断提高机器的自动化、智能化水平始终是人类社会长期不懈努力的方向。计算机的出现极大地推动了自动控制、人工智能和机器学习等新技术的发展，“机器人”研发也取得了突飞猛进的成果并开始一定应用。应该说，自进入到信息社会以来，人类社会的自动化、智能化水平已得到明显提升，但始终面临瓶颈而无法取得突破性进展，机器的思维方式仍属于线性、简单、物理的自然思维，智能水平仍不尽如人意。

但是，大数据时代的到来，可以为提升机器智能带来契机，因为大数据将有效推进机器思维方式由自然思维转向智能思维，这才是大数据思维转变的关键所在、核心内容。

众所周知，人脑之所以具有智能、智慧，就在于它能够对周遭的数据信息进行全面收集、逻辑判断和归纳总结，获得有关事物或现象的认识与见解。同样，在大数据时代，随着物联网、云计算、社会计算、可视技术等的突破发展，大数据系统也能够自动地搜索所有相关的数据信息，并进而类似“人脑”一样主动、立体、逻辑地分析数据、做出判断、提供洞见，那么，无疑也就具有了类似人类的智能思维能力和预测未来的能力。

“智能、智慧”是大数据时代的显著特征，大数据时代的思维方式也要求从自然思维转向智能思维，不断提升机器或系统的社会计算能力和智能化水平，从而获得具有洞察力和新价值的东西，甚至类似于人类的“智慧”。

Ⅱ 如何认识大数据背景下，统计学面临的挑战与机遇

王见定教授挑战”统计学突破奖“

（四 ）申报“统计突破奖”的理由

统计学在一切学科中（以社会科学与自然科学一级学科为单位）是地位最高的学科。它的地位的崇高在扵：它是现今世界几乎所有前沿科学进行研究的唯一手段（所谓瞎子摸大象方法），也是西方文明几百年的台柱子。
而统计学现存的两大体系社会统计学与数理统计学的争论至少有100多年的历史。早期学者认为社会统计学是研究社会科学的，数理统计学是研究自然科学的；中期学者认为社会统计学适合作定性分析，数理统计学则适合作定量分析；近些年来，以美国为代表的发达国家的学者，由于夸大了数理统计的定量分析，误认为数理统计学可以代替社会统计学。但是这些观点自始至终未能对两者作出科学的解释，一切处在矛盾中，斗争中、、、、
王见定教授经过30多年的学习和研究，发现了能准确界定社会统计学、数理统计学的方法，并发现了两者的联系和区别以及在一定条件下可以相互转化的关系，完美地解决了这一长期存在於统计学界的最大问题。“社会统计学与数理统计学的统一理论”将对其它科学的发展起到不可估量的作用。

Ⅲ 大数据分析的概念和方法

一、大数据分析的五个基本方面

1，可视化分析

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2，数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法(可以称之为真理)才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3，预测性分析能力

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4，语义引擎

大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。

5，数据质量和数据管理

大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。 大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

二、如何选择适合的数据分析工具

要明白分析什么数据，大数据要分析的数据类型主要有四大类：

1.交易数据(TRANSACTION DATA)

大数据平台能够获取时间跨度更大、更海量的结构化交易数据，这样就可以对更广泛的交易数据类型进行分析，不仅仅包括POS或电子商务购物数据，还包括行为交易数据，例如Web服务器记录的互联网点击流数据日志。

2.人为数据(HUMAN-GENERATED DATA)

非结构数据广泛存在于电子邮件、文档、图片、音频、视频，以及通过博客、维基，尤其是社交媒体产生的数据流。这些数据为使用文本分析功能进行分析提供了丰富的数据源泉。

3.移动数据(MOBILE DATA)

能够上网的智能手机和平板越来越普遍。这些移动设备上的App都能够追踪和沟通无数事件，从App内的交易数据(如搜索产品的记录事件)到个人信息资料或状态报告事件(如地点变更即报告一个新的地理编码)。

4.机器和传感器数据(MACHINE AND SENSOR DATA)

这包括功能设备创建或生成的数据，例如智能电表、智能温度控制器、工厂机器和连接互联网的家用电器。这些设备可以配置为与互联网络中的其他节点通信，还可以自动向中央服务器传输数据，这样就可以对数据进行分析。机器和传感器数据是来自新兴的物联网(IoT)所产生的主要例子。来自物联网的数据可以用于构建分析模型，连续监测预测性行为(如当传感器值表示有问题时进行识别)，提供规定的指令(如警示技术人员在真正出问题之前检查设备)

Ⅳ 大数据发展背景及研究现状

2015年左右，大数据相关政策规划密集出台，同期为大数据企业新增数量顶峰时期。近年来，我国大数据产业迎来新的发展机遇期，产业规模日趋成熟。大数据产业主体从“硬”设施向“软”服务转变的态势将更加明显，面向金融、政务、电信、医疗等领域的大数据服务将实现倍增创新。

大数据企业数量持续增长，增速与政策出台密切相关

根据IT桔子统计，大数据企业的快速增长阶段出现在2013-2015年，增长速度在2015年达到最高峰。2015年后，市场日趋成熟，企业新增开始趋于放缓，大数据产业逐渐走向成熟。

—— 以上数据及分析均来自于前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》。

Ⅳ 如何实现大数据量数据库的历史数据归档

//打开抄数据库
con.Open();
//读取数据
OdbcDataReader reader = cmd.ExecuteReader();
//把数据加载袭到临时表
dt.Load(reader);
//在使用完毕之后，一定要关闭，要不然会出问题
reader.Close();

Ⅵ 大数据历史是研究什么

答:大数据历史应该是研究古代过去真正的事实。

Ⅶ 大数据对于社会科学研究方法带来哪些机遇

大数据是人类行为的数据总和，做大数据挖掘，需要更好的洞察。首先政府是数据的“土豪”，拥有极其丰富的数据资源，通过分析公民行为，洞察社会、洞察社会行为进行预测，所以对于政府来讲应该是最主要的大数据使用者和大数据的拥有者。以美国为例，美国开发大数据主要有三个要点：1、数据要开发；2、通过挖掘更多的价值加强企业竞争和政府感觉；3、通过数据能够拥有更多的人才挖掘数据。所以美国开发大数据是有准备的，不仅要把数据开放，而且还要计算机接受，比如美国开放了类似于911、119等的请求数量，还有地理信息、房屋信息、空气质量等数据，在开发数据中，不光开发还被计算机接受，它是可以直接被计算机读取的。在政府管理上，大数据致力于方方面面，通过监控高速公路上的数据记录，优化交通管理，通过各个传感器监控整个社会的城市的运营体系。
在传统的社会科学研究中，我们可以清晰感知到大众传播如何落地到人际传播，而且感受到人际传播所感受的内容。大数据时代，可以通过这样一些追踪研究寻找传播，尽管大数据带来隐私泄露的问题，但是大数据带来“什么是隐私”的重新思考。在这里，我们看到人们不断的对话，在社会生活中人们需要这样的思考、研究，研究社会科学更自然的体现。
如果对大数据的发展比较关注，欢迎访问数据观了解大数据相关资讯和实时信息。

Ⅷ 在大数据背景下,如何挖掘数据,经济地理学如何学习研究

大数据已应用到各个领域。

Ⅸ 利用大数据进行的社会科学研究有哪些

最典型的是，利用大数据进行流感的预测和预防

Ⅹ 大数据改变世界的五种方式

大数据改变世界的五种方式
随着电脑科技的发展，计算能力不再是像以前那样的“奢侈品”。现在的我们就彷如畅泳在一个巨大的数据水库，而这个数据库包罗万象：从繁忙时段一个明尼苏达州小镇的表现至在也门成功使用无人飞机轰炸的可能性。大数据的到来意味着公司，机构以及政府等可以同过收集，挖掘并利用这些庞大的数据区完成神奇的事情。
让我们看看神奇的大数据如何改变世界：
1.数据化身致命武器：
信息作为大数据时代最有效最具杀伤力的武器同时也正在被大量用于该时代的军备竞赛，但现今的军事技术数据来源正受限于卫星，无人飞行旗以及更多传统方式得到的数据。美国国防部启动一项名为XDATA的方案，其作为奥巴马政府发布的大数据倡议的一部分主要致力于以2.5亿美元研发一个分析大数据的系统。随着越来越多的有效运算，美军能够将PB级的数据运用到尖端优势上，例如让无人轰炸机变得前所未有的智能以及致命。
2.拯救地球：
除了让捕食者无人机更有威力和增加零售利润外，大数据更能造福世界。以开源的大数据平台Google Earth引擎为例，研究人员可利用它绘制出第一张莫斯科森林的高分辨率的地图。如果仅利用传统的电脑计算方法绘制需要3年时间，对比之下使用Google Earth仅需一天时间。
像这种大规模的数据集合能够让人类在系统层面上理解生态危机。我们知道越多地球生态系统以及天气形态变化数据，就越容易模型化未来环境的变迁，因而也能够在我们力所能及的时候去阻止不好的转变发生。
3.预测购物趋势：
消费者的购物趋势能够在以前的购物记录大数据挖掘中得出，销售公司不论大少均有可能预测到你需要买什么，他们甚至比你自己更懂你。因而从消费者当前购物数据中从大数据中能够获得大利润。网上零售商如亚马逊正在大量收集我们的购物以及网上购物数据，甚至线下零售商也开始紧跟这一趋势着手收集消费者的消费数据。一些聪明的公司看准这点，以RetailNext为例，它是为Brookstone 以及American Apparel等公司提供购物者浏览以及购物时的录像记录。 RetailNext将一个购买者在店铺移动的轨迹转化为上万数据点，就可以得到购物者在店内浏览商品的移动过程，停留点以及其与销售的相关性。
4.加速科学研究发展速度：
一直以来数据都是科学发现的支柱，现在由于大数据的发展以及高运算力的支持，科研步伐也正飞速向前。
以人类历史上科学成就指标性的 人类基因组计划为例，当时花费达30亿美元，耗时13年才完成大约含25000个基因的人类基因组测序及分析。若应用当代先进的数据收集分析方法，使用一个如U盘大小的装置区完成这项工作仅需几小时就足矣，其花费也仅仅是1000美元。
5.大数据导致更大的隐私威胁：
你也许只是从大“据”考虑，但是这句格言不再像以前一样好用了。若说大数据与广度攸关是正确无误的，但是深度对大数据来说也是同等重要的。
网络巨头如Facebook和Google不单单积累了广度上的数据—大量的用户（FB拥有9.55亿用户），他们对深度上的数据–用户（使用网络的）数据也了如指掌。譬如，他们知道你搜索的内容，你点击了什么页面以及你认识什么人。最大的网络大鳄拥有足以让他们无所不知的大量的数据。
在这里的技术力量，文化进步和利润的相交之处，有一件事是确定的：数据越大责任越大（蜘蛛侠中枪）。