大數據下歷史學研究方法

Ⅰ 如何學習「大數據」方面的知識

總體思維

社會科學研究社會現象的總體特徵，以往采樣一直是主要數據獲取手段，這是人類在無法獲得總體數據信息條件下的無奈選擇。在大數據時代，人們可以獲得與分析更多的數據，甚至是與之相關的所有數據，而不再依賴於采樣，從而可以帶來更全面的認識，可以更清楚地發現樣本無法揭示的細節信息。

正如舍恩伯格總結道：「我們總是習慣把統計抽樣看作文明得以建立的牢固基石，就如同幾何學定理和萬有引力定律一樣。但是，統計抽樣其實只是為了在技術受限的特定時期，解決當時存在的一些特定問題而產生的，其歷史不足一百年。如今，技術環境已經有了很大的改善。在大數據時代進行抽樣分析就像是在汽車時代騎馬一樣。在某些特定的情況下，我們依然可以使用樣本分析法，但這不再是我們分析數據的主要方式。

」也就是說，在大數據時代，隨著數據收集、存儲、分析技術的突破性發展，我們可以更加方便、快捷、動態地獲得研究對象有關的所有數據，而不再因諸多限制不得不採用樣本研究方法，相應地，思維方式也應該從樣本思維轉向總體思維，從而能夠更加全面、立體、系統地認識總體狀況。

容錯思維

在小數據時代，由於收集的樣本信息量比較少，所以必須確保記錄下來的數據盡量結構化、精確化，否則，分析得出的結論在推及總體上就會「南轅北轍」，因此，就必須十分注重精確思維。然而，在大數據時代，得益於大數據技術的突破，大量的非結構化、異構化的數據能夠得到儲存和分析，這一方面提升了我們從數據中獲取知識和洞見的能力，另一方面也對傳統的精確思維造成了挑戰。

舍恩伯格指出，「執迷於精確性是信息缺乏時代和模擬時代的產物。只有5%的數據是結構化且能適用於傳統資料庫的。如果不接受混亂，剩下95%的非結構化數據都無法利用，只有接受不精確性，我們才能打開一扇從未涉足的世界的窗戶」。

也就是說，在大數據時代，思維方式要從精確思維轉向容錯思維，當擁有海量即時數據時，絕對的精準不再是追求的主要目標，適當忽略微觀層面上的精確度，容許一定程度的錯誤與混雜，反而可以在宏觀層面擁有更好的知識和洞察力。

相關思維

在小數據世界中，人們往往執著於現象背後的因果關系，試圖通過有限樣本數據來剖析其中的內在機理。小數據的另一個缺陷就是有限的樣本數據無法反映出事物之間的普遍性的相關關系。而在大數據時代，人們可以通過大數據技術挖掘出事物之間隱蔽的相關關系，獲得更多的認知與洞見，運用這些認知與洞見就可以幫助我們捕捉現在和預測未來，而建立在相關關系分析基礎上的預測正是大數據的核心議題。

通過關注線性的相關關系，以及復雜的非線性相關關系，可以幫助人們看到很多以前不曾注意的聯系，還可以掌握以前無法理解的復雜技術和社會動態，相關關系甚至可以超越因果關系，成為我們了解這個世界的更好視角。舍恩伯格指出，大數據的出現讓人們放棄了對因果關系的渴求，轉而關注相關關系，人們只需知道「是什麼」，而不用知道「為什麼」。

我們不必非得知道事物或現象背後的復雜深層原因，而只需要通過大數據分析獲知「是什麼」就意義非凡，這會給我們提供非常新穎且有價值的觀點、信息和知識。也就是說，在大數據時代，思維方式要從因果思維轉向相關思維，努力顛覆千百年來人類形成的傳統思維模式和固有偏見，才能更好地分享大數據帶來的深刻洞見。

智能思維

不斷提高機器的自動化、智能化水平始終是人類社會長期不懈努力的方向。計算機的出現極大地推動了自動控制、人工智慧和機器學習等新技術的發展，「機器人」研發也取得了突飛猛進的成果並開始一定應用。應該說，自進入到信息社會以來，人類社會的自動化、智能化水平已得到明顯提升，但始終面臨瓶頸而無法取得突破性進展，機器的思維方式仍屬於線性、簡單、物理的自然思維，智能水平仍不盡如人意。

但是，大數據時代的到來，可以為提升機器智能帶來契機，因為大數據將有效推進機器思維方式由自然思維轉向智能思維，這才是大數據思維轉變的關鍵所在、核心內容。

眾所周知，人腦之所以具有智能、智慧，就在於它能夠對周遭的數據信息進行全面收集、邏輯判斷和歸納總結，獲得有關事物或現象的認識與見解。同樣，在大數據時代，隨著物聯網、雲計算、社會計算、可視技術等的突破發展，大數據系統也能夠自動地搜索所有相關的數據信息，並進而類似「人腦」一樣主動、立體、邏輯地分析數據、做出判斷、提供洞見，那麼，無疑也就具有了類似人類的智能思維能力和預測未來的能力。

「智能、智慧」是大數據時代的顯著特徵，大數據時代的思維方式也要求從自然思維轉向智能思維，不斷提升機器或系統的社會計算能力和智能化水平，從而獲得具有洞察力和新價值的東西，甚至類似於人類的「智慧」。

Ⅱ 如何認識大數據背景下，統計學面臨的挑戰與機遇

王見定教授挑戰」統計學突破獎「

（四 ）申報「統計突破獎」的理由

統計學在一切學科中（以社會科學與自然科學一級學科為單位）是地位最高的學科。它的地位的崇高在扵：它是現今世界幾乎所有前沿科學進行研究的唯一手段（所謂瞎子摸大象方法），也是西方文明幾百年的台柱子。
而統計學現存的兩大體系社會統計學與數理統計學的爭論至少有100多年的歷史。早期學者認為社會統計學是研究社會科學的，數理統計學是研究自然科學的；中期學者認為社會統計學適合作定性分析，數理統計學則適合作定量分析；近些年來，以美國為代表的發達國家的學者，由於誇大了數理統計的定量分析，誤認為數理統計學可以代替社會統計學。但是這些觀點自始至終未能對兩者作出科學的解釋，一切處在矛盾中，斗爭中、、、、
王見定教授經過30多年的學習和研究，發現了能准確界定社會統計學、數理統計學的方法，並發現了兩者的聯系和區別以及在一定條件下可以相互轉化的關系，完美地解決了這一長期存在於統計學界的最大問題。「社會統計學與數理統計學的統一理論」將對其它科學的發展起到不可估量的作用。

Ⅲ 大數據分析的概念和方法

一、大數據分析的五個基本方面

1，可視化分析

大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。

2，數據挖掘演算法

大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計學家所公認的各種統計方法(可以稱之為真理)才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。

3，預測性分析能力

大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。

4，語義引擎

大數據分析廣泛應用於網路數據挖掘，可從用戶的搜索關鍵詞、標簽關鍵詞、或其他輸入語義，分析，判斷用戶需求，從而實現更好的用戶體驗和廣告匹配。

5，數據質量和數據管理

大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。 大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。

二、如何選擇適合的數據分析工具

要明白分析什麼數據，大數據要分析的數據類型主要有四大類：

1.交易數據(TRANSACTION DATA)

大數據平台能夠獲取時間跨度更大、更海量的結構化交易數據，這樣就可以對更廣泛的交易數據類型進行分析，不僅僅包括POS或電子商務購物數據，還包括行為交易數據，例如Web伺服器記錄的互聯網點擊流數據日誌。

2.人為數據(HUMAN-GENERATED DATA)

非結構數據廣泛存在於電子郵件、文檔、圖片、音頻、視頻，以及通過博客、維基，尤其是社交媒體產生的數據流。這些數據為使用文本分析功能進行分析提供了豐富的數據源泉。

3.移動數據(MOBILE DATA)

能夠上網的智能手機和平板越來越普遍。這些移動設備上的App都能夠追蹤和溝通無數事件，從App內的交易數據(如搜索產品的記錄事件)到個人信息資料或狀態報告事件(如地點變更即報告一個新的地理編碼)。

4.機器和感測器數據(MACHINE AND SENSOR DATA)

這包括功能設備創建或生成的數據，例如智能電表、智能溫度控制器、工廠機器和連接互聯網的家用電器。這些設備可以配置為與互聯網路中的其他節點通信，還可以自動向中央伺服器傳輸數據，這樣就可以對數據進行分析。機器和感測器數據是來自新興的物聯網(IoT)所產生的主要例子。來自物聯網的數據可以用於構建分析模型，連續監測預測性行為(如當感測器值表示有問題時進行識別)，提供規定的指令(如警示技術人員在真正出問題之前檢查設備)

Ⅳ 大數據發展背景及研究現狀

2015年左右，大數據相關政策規劃密集出台，同期為大數據企業新增數量頂峰時期。近年來，我國大數據產業迎來新的發展機遇期，產業規模日趨成熟。大數據產業主體從「硬」設施向「軟」服務轉變的態勢將更加明顯，面向金融、政務、電信、醫療等領域的大數據服務將實現倍增創新。

大數據企業數量持續增長，增速與政策出台密切相關

根據IT桔子統計，大數據企業的快速增長階段出現在2013-2015年，增長速度在2015年達到最高峰。2015年後，市場日趨成熟，企業新增開始趨於放緩，大數據產業逐漸走向成熟。

—— 以上數據及分析均來自於前瞻產業研究院《中國大數據產業發展前景與投資戰略規劃分析報告》。

Ⅳ 如何實現大數據量資料庫的歷史數據歸檔

//打開抄資料庫
con.Open();
//讀取數據
OdbcDataReader reader = cmd.ExecuteReader();
//把數據載入襲到臨時表
dt.Load(reader);
//在使用完畢之後，一定要關閉，要不然會出問題
reader.Close();

Ⅵ 大數據歷史是研究什麼

答:大數據歷史應該是研究古代過去真正的事實。

Ⅶ 大數據對於社會科學研究方法帶來哪些機遇

大數據是人類行為的數據總和，做大數據挖掘，需要更好的洞察。首先政府是數據的「土豪」，擁有極其豐富的數據資源，通過分析公民行為，洞察社會、洞察社會行為進行預測，所以對於政府來講應該是最主要的大數據使用者和大數據的擁有者。以美國為例，美國開發大數據主要有三個要點：1、數據要開發；2、通過挖掘更多的價值加強企業競爭和政府感覺；3、通過數據能夠擁有更多的人才挖掘數據。所以美國開發大數據是有準備的，不僅要把數據開放，而且還要計算機接受，比如美國開放了類似於911、119等的請求數量，還有地理信息、房屋信息、空氣質量等數據，在開發數據中，不光開發還被計算機接受，它是可以直接被計算機讀取的。在政府管理上，大數據致力於方方面面，通過監控高速公路上的數據記錄，優化交通管理，通過各個感測器監控整個社會的城市的運營體系。
在傳統的社會科學研究中，我們可以清晰感知到大眾傳播如何落地到人際傳播，而且感受到人際傳播所感受的內容。大數據時代，可以通過這樣一些追蹤研究尋找傳播，盡管大數據帶來隱私泄露的問題，但是大數據帶來「什麼是隱私」的重新思考。在這里，我們看到人們不斷的對話，在社會生活中人們需要這樣的思考、研究，研究社會科學更自然的體現。
如果對大數據的發展比較關注，歡迎訪問數據觀了解大數據相關資訊和實時信息。

Ⅷ 在大數據背景下,如何挖掘數據,經濟地理學如何學習研究

大數據已應用到各個領域。

Ⅸ 利用大數據進行的社會科學研究有哪些

最典型的是，利用大數據進行流感的預測和預防

Ⅹ 大數據改變世界的五種方式

大數據改變世界的五種方式
隨著電腦科技的發展，計算能力不再是像以前那樣的「奢侈品」。現在的我們就彷如暢泳在一個巨大的數據水庫，而這個資料庫包羅萬象：從繁忙時段一個明尼蘇達州小鎮的表現至在葉門成功使用無人飛機轟炸的可能性。大數據的到來意味著公司，機構以及政府等可以同過收集，挖掘並利用這些龐大的數據區完成神奇的事情。
讓我們看看神奇的大數據如何改變世界：
1.數據化身致命武器：
信息作為大數據時代最有效最具殺傷力的武器同時也正在被大量用於該時代的軍備競賽，但現今的軍事技術數據來源正受限於衛星，無人飛行旗以及更多傳統方式得到的數據。美國國防部啟動一項名為XDATA的方案，其作為奧巴馬政府發布的大數據倡議的一部分主要致力於以2.5億美元研發一個分析大數據的系統。隨著越來越多的有效運算，美軍能夠將PB級的數據運用到尖端優勢上，例如讓無人轟炸機變得前所未有的智能以及致命。
2.拯救地球：
除了讓捕食者無人機更有威力和增加零售利潤外，大數據更能造福世界。以開源的大數據平台Google Earth引擎為例，研究人員可利用它繪制出第一張莫斯科森林的高解析度的地圖。如果僅利用傳統的電腦計算方法繪制需要3年時間，對比之下使用Google Earth僅需一天時間。
像這種大規模的數據集合能夠讓人類在系統層面上理解生態危機。我們知道越多地球生態系統以及天氣形態變化數據，就越容易模型化未來環境的變遷，因而也能夠在我們力所能及的時候去阻止不好的轉變發生。
3.預測購物趨勢：
消費者的購物趨勢能夠在以前的購物記錄大數據挖掘中得出，銷售公司不論大少均有可能預測到你需要買什麼，他們甚至比你自己更懂你。因而從消費者當前購物數據中從大數據中能夠獲得大利潤。網上零售商如亞馬遜正在大量收集我們的購物以及網上購物數據，甚至線下零售商也開始緊跟這一趨勢著手收集消費者的消費數據。一些聰明的公司看準這點，以RetailNext為例，它是為Brookstone 以及American Apparel等公司提供購物者瀏覽以及購物時的錄像記錄。 RetailNext將一個購買者在店鋪移動的軌跡轉化為上萬數據點，就可以得到購物者在店內瀏覽商品的移動過程，停留點以及其與銷售的相關性。
4.加速科學研究發展速度：
一直以來數據都是科學發現的支柱，現在由於大數據的發展以及高運算力的支持，科研步伐也正飛速向前。
以人類歷史上科學成就指標性的 人類基因組計劃為例，當時花費達30億美元，耗時13年才完成大約含25000個基因的人類基因組測序及分析。若應用當代先進的數據收集分析方法，使用一個如U盤大小的裝置區完成這項工作僅需幾小時就足矣，其花費也僅僅是1000美元。
5.大數據導致更大的隱私威脅：
你也許只是從大「據」考慮，但是這句格言不再像以前一樣好用了。若說大數據與廣度攸關是正確無誤的，但是深度對大數據來說也是同等重要的。
網路巨頭如Facebook和Google不單單積累了廣度上的數據—大量的用戶（FB擁有9.55億用戶），他們對深度上的數據–用戶（使用網路的）數據也了如指掌。譬如，他們知道你搜索的內容，你點擊了什麼頁面以及你認識什麼人。最大的網路大鱷擁有足以讓他們無所不知的大量的數據。
在這里的技術力量，文化進步和利潤的相交之處，有一件事是確定的：數據越大責任越大（蜘蛛俠中槍）。