⑴ 大數據時代怎樣用統計學搜集數據

已上提問是統計學基本概念不清楚：有的學者認為大數據時代統計學過時了；實際上：這是一種錯誤學說，就是一個大呼悠。所為的大數據就是數據流大一點而已，從數據擴展到信息，並沒有超出統計學描述的范圍；也就是互聯網、計算機、蘋果手機，小朋友手機搖啊搖，小姑娘們聊啊聊，帥哥鍵盤敲啊敲，這些數據、信息、資料、圖片向白雲一樣飄啊飄，飄到空間瞬間形成龐大的幾十萬億的數據雲。最後這些數據流我們用計算機通過統計學專家學者加已整理、分析；這就對統計學家提出了新的挑戰。
統計學是通過搜索、整理、分析、描述數據等手段，以達到推斷所測對象的本質，甚至預測對象未來的一門綜合性科學。其中用到了大量的數學及其它學科的專業知識，它的使用范圍幾乎覆蓋了社會科學和自然科學的各個領域。
「社會統計學與數理統計學的統一」理論的重大意義

王見定教授指出：社會統計學描述的是變數，數理統計學描述的是隨機變數，而變數和隨機變數是兩個既有區別又有聯系，且在一定條件下可以相互轉化的數學概念。王見定教授的這一論述在數學上就是一個巨大的發現。
我們知道「變數」的概念是17世紀由著名數學家笛卡爾首先提出，而「隨機變數」的概念是20世紀30年代以後由蘇聯學者首先提出，兩個概念的提出相差3個世紀。截至到王見定教授，世界上還沒有第二個人提出變數和隨機變數兩者的聯系、區別以及相互的轉化。我們知道變數的提出造就了一系列的函數論、方程論、微積分等重大數學學科的產生和發展；而隨機變數的提出則奠定了概率論和數理統計等學科的理論基礎和促進了它們的蓬勃發展。可見變數、隨機變數概念的提出其價值何等重大，從而把王見定教授在世界上首次提出變數、隨機變數的聯系、區別以及相互的轉化的意義稱為巨大、也就不視為過。
下面我們回到：「社會統計學和數理統計學的統一」理論上來。王見定教授指出社會統計學描述的是變數，數理統計學描述的是隨機變數，這樣王見定教授准確地界定了社會統計學與數理統計學各自研究的范圍，以及在一定條件下可以相互轉化的關系，這是對統計學的最大貢獻。它結束了近400年來幾十種甚至上百種以上五花八門種類的統計學混戰局面，使它們回到正確的軌道上來。
由於變數不斷地出現且永遠地繼續下去，所以社會統計學不僅不會消亡，而且會不斷發展狀大。當然數理統計學也會由於隨機變數的不斷出現同樣發展狀大。但是，對隨機變數的研究一般來說比對變數的研究復雜的多，而且直到今天數理統計的研究尚處在較低的水平，且使用起來比較復雜；再從長遠的研究來看，對隨機變數的研究最終會逐步轉化為對變數的研究，這與我們通常研究復雜問題轉化為若干簡單問題的研究道理是一樣的。既然社會統計學描述的是變數，而變數描述的范圍是極其寬廣的，絕非某些數理統計學者所雲：社會統計學只作簡單的加、減、乘、除。從理論上講，社會統計學應該復蓋除數理統計學之外的絕大多數數學學科的運作。所以王見定教授提出的：「社會統計學與數理統計學統一」理論，從根本上糾正了統計學界長期存在的低估社會統計學的錯誤學說，並從理論上和應用上論證了社會統計學的廣闊前景。

⑵ 如何收集大數據

可用爬蟲爬取。既然是大數據，相信需要的體量不會太小吧，個人系統爬取難度和成本應該不會很小，建議找一家做大數據的公司代勞，省時省力，也花不了多少錢。

⑶ 怎麼收集利用大數據進行銀行再造……

FineBI商業智能系統的部署應用可以幫助銀行充分利用積累的數據中蘊含的價值信息；可以讓決策者多維度分析業務情況的影響因素；可以輔助市場針對客戶分析結果（貢獻度分析，信用等級分析，理財產品使用分析)，針對不同的客戶群特點喜好開展營銷活動；可以通過人力綜合成本預算分析、人員績效考核等分析加強內部員工的績效考核管理。

⑷ 大數據如何搜集

首先你得有用戶基數，然後才有大數據。用戶不一定得是人，物也可以。通過對大量數據的收集處理，就成了大數據。

⑸ 如何進行大數據處理

大數據處理之一：收集


大數據的收集是指運用多個資料庫來接收發自客戶端(Web、App或許感測器方式等)的 數據，而且用戶能夠經過這些資料庫來進行簡略的查詢和處理作業，在大數據的收集進程中，其主要特色和應戰是並發數高，因為同時有可能會有成千上萬的用戶 來進行拜訪和操作


大數據處理之二：導入/預處理


雖然收集端本身會有許多資料庫，但是假如要對這些海量數據進行有效的剖析，還是應該將這 些來自前端的數據導入到一個集中的大型分布式資料庫，或許分布式存儲集群，而且能夠在導入基礎上做一些簡略的清洗和預處理作業。導入與預處理進程的特色和應戰主要是導入的數據量大，每秒鍾的導入量經常會到達百兆，甚至千兆等級。


大數據處理之三：核算/剖析


核算與剖析主要運用分布式資料庫，或許分布式核算集群來對存儲於其內的海量數據進行普通 的剖析和分類匯總等，以滿足大多數常見的剖析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及根據 MySQL的列式存儲Infobright等，而一些批處理，或許根據半結構化數據的需求能夠運用Hadoop。 核算與剖析這部分的主要特色和應戰是剖析觸及的數據量大，其對系統資源，特別是I/O會有極大的佔用。


大數據處理之四：發掘


主要是在現有數據上面進行根據各種演算法的核算，然後起到預測(Predict)的作用，然後實現一些高等級數據剖析的需求。主要運用的工具有Hadoop的Mahout等。該進程的特色和應戰主要是用於發掘的演算法很復雜，並 且核算觸及的數據量和核算量都很大，常用數據發掘演算法都以單線程為主。


關於如何進行大數據處理，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

⑹ 大數據時代，一般通過什麼方法（軟體）收集、分析和可視化數據

收集數據主要是通過計算機和網路。凡是經過計算機處理的數據都很容易收集，比如瀏覽專器里的搜索、點屬擊、網上購物、……其他數據（比如氣溫、海水鹽度、地震波）可以通過感測器轉化成數字信號輸入計算機。

1、數據是平台運營商的重要資產，可能提供API介面允許第三方有限度地使用，但是顯然是為了增強自身的業務，與此目的抵觸的行為都會受到約束，收集到的數據一般要先經過整理，常用的軟體：Tableau和Impure是功能比較全面的，Refine和Wrangler是比較純粹的數據整理工具，Weka用於數據挖掘。

2、java中比較常用的圖表繪制類庫是JFreeChart，它完全使用Java語言編寫，是為applications, applets, servlets 以及JSP等使用所設計。JFreeChart可生成餅圖（pie charts）、柱狀圖（bar charts）、散點圖（scatter plots）、時序圖（time series）、甘特圖（Gantt charts）等等多種圖表，並且可以產生PNG和JPEG格式的輸出，還可以與PDF和EXCEL關聯。

⑺ 大數據怎麼收集

通過數據抓取和數據監測，整合成一個巨大的資料庫——產業經濟數據監測、預測與政策模擬平台

⑻ 數據的採集方法，主要包括哪幾類（大數據及應用）

這個問題沒有標准答案
我覺得就兩類，一類是採集，比如爬蟲、感測器、日誌 這類是客觀世界生成信息和數據
另一類是搬運，比如批量移動，實時移動，這一類就是純技術問題

⑼ 大數據時代，那麼一般通過什麼方法（軟體）收集、分析和可視化數據

數據是平台運營商的重要資產，可能提供API介面允許第三方有限度地使用，但是顯然是為了增強自身的業務，與此目的抵觸的行為都會受到約束。
收集數據主要是通過計算機和網路。凡是經過計算機處理的數據都很容易收集，比如瀏覽器里的搜索、點擊、網上購物、……其他數據（比如氣溫、海水鹽度、地震波）可以通過感測器轉化成數字信號輸入計算機。
收集到的數據一般要先經過整理，常用的軟體：Tableau和Impure是功能比較全面的，Refine和Wrangler是比較純粹的數據整理工具，Weka用於數據挖掘。
Hadoop是一個能夠對大量數據進行分布式處理的軟體框架。用於統計分析的R語言有個擴展R + Hadoop，可以在Hadoop集群上運行R代碼。更具體的自己搜索吧。
可視化輸出的工具很多。建議參考wikipedia的「數據可視化」條目。
Tableau、Impure都有可視化功能。R語言也可以繪圖。
還有很多可以用來在網頁上實現可視化輸出的框架或者控制項。
大致基於四種技術：Flash(Flex)或者JS(HTML5)或者Java或者ASP.NET(Silverlight)
Flash的有Degrafa、BirdEye、Axiis、Open Flash Chart
JS的有Ajax.org、Sencha Ext JS、Filament、jQchart、Flot、Sparklines、gRaphael、TufteGraph、Exhibit、PlotKit、ExplorerCanvas、MilkChart、Google Chart API、Protovis
Java的有Choosel、google-visualization-java、GWT Chronoscope、JFreeChart
ASP.NET的有Telerik Charts、Visifire、Dundas Chart
目前我比較喜歡d3(Data-Driven Documents)，圖形種類豐富，有交互能力，你可以去d3js.org看看，有很多種圖形的demo。