⑴ 大数据时代怎样用统计学搜集数据

已上提问是统计学基本概念不清楚：有的学者认为大数据时代统计学过时了；实际上：这是一种错误学说，就是一个大呼悠。所为的大数据就是数据流大一点而已，从数据扩展到信息，并没有超出统计学描述的范围；也就是互联网、计算机、苹果手机，小朋友手机摇啊摇，小姑娘们聊啊聊，帅哥键盘敲啊敲，这些数据、信息、资料、图片向白云一样飘啊飘，飘到空间瞬间形成庞大的几十万亿的数据云。最后这些数据流我们用计算机通过统计学专家学者加已整理、分析；这就对统计学家提出了新的挑战。
统计学是通过搜索、整理、分析、描述数据等手段，以达到推断所测对象的本质，甚至预测对象未来的一门综合性科学。其中用到了大量的数学及其它学科的专业知识，它的使用范围几乎覆盖了社会科学和自然科学的各个领域。
“社会统计学与数理统计学的统一”理论的重大意义

王见定教授指出：社会统计学描述的是变量，数理统计学描述的是随机变量，而变量和随机变量是两个既有区别又有联系，且在一定条件下可以相互转化的数学概念。王见定教授的这一论述在数学上就是一个巨大的发现。
我们知道“变量”的概念是17世纪由著名数学家笛卡尔首先提出，而“随机变量”的概念是20世纪30年代以后由苏联学者首先提出，两个概念的提出相差3个世纪。截至到王见定教授，世界上还没有第二个人提出变量和随机变量两者的联系、区别以及相互的转化。我们知道变量的提出造就了一系列的函数论、方程论、微积分等重大数学学科的产生和发展；而随机变量的提出则奠定了概率论和数理统计等学科的理论基础和促进了它们的蓬勃发展。可见变量、随机变量概念的提出其价值何等重大，从而把王见定教授在世界上首次提出变量、随机变量的联系、区别以及相互的转化的意义称为巨大、也就不视为过。
下面我们回到：“社会统计学和数理统计学的统一”理论上来。王见定教授指出社会统计学描述的是变量，数理统计学描述的是随机变量，这样王见定教授准确地界定了社会统计学与数理统计学各自研究的范围，以及在一定条件下可以相互转化的关系，这是对统计学的最大贡献。它结束了近400年来几十种甚至上百种以上五花八门种类的统计学混战局面，使它们回到正确的轨道上来。
由于变量不断地出现且永远地继续下去，所以社会统计学不仅不会消亡，而且会不断发展状大。当然数理统计学也会由于随机变量的不断出现同样发展状大。但是，对随机变量的研究一般来说比对变量的研究复杂的多，而且直到今天数理统计的研究尚处在较低的水平，且使用起来比较复杂；再从长远的研究来看，对随机变量的研究最终会逐步转化为对变量的研究，这与我们通常研究复杂问题转化为若干简单问题的研究道理是一样的。既然社会统计学描述的是变量，而变量描述的范围是极其宽广的，绝非某些数理统计学者所云：社会统计学只作简单的加、减、乘、除。从理论上讲，社会统计学应该复盖除数理统计学之外的绝大多数数学学科的运作。所以王见定教授提出的：“社会统计学与数理统计学统一”理论，从根本上纠正了统计学界长期存在的低估社会统计学的错误学说，并从理论上和应用上论证了社会统计学的广阔前景。

⑵ 如何收集大数据

可用爬虫爬取。既然是大数据，相信需要的体量不会太小吧，个人系统爬取难度和成本应该不会很小，建议找一家做大数据的公司代劳，省时省力，也花不了多少钱。

⑶ 怎么收集利用大数据进行银行再造……

FineBI商业智能系统的部署应用可以帮助银行充分利用积累的数据中蕴含的价值信息；可以让决策者多维度分析业务情况的影响因素；可以辅助市场针对客户分析结果（贡献度分析，信用等级分析，理财产品使用分析)，针对不同的客户群特点喜好开展营销活动；可以通过人力综合成本预算分析、人员绩效考核等分析加强内部员工的绩效考核管理。

⑷ 大数据如何搜集

首先你得有用户基数，然后才有大数据。用户不一定得是人，物也可以。通过对大量数据的收集处理，就成了大数据。

⑸ 如何进行大数据处理

大数据处理之一：收集


大数据的收集是指运用多个数据库来接收发自客户端(Web、App或许传感器方式等)的 数据，而且用户能够经过这些数据库来进行简略的查询和处理作业，在大数据的收集进程中，其主要特色和应战是并发数高，因为同时有可能会有成千上万的用户 来进行拜访和操作


大数据处理之二：导入/预处理


虽然收集端本身会有许多数据库，但是假如要对这些海量数据进行有效的剖析，还是应该将这 些来自前端的数据导入到一个集中的大型分布式数据库，或许分布式存储集群，而且能够在导入基础上做一些简略的清洗和预处理作业。导入与预处理进程的特色和应战主要是导入的数据量大，每秒钟的导入量经常会到达百兆，甚至千兆等级。


大数据处理之三：核算/剖析


核算与剖析主要运用分布式数据库，或许分布式核算集群来对存储于其内的海量数据进行普通 的剖析和分类汇总等，以满足大多数常见的剖析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及根据 MySQL的列式存储Infobright等，而一些批处理，或许根据半结构化数据的需求能够运用Hadoop。 核算与剖析这部分的主要特色和应战是剖析触及的数据量大，其对系统资源，特别是I/O会有极大的占用。


大数据处理之四：发掘


主要是在现有数据上面进行根据各种算法的核算，然后起到预测(Predict)的作用，然后实现一些高等级数据剖析的需求。主要运用的工具有Hadoop的Mahout等。该进程的特色和应战主要是用于发掘的算法很复杂，并 且核算触及的数据量和核算量都很大，常用数据发掘算法都以单线程为主。


关于如何进行大数据处理，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

⑹ 大数据时代，一般通过什么方法（软件）收集、分析和可视化数据

收集数据主要是通过计算机和网络。凡是经过计算机处理的数据都很容易收集，比如浏览专器里的搜索、点属击、网上购物、……其他数据（比如气温、海水盐度、地震波）可以通过传感器转化成数字信号输入计算机。

1、数据是平台运营商的重要资产，可能提供API接口允许第三方有限度地使用，但是显然是为了增强自身的业务，与此目的抵触的行为都会受到约束，收集到的数据一般要先经过整理，常用的软件：Tableau和Impure是功能比较全面的，Refine和Wrangler是比较纯粹的数据整理工具，Weka用于数据挖掘。

2、java中比较常用的图表绘制类库是JFreeChart，它完全使用Java语言编写，是为applications, applets, servlets 以及JSP等使用所设计。JFreeChart可生成饼图（pie charts）、柱状图（bar charts）、散点图（scatter plots）、时序图（time series）、甘特图（Gantt charts）等等多种图表，并且可以产生PNG和JPEG格式的输出，还可以与PDF和EXCEL关联。

⑺ 大数据怎么收集

通过数据抓取和数据监测，整合成一个巨大的数据库——产业经济数据监测、预测与政策模拟平台

⑻ 数据的采集方法，主要包括哪几类（大数据及应用）

这个问题没有标准答案
我觉得就两类，一类是采集，比如爬虫、传感器、日志 这类是客观世界生成信息和数据
另一类是搬运，比如批量移动，实时移动，这一类就是纯技术问题

⑼ 大数据时代，那么一般通过什么方法（软件）收集、分析和可视化数据

数据是平台运营商的重要资产，可能提供API接口允许第三方有限度地使用，但是显然是为了增强自身的业务，与此目的抵触的行为都会受到约束。
收集数据主要是通过计算机和网络。凡是经过计算机处理的数据都很容易收集，比如浏览器里的搜索、点击、网上购物、……其他数据（比如气温、海水盐度、地震波）可以通过传感器转化成数字信号输入计算机。
收集到的数据一般要先经过整理，常用的软件：Tableau和Impure是功能比较全面的，Refine和Wrangler是比较纯粹的数据整理工具，Weka用于数据挖掘。
Hadoop是一个能够对大量数据进行分布式处理的软件框架。用于统计分析的R语言有个扩展R + Hadoop，可以在Hadoop集群上运行R代码。更具体的自己搜索吧。
可视化输出的工具很多。建议参考wikipedia的“数据可视化”条目。
Tableau、Impure都有可视化功能。R语言也可以绘图。
还有很多可以用来在网页上实现可视化输出的框架或者控件。
大致基于四种技术：Flash(Flex)或者JS(HTML5)或者Java或者ASP.NET(Silverlight)
Flash的有Degrafa、BirdEye、Axiis、Open Flash Chart
JS的有Ajax.org、Sencha Ext JS、Filament、jQchart、Flot、Sparklines、gRaphael、TufteGraph、Exhibit、PlotKit、ExplorerCanvas、MilkChart、Google Chart API、Protovis
Java的有Choosel、google-visualization-java、GWT Chronoscope、JFreeChart
ASP.NET的有Telerik Charts、Visifire、Dundas Chart
目前我比较喜欢d3(Data-Driven Documents)，图形种类丰富，有交互能力，你可以去d3js.org看看，有很多种图形的demo。