数据是指对客观事件进行记录并可以鉴别的符号y

是对客观事物的性质状态以及相互关系等进行记

载的物理符号或这些物理符号的组合y是可识别的

抽象的符号

?数据和信息是两个不同的概念y信息是较为宏观

的概念y它由数据的有序排列组合而成y传达给读

者某个概念方法等y而数据则是构成信息的基本单

位y离散的数据没有任何实用价值。搜索本文首发: 神女赋 shennvfu.com

数据也被称为“未来的石油”

涉及到国家安全等方面。

计算机系统中的数据组织形式主要有两种y即文件和

数据库

?

1?文件x计算机系统中的很多数据都是以文件形式

存在的y比如一个word文件一个文本文件一个

网页文件一个图片文件等等

?

2?数据库x计算机系统中另一种非常重要的数据组

织形式就是数据库y数据库已经成为计算机软件开发

的基础和核心。

过去x一旦数据的基本用途实现了y往往就会被

删除y一方面是由于过去的存储技术落后y人们

需要删除旧数据来存储新数据y另一方面则是人

们没有认识到数据的潜在价值

现在x数据的价值不会因为不断被使用而削减y

反而会因为不断重组而产生更大的价值

将来x各类收集来的数据都应当被尽可能长时间

地保存下来y同时也应当在一定条件下与全社会

分享y并产生价值。

人类进入信息社会以后y数据以自然方式增长y其产生不以人

的意志为转移

从1986年开始到2010年的20年时间里y全球数据的数量增长

了100倍y今后的数据量增长速度将更快y我们正生活在一个

数据爆炸的时代。

数据分析过程包括x数据采集与预处理数据存储与管理数据处理与

分析数据可视化等

?

1?数据采集与预处理x采用各种技术手段把外部各种数据源产生的数

据实时或非实时地采集预处理并加以利用

?

2?数据存储与管理x利用计算机硬件和软件技术对数据进行有效的存

储和应用的过程y其目的在于充分有效地发挥数据的作用

?

3?数据处理与分析x数据分析是指用适当的分析方法?来自统计学

机器学习和数据挖掘等领域?y对收集来的数据进行分析y提取有用信

息和形成结论的过程

?

4?数据可视化x将数据集中的数据以图形图像形式表示y并利用数据

分析和开发工具发现其中未知信息的处理过程。

数据采集与预处理包含了数据采集和数据预处理两大任务

数据采集是指从传感器和智能设备企业在线系统企业离线

系统社交网络和互联网平台等获取数据的过程需要采集的

数据包括rfid数据传感器数据用户行为数据社交网络交

互数据及移动互联网数据等各种类型的结构化半结构化及非

结构化的海量数据

数据采集技术是大数据技术的重要组成部分y已经广泛应用于

国民经济各个领域y随着大数据技术的发展和普及y大数据采

集技术会迎来更加广阔的发展前景。

数据预处理目标是为后续的数据分析工作提供可靠和高质量的

数据y减少数据集规模y提高数据抽象程度和数据分析效率

数据预处理任务主要包括数据清洗数据集成数据转换和数

据脱敏等经过这些步骤y我们可以从大量的数据属性中提取

出一部分对目标输出有重要影响的属性y降低源数据的维数y

去除噪声y为数据分析算法提供干净准确且有针对性的数据y

减少数据分析算法的数据处理量y改进数据质量y提高分析效

率。

数据采集y又称数据获取

y是数据分析的入口y也是数据分

析过程中相当重要的一个环节y它通过各种技术手段把外部各

种数据源产生的数据实时或非实时地采集并加以利用。

传感器是一种检测装置y能感受到被测量的信息y并能将感受到的信息y

按一定规律变换成为电信号或其他所需形式的信息输出y以满足信息的传

输处理存储显示记录和控制等要求在工作现场y我们会安装很

多的各种类型的传感器y如压力传感器温度传感器流量传感器声音

传感器电参数传感器等等

?传感器对环境的适应能力很强y