摘要:大数据的目标是使多个流程自动化以帮助我们寻找更大的价值。大数据已成为预测未来模式的最令人鼓舞和最成功的创新之一。介绍大数据是指庞大而复杂的数据集合,以至于传统数据库工具难以管理。大数据被认为是信息技术(IT)领域的未来基础。当今的组织依赖于...
大数据的目标是使多个流程自动化以帮助我们寻找更大的价值。大数据已成为预测未来模式的最令人鼓舞和最成功的创新之一。
介绍
大数据是指庞大而复杂的数据集合,以至于传统数据库工具难以管理。大数据被认为是信息技术(IT)领域的未来基础。当今的组织依赖于数据大小,这就是为什么他们对大数据分析的兴趣日益增加的原因。大数据的关键是组织数据以供快速参考,以从摘要和索引中获取源。Amazon AWS在Lustre上使用DDN,Microsoft在Lustre上使用Cray。Google使用FUSE或自己的存储设备[1] [2] [3] 。
大数据知识可以帮助制定正确的计划或策略,并使大家为行业战做好准备。但是,与所有其他不同领域一样,如果大家是新手,则必须面对一些挑战。
理解
通常,许多组织忽视了将大数据作为市场上的新技术来了解其优缺点。他们也无法理解大数据对其业务组织的重要性。如果没有任何合理的信息,他们会有不同的观点,例如对于项目可能是危险的,或者可能是昂贵的甚至更多。
你需要进行适当的研究以了解大数据的优势,劣势。在不理解深刻的概念之前,切勿接受或拒绝任何技术。要查看不同级别的大数据确认,你必须完成参加研讨会和各种大数据活动。你还可以联系当前正在使用该技术并从中获得收益或利益的盟友。大数据是给定的,它是人工智能深度学习培训的要求。要进行深度学习培训,您需要尽可能多的数据,深度学习的部分目的是找到您可能看不到的模式。如果您不进行深度学习,则需要通过其他算法来处理数据,并设法跟上信息的步伐。大数据不是实时完成的。
概念
应该建立数据结构以更好地管理大数据。数据结构允许对大型数据集进行有效的管理和索引。数据结构通常指结构化或非结构化数据[7]。
结构化的
非结构化
根据大数据的定义和准则,大数据的属性缩写为“ 5V”,即体积,品种,速度,价值和准确性。请记住,这是一个不断发展的领域[8] [9]。
基本定义基于三个V:品种,体积和速度。
大数据的重要性是可衡量的,可靠的数据所增加的价值。大数据的现代版本仍然遵循非常大的复杂数据的定义,但最近已扩展为包括V的值和准确性。
大数据的不断发展意味着其主要概念一直在发展。随着我们进一步定义未来大数据的含义,我们目前的理解还将超越5V。V的一些可能添加如下:
安全
大数据涉及将数据与业务组织的各个部门进行集成。许多组织认为,当它们与各种第三方软件共享信息以使数据对组织的其他部门可见时,大数据可能会构成威胁。大数据始终提供大量的后端分散数据存储,不同平台在本地不支持该存储。第三方软件只能看到数据,但是他们可以访问数据以供使用。
在引入新技术并以多种方式使用大数据的同时,大数据的安全性和机密性也被认为是一个问题。大数据涉及各种安全和隐私问题。(BDS)大数据安全性的主要问题是保护和验证数据。
由于大数据量大,速度快和多样性大,因此对于常规安全模型而言,处理此类大数据具有挑战性。这种范例给必须适应大数据范围的安全专业人员带来了挑战。下表列出了对大数据的常见威胁:
云
大数据是组织可以在其中保存大量数据的数据仓库。在许多情况下,大数据是基于云的存储空间。大数据始终准备处理,清理,处理和执行数据上的各种活动。当今的商业组织拥有大量数据,并且将它们作为大数据保存在云中。
大数据不是云。大数据是大型,快速且多样化的数据。云是具有解决方案的一种工具。有效地正确设置内部房屋计算的是内部云,内部数据只能由您直接允许其访问的人员访问。对云中真正敏感的数据(例如,AWS,Azure等)的安全性存在重大担忧,外国政府,其他公司及其承包商都可能访问您的数据,而您的控制权有限[12] 。
组织面临的另一个挑战是大数据中数据存储的成本。大多数公司认为,与传统的数据存储方法相比,大数据将花费更多的成本。但这仅是一个神话。费用将取决于您的需求或要求。内部设置需要硬件,软件,维护和最熟练的人员来设置和维护内部云。云提供商在成本,规模,托管和速度两方面都可以利用规模效率。
用例范例
组织会很快迷失在市场上可用的各种大数据技术中。在为企业组织或项目选择一种时,各种类型的大数据技术可能会使组织感到困惑。如果您尝试使用不完全或部分知识来探索海洋,那么您将永远无法清晰地了解您对应用程序或技术的期望。例如,诸如Google BigQuery和Apache Hadoop之类的大数据工具可能是用于开发自己的分析工具的有用平台。第三方基于云的应用程序还提供日志分析服务。
大数据本身没有价值。但是,它具有巨大的潜力。大数据被用于现代生活的各个方面。我们在所有内容中使用信息。由于现在可以轻松访问和共享信息,因此每个人都应了解自己与大数据的联系。通过查看人员和流程如何影响组织的整体工作流程,大数据可用于解决与效率相关的问题[13] [14] [15] [16] [17]。
结论
大数据被认为是信息技术领域未来的基础。大数据的目标是使多个流程自动化以帮助寻找价值。大数据已成为预测未来模式的最令人鼓舞和最成功的创新之一。建议大家尽可能进行适当的研究和探索技术。
参考文献:
[1] https://aws.amazon.com/big-data/what-is-big-data/
[2] https://www.oracle.com/big-data/what-is-big-data.html
[3] https://aws.amazon.com/fsx/lustre/