• 壮美!母亲河换新装 黄河壶口瀑布银雪万里 2019-08-17
  • 安徽查处16批次不合格食品 2019-08-15
  • 滴滴计划恢复部分夜间时段订单  2019-08-15
  • 中央再曝50名外逃人员藏匿线索 不少人级别高、影响大 2019-08-14
  • 公安部严查制售高科技作弊专用器材犯罪 2019-08-14
  • 控制臂连接轴存隐患  保时捷召回30辆2015款918 Spyder 2019-08-14
  • 比如最高检的12309检查服务中心,原来还有显示信访处理进程,不过没有几天就取消了。[上火][上火] 也就是说办与不办也没有人知道,下边省事了,上边也就轻松了。 2019-08-13
  • 淮南23家存在重大安全隐患单位被挂牌督办 2019-08-09
  • 加“速”拥抱夏天 初夏音乐节的潮搭指南 2019-08-09
  • 租购并举渐入佳境 构建楼市阶梯型消费 2019-08-06
  • 武汉“治污水”再创新 利用施工降水进行生态补水 2019-08-06
  • 去产能迎年中考 煤炭、钢铁企业债务问题依然存在 2019-08-03
  • 康师傅控股有限公司获第十二届人民企业社会责任奖年度扶贫奖 2019-07-30
  • 比利时并不轻松地击败巴拿马 2019-07-23
  • 家装行业猫腻多:“低价全包”变身“加价全包” 2019-07-23
  • 首页>>技术前沿>>网站/软件行业动态
    探讨大数据技术三个无法回避的客观问题
    作者:西安大数据平台开发 | 转载 来源:西安大数据平台开发 | 时间:2019年2月25日| 点击:0次 | 【评论】

    快三上海开奖结果查询 www.mspq.net 大数据时代的到来已经成为现实生活中无法逃避的挑战。大数据术语广泛地出现也使得人们渐渐明白了它的重要性。大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。与此同时,大数据也向参与的各方提出了巨大的挑战,这里探讨下大数据技术三个无法回避的客观问题:

    一、如何处理非结构化和半结构化数据

    大数据技术实施过程中,结构化数据只占15%左右,其余的85%都是非结构化的数据。大数据的不确定性表现在高维、多变和强随机性等方面。大数据刺激了大量研究问题。非结构化和半结构化数据的个体表现、一般性特征和基本原理尚不清晰,这些都需要通过包括数学、经济学、社会学、计算机科学和管理科学在内的多学科交叉来研究和讨论。给定一种半结构化或非结构化数据,比如图像,如何把它转化成多维数据表、面向对象的数据模型或者直接基于图像的数据模型?值得注意的是,大数据每一种表示形式都仅呈现数据本身的侧面表现,并非全貌。

    大数据技术

    由于大数据所具有的半结构化和非结构化特点,基于大数据的数据挖掘所产生的结构化的“粗糙知识”(潜在模式)也伴有一些新的特征。这些结构化的粗糙知识可以被主观知识加工处理并转化,生成半结构化和非结构化的智能知识。寻求“智能知识”反映了大数据研究的核心价值。如果把通过数据挖掘提取“粗糙知识”的过程称为“一次挖掘”过程,那么将粗糙知识与被量化后主观知识,包括具体的经验、常识、本能、情境知识和用户偏好,相结合而产生“智能知识”过程就叫做“二次挖掘”。从“一次挖掘”到“二次挖掘”类似事物“量”到“质”的飞跃。

    二、大数据系统如何建模

    这一问题的突破是实现大数据知识发现的前提和关键。从长远角度来看,依照大数据的个体复杂性和随机性所带来的挑战将促使大数据数学结构的形成,从而导致大数据统一理论的完备。从短期而言,学术界鼓励发展一种一般性的结构化数据和半结构化、非结构化数据之间的转化原则,以支持大数据的交叉工业应用。管理科学,尤其是基于最优化的理论将在发展大数据知识发现的一般性方法和规律性中发挥重要的作用。大数据的复杂形式导致许多对“粗糙知识”的度量和评估相关的研究问题。已知的最优化、数据包络分析、期望理论、管理科学中的效用理论可以被应用到研究如何将主观知识融合到数据挖掘产生的粗糙知识的“二次挖掘”过程中。这里人机交互将起到至关重要的作用。

    大数据技术

    三、大数据知识发现与管理决策

    由于大数据本身的复杂性,这一问题无疑是一个重要的科研课题,对传统的数据挖掘理论和技术提出了新的挑战。在大数据环境下,管理决策面临着两个“异构性”问题:“数据异构性”和“决策异构性”。传统的管理决定模式取决于对业务知识的学习和日益积累的实践经验,而管理决策又是以数据分析为基础的。大数据已经改变了传统的管理决策结构的模式。研究大数据对管理决策结构的影响会成为一个公开的科研问题。除此之外,决策结构的变化要求人们去探讨如何为支持更高层次的决策而去做“二次挖掘”。无论大数据带来了哪种数据异构性,大数据中的“粗糙知识”仍可被看作“一次挖掘”的范畴。通过寻找“二次挖掘”产生的“智能知识”来作为数据异构性和决策异构性之间的桥梁是十分必要的。探索大数据环境下决策结构是如何被改变的,相当于研究如何将决策者的主观知识参与到决策的过程中。

    大数据技术

    大数据是一种具有隐藏法则的人造自然,寻找大数据的科学模式将带来对研究大数据之美的一般性方法的探究,尽管这样的探索十分困难,但是如果我们找到了将非结构化、半结构化数据转化成结构化数据的方法,已知的数据挖掘方法将成为大数据挖掘的工具。

    此内容DOC下载 此内容PDF下载

    【全文完】
    关键词标签: 大数据 大数据技术 
    0 ([$-顶稿人数-$])
    0 ([$-踩稿人数-$])

    版权声明:

    1、弈聪软件网站内容中凡注明“来源:XXX(非西安弈聪网站)”的作品,转载自其它媒体,转载目的在于传递更多信息,其中涉及的网站建设,网站优化,APP开发,微信小程序开发,大数据平台开发,区块链技术开发等软件开发技术细节并不代表本站赞同支持其观点,并不对其真实性负责。对于署名“西安弈聪”的作品系本站版权所有,任何人转载请署名来源,否则西安弈聪将追究其相关法律责任。

    2、本站内容中未声明为“原创”的内容可能源自其它网站,但并不代表本站支持其观点,对此带来的法律纠纷及其它责任与我方无关。如果此内容侵犯了您的权益,请联系我方进行删除。

  • 壮美!母亲河换新装 黄河壶口瀑布银雪万里 2019-08-17
  • 安徽查处16批次不合格食品 2019-08-15
  • 滴滴计划恢复部分夜间时段订单  2019-08-15
  • 中央再曝50名外逃人员藏匿线索 不少人级别高、影响大 2019-08-14
  • 公安部严查制售高科技作弊专用器材犯罪 2019-08-14
  • 控制臂连接轴存隐患  保时捷召回30辆2015款918 Spyder 2019-08-14
  • 比如最高检的12309检查服务中心,原来还有显示信访处理进程,不过没有几天就取消了。[上火][上火] 也就是说办与不办也没有人知道,下边省事了,上边也就轻松了。 2019-08-13
  • 淮南23家存在重大安全隐患单位被挂牌督办 2019-08-09
  • 加“速”拥抱夏天 初夏音乐节的潮搭指南 2019-08-09
  • 租购并举渐入佳境 构建楼市阶梯型消费 2019-08-06
  • 武汉“治污水”再创新 利用施工降水进行生态补水 2019-08-06
  • 去产能迎年中考 煤炭、钢铁企业债务问题依然存在 2019-08-03
  • 康师傅控股有限公司获第十二届人民企业社会责任奖年度扶贫奖 2019-07-30
  • 比利时并不轻松地击败巴拿马 2019-07-23
  • 家装行业猫腻多:“低价全包”变身“加价全包” 2019-07-23
  • 天元围棋在线直播 十一选五青海开奖结果 天津时时彩哪里开奖快 江苏快3总和大小统计 乒乓球基本步法 4场进球开奖信息 云南快乐十分出奖结果 山东群英会现场开奖 排列五走势图下载 炸金花游戏 福建中国体育彩票22选5 一头一尾中特今天是什么尾数 北京快乐8开奖 白小姐四不像必中肖025期 时时彩3把赢了200万