大数据时代畅想(3)

 

　　数据分析

 

　　主要是指如何对处理完的数据进行商业分析，业务需求和技术需求必须有本企业技术和商业人员主导，外部厂商很难了解企业自身的商业需求，但是数据展现形式和分析方式可以交给厂商来做，主要涉及的厂商是传统的商业智能产品和可视化应用，包括Oracle的Hyperion、Teredata、SAPBusinessObjects,IBMCongnos,SAS,HP的Autonomy、QlikView等。

 

　　数据销毁

 

　　主要是指数据如何进行安全管理，对于不再需要的数据如何进行销毁，鉴于数据的数量较大，存储需要重用，因此数据索引删除、数据空间7次重写，数据混淆、数据对称加密等方式都可以用作数据销毁，目前此阶段市场需求不多，因此还没有较为成熟的方案和厂商，未来将会用安全厂商进入此领域。

 

　　由于目前大数据产业的商业模式和盈利模式还在探索之中，大数据带来的直接收益还没有明确，目前主要的商业形式还是大数企业自身的大数据应用（例如，大数据计算平台，大数据采集和分析，数据分析报告），行业应用处于一个探索的阶段，在大数据较为集中的电信行业，并没有成立数据事业部，数据被当作资产良好的保存起来，国外的大数据投资`在2005年就开始了，很多高科技企业已经大数产业链上投入巨资进行技术开发和行业应用。

 

　　六、大数据隐私保护

 

　　大数据的隐私和伦理已经争论了很多年，由于其涉及我们每个人的自身利益，大数据隐私保护是大数据产业需要正面面对的问题。大数据在采集过程中必定会涉及到隐私数据，的收集，如果其保护的不好将会造成严重的后果，成为大数据产业发展的瓶颈。过度强调大数据的商业应用而忽视了大数据产业的隐私保护，将会产生灾难性的后果，大数据产业的发展可能会因此被禁止。过度强调隐私保护而不发展大数据产业也是一个错误的选择，人类可能会错失一个高速发展的机遇。大数据产业发展要建立在隐私保护基础之上，同时隐私保护也将通过适当约束来助推大数据产业的发展。

 

　　大数据企业在采集外部数据时，应该注意尽量不要收集可以识别出个人的PII信息，参照美国个人隐私定义者，PII信息包括姓名、地址、手机号码、身份证号、驾驶证号、银行帐号、借记卡／信用卡号。大数据企业在使用自身拥有的信息时也要注意保护敏感信息例如民族、政治意见、宗教信仰、健康／医疗信息，婚姻状况、性生活、年龄、性别、犯罪记录、个人喜好、标准IP地址等。

 

　　大数据企业应该在其公司的章程和文件中体现对个人隐私数据的保护，坚持遵守全球隐私保护7条原则；

 

　　1)知晓权（透明性）：应该通知本人关于所收集信息的目的

 

　　2)选择权：提供机会选择或放弃所提供的个人信息是否被使用或如何被使用

 

　　3)同意权：再符合知晓权和选择权的情况下才可以向第三方透露个人数据信息

 

　　4)安全权：采取负责的措施保护个人信息免受丢失、滥用、未授权获取、泄露、篡改、毁坏的威胁

 

　　5)数据完整性：确保个人信息在最终用途、合理防护方面的可靠性，确保信息精确、完整、无误。

 

　　6)可查询：提供本人查询个人信息的途径

 

　　7)责任性：企业有责任遵守上述法则，并应确保合规的机制。

 

　　大数据企业面对的数据分为公开数据，授权数据，隐私数据。公开数据来源于公共媒体因此可以无须强调保护，授权数据来源于数据收集过程中，客户对企业的授权，需要依据签订的协议使用范围来使用，不能过越权进行数据转让和贩卖，大数据企业仅能在签署的授权范围内部进行使用，企业在使用大数据时尽量使用分类数据、群体数据、趋势数据、统计数据。不要使用针对个体的数据，同时在数据分析是需要注意关注隐私数据保护。大数据企业在利用隐私数据时将要特别注意对其的保护，即使在客户授权的前提下，也要注意数据的使用场合和揭示方式，不要向外泄露受保护的PII信息。

 

　　大数据隐私保护应该从企业法律意识、国家法律法规、数据保护技术等几个方面入手进行大数据隐私保护，其是大数据产业发展的一个重要前提，解决了大数据隐私保护问题才能打开大数据产业发展的空间，大数据产业发展才有明确的未来。

 

　　七、大数据的风险控制

 

　　任何一中事物出现后都会有其有利的一个方面，也有其不利的方面，片面的夸大了它的作用而不谈它的弊端，这就是传销了。大数据和其他的新鲜事物一样，它不是神，不可能天生没有缺陷，不可能天生没有风险，我们要正视大数据时代的弊端，在享受大数据时代的红利时，希望能够认清其弊端，不要成为数据的奴隶，不要成为Matrix的营养品。

 

　　大数据本质就像计算机和互联网一样是人类的工具，能有限地帮助人们但是不能代替人们思考和做决策。大数据不能帮助人类解决生理需要、情感沟通、心理安慰的问题，大数据只是一个提高效率和辅助人类决策的工具。

 

　　我们聊一聊如何控制大数据带来的风险。

 

　　1）数据不能起到决定作用，仅应提供辅助决策。决策应来源于人类集体智慧和决策层，千万不能让数据或人工智能指挥一切。

 

　　2）数据报表不能代替人类思考，有些因素没有办法进行量化，有些因素数据报表无法提供信息，重大决定人类必需综进行综合考虑。

 

　　3）利用数据进行决策，应考虑其不良影响，顾及其他群体的利益，避免多数人暴政和少数精英独断专行。

 

　　4）有些领域不能过度依靠参考数据，还应该从尊重生命出发如食品安全管理问题等。

 

　　5）应建立数据分析和决策之间的防火墙，避免出现黑客帝国的场景。

 

　　大数据应用、大数据思维归根到底还是商业思维的具体体现，同样的大数据在不同的人眼里，会表现出不同的表现形式，同样一组数据，通过不同的纬度看将会产生不同的商业结果。因此大数据仅是工具，其不能代替人类自身对社会的理解，以及人类社会自身的道德约束等。

 

　　八、中国的大数据之路任重而道远

 

　　中国目前的大数据应用环境和技术相对于美国而言，在整体技术水平、应用环境、国民意识、商业环境、技术厂商、技术平台上面相差超过5年左右。在大数据应用的国家战略层面落后的也较多。

 

　　2012年3月，美国奥巴马政府宣布推出“大数据的研究和发展计划”。该计划涉及美国国家科学基金、美国国家卫生研究院、美国能源部、美国国防部、美国国防部高级研究计划局、美国地质勘探局等6个联邦政府部门，承诺将投资两亿多美元，大力推动和改善与大数据相关的收集、组织和分析工具及技术，以推进从大量的、复杂的数据集合中获取知识和洞见的能力。美国奥巴马政府宣布投资大数据领域，是大数据从商业行为上升到国家战略的分水岭，表明大数据正式提升到战略层面，大数据在经济社会各个层面、各个领域都开始受到重视。

 

　　2014年从“两会”的提案、议案看，很多人建议将大数据业务上升为国家战略，互联网领军人物李彦宏在政协记者会上表示，政府应该把更多和人民生活有关的数据资料，公开地放到网络上；雷军则直接建议将大数据纳入国家战略，推动大数据切实地被用起来；科大讯飞刘庆峰建议国家建设声纹数据库进行大数据反恐。张近东、马化腾、杨元庆的提案也与数据应用有着紧密联系。但是在中国大数据国家战略和大数据产业发展发面还没有一个清晰的蓝图。

 

　　目前了解到的信息是上海政府计划建设大数据产业园，通过政府自身投资来建立大数据平台，吸引中小企业将信息系统及数据放到政府主导的数据平台上，政府将利用此平台来挖掘数据信息，提供数据信息报告。另外一个大数据应用是地方政府请一些大数据公司来开发舆情检测系统，及时了解社会舆论。无论是大数据产业园还是舆情监控。我个人认为没有抓住大数据优势的核心，大数据产业园的管理机制和创新动力不足，无法发挥大数据计算的优势，反而浪费了大量的投资，效率较低。舆情监控本身就无法发挥大数据的商业应用优势，反而阻碍大数据产业的商业应用。我们应该提供大数据产业优惠政策，在资金、场地、税收、科研方面提供外部支持，让企业自身投入到大数据产业建设之中，从企业自身商业需求出发，投入资金来发展大数据产业。

 

　　IBM现已拥有全世界最先进的大数据和分析技术能力，其拥有400多位IBM数学家。2013年IBM就成功的申请了1500项大数据与分析的相关专利，自2005年开始对收购和研发投资达240亿美元，2013年IBM大数据分析领域营收高达160亿美金。美国的通用电气公司投入了15亿美金建立了软件分析公司，雇用了400名数据科学家进行大数据产业研究。但是在中国除了我们熟知的BAT涉及大数据产业外，知名的大数据产业企业就非常少，市场机会巨大。北京腾云天下科技有限公司（TalkingData）是为数不多的大数据领先公司，其既有大数据又有大数据技术平台，其目前是国内最大的第三方移动大数据平台，旗下拥有众多广受欢迎的移动端数据统计、分析、监测产品。TalkingData与国内众多应用分发平台、渠道、广告联盟保持着紧密的合作关系，三年来积累了大量的移动互联网用户行为、兴趣数据。中国银联、招商银行、聚美优品等企业，正在使TalkingData提供的数据服务。

 

　　最后总结一下，大数据时代将会给人类社会带来巨大变化，它是一个好的工具，就像计算机一样，帮助人们提升社会生产效率，了解事物真相，认识客观规律。重要的大数据可以帮助政府和企业进行科学决策，降低决策风险，加快进入智慧社会。