Splunk用户对于IT数据整合的需求

IT设备的数据整合需求
随着组织和机构信息化建设的规模越来越大,购买的各种设备也越来越多,各种类型的设备不一而足,即便是同一种类型的设备都可以分为好几种品牌。例如基础网络建设中,需要采用,路由器,交换机,接入链路等,而路由器又有思科,华为,Juniper等品牌;而安全和应用层IT建设中,组织和机构会需要防火墙,负载均衡器,代理网关或入侵防御等设备,而光负载均衡器市场就有Radware,F5,Array等6,7个品牌。
因此当一个中大型组织和机构面对如此众多但又比不可少的IT设备时,对于IT的网管人员管理的难度是可想而知,他们迫切需要一个综合的数据平台,能够统一查看这些设备的状态,而不需要每天都都到设备上登录一次;需要一个能当这些设备出问题时,快速定位出问题所在的机制;需要一个能快速生成报表,并且能够整合多台设备数据生产报表的系统。

主机系统和数据库的数据整合需求 同上述IT设备来说,服务器和数据库的数据管理也是大同小异,甚至比这些设备的数据更难管理。对于网管人员同样会遇到大量服务器,而这些服务的数量甚至远远超过了IT设备的数量,因此每日查看这些服务器的状态,查找是否有服务器出现问题,并对出问题的服务器进行人工的日志分析,并需要定时为这些服务手工生成报表,都为网管人员的工作带来大量低技术含量并重复率极高的内容,使网管工作经常性陷入一种无意义的瞎忙状态中。 对于数据库管理员来说,组织和机构里数据库可能没有服务器那么多,但是其管理工作的难道也非常高,因为数据库里的信息是组织和机构最重要的信息,其需要安全程度可想而知,但是由于数据库必须要接受各种类型的人物来访问,因此数据库管理人员对于这些访问信息非常关注,比如每天都有什么人来访过,有多人被拒绝了,都什么时间段来访问的,访问的过程中都执行了什么命令,这些访问都使用了什么IP地址,发生了多少次数,数据库的某些关键信息是否有被改动的记录等等。而这些信息都不是数据本身能够提供,需要耗费数据库管理员大量的时间才能统计出来,有的甚至无法统计,因此数据库的数据管理也是大型组织和机构亟待解决的问题。
各种业务系统的数据整合需求组织和机构为了信息化建设,将会开发各种IT业务系统,旨在提升工作效率,减少繁复的工作流程,整合组织和机构各种资源,最终提升整个组织和机构的生产力,为组织和机构带来效益。但是随着信息化建设的不断扩大,这些业务系统也逐渐变多,变大,例如,组织和机构会有OA系统,ERP系统,CRM系统,邮件系统,财务系统,公文审批系统,组织和机构门户网站等等。同样这些IT业务系统会产生大量的IT数据,而这些IT数据又是非常重要的,因为其关系组织和机构各个业务流程的具体运营状态,如果一个系统出现问题将有可能导致整个组织和机构停摆。而网管人员对于这些组织和机构业务系统产生的各种数据,管理起来更是头大,因为这些业务系统由于开发方式,开发的组织和机构和开发工具不同产生的数据是各式各样的,因此对于这些数据的归档,整合和联合分析都有着巨大的难度。但是这些又是势在必行的,因为这些系统的各种状态对于组织和机构正常运行起着巨大的作用,比如,领导可能想即时的看到ERP系统中某产品近半年的销售状态,想了解CRM系统中某客户近一年内和本组织和机构的生意往来,想知道今天有没有人利用Mail系统发垃圾邮件,有知道某个销售一个季度的业绩,想了解组织和机构的门户网站都有多少人来访问,都来自那些地方。而这些需求如果仅仅靠网管人员和其现有的工具来实现,简直比登天还难。

应用程序的数据整合需求 最后一部分,就是组织和机构开发的这些业务系统的支撑软件产生的各种IT数据,例如下述如BEA,SAP,Vmware,Exchange,Websphere,,Weblogic,Veritas,Apache,IIS,Tomcat这些软件等等。对于一个中大型组织和机构拥有这么多类型软件并不是一件什么新鲜事情。但是对于系统维护人员,或者网管人员来说可以算是一种灾难,因为这些软件都是个组织和机构各种业务息息相关的,任何一个软件出现问题,都会导致组织和机构的某一个业务系统停顿,对组织和机构正常运行产生负面影响,给组织和机构带来各种损失。 因此,对于这些软件产生的IT数据,组织和机构需要一个综合的数据管理平台,能够利用这些软件的数据进行相关性的分析,能够在这些软件出现问题时最快速找到问题,能够定时的为这些软件产生运行状态报表,能够通过分析这些数据为组织和机构的领导进行信息化建设时提供数据支持。
IT数据的法规遵从诸如FFIEC、FISMA、HIPAA、PCI和SOX之类的法规遵从强制规定,皆不断针对监控、报告及审核记录检查工作加入新的要求。但要完全符合这些要求,通常是相当困难且需付出高成本。而您所需的IT数据往往散布于系统各个角落,难以有效存取、分析及管理。此外,若必须同时兼顾其它控管领域的法规遵从,还必须对由防火墙、存取控制系统及应用程序所产生的系统管理日志文件,产生访问控制操作报告。而这些系统所产生的日志文件,往往具有不同的格式和储存位置。每位审核员的请求,亦涉及截然不同的手动程序。也许您正饱受组织内部产生的脚本所造成的IT数据问题,并发现持续维护会影响IT资源。即使采用商业日志文件管理系统方式,亦会发现其极为僵硬且功能受限。其无法处理自定应用程序,并需要持续的维护,才能跟上变化的脚步。除了明确的记录规定外,对于生产系统的限制存取规定具有更大,但却常被低估的影响力。若拒绝开发人员及应用程序系统管理员存取生产系统以分析日志文件及配置,将会阻碍其发现及修正与获益服务相关问题的努力。若仅着重于监控及检查法规遵从性数据的日志文件管理方式,对于弥补这种营运缺口则毫无帮助。