伴随越来越多的软件供应商加入数据挖掘这一行列,使得现有的挖掘工具的性能得到进一步的增强,使用更加便捷,也使得其价格门槛迅速降低,为应用的普及带来了可能。当然数据仓库技术的发展同样功不可没。数据仓库是将海量复杂的客户行为数据集中起来建立的一个整合的、结构化的数据模型,是实施数据挖掘的基础,这里不作为讨论的重点。
1、数据挖掘工具分类
一般来讲,数据挖掘工具根据其适用的范围分为两类:专用数据挖掘工具和通用数据挖掘工具。专用数据挖掘工具是针对某个特定领域的问题提供解决方案,在涉及算法的时候充分考虑了数据、需求的特殊性,并作了优化;而通用数据挖掘工具不区分具体数据的含义,采用通用的挖掘算法,处理常见的数据类型。
2、数据挖掘工具的选择
数据挖掘是一个过程,只有将数据挖掘工具提供的技术和实施经验与企业的业务逻辑和需求紧密结合,并在实施的过程中不断的磨合,才能取得成功,因此我们在选择数据挖掘工具的时候,要全面考虑多方面的因素,主要包括以下几点:
数据挖掘的功能和方法
即是否可以完成各种数据挖掘的任务,如:关联分析、分类分析、序列分析、回归分析、聚类分析、自动预测等。我们知道数据挖掘的过程一般包括数据抽样、数据描述和预处理、数据变换、模型的建立、模型评估和发布等,因此一个好的数据挖掘工具应该能够为每个步骤提供相应的功能集。数据挖掘工具还应该能够方便的导出挖掘的模型,从而在以后的应用中使用该模型。
·数据挖掘工具的可伸缩性
也就是说解决复杂问题的能力,一个好的数据挖掘工具应该可以处理尽可能大的数据量,可以处理尽可能多的数据类型,可以尽可能高的提高处理的效率,尽可能使处理的结果有效。如果在数据量和挖掘维数增加的情况下,挖掘的时间呈线性增长,那么可以认为该挖掘工具的伸缩性较好。
·操作的简易性
一个好的数据挖掘工具应该为用户提供友好的可视化操作界面和图形化报表工具,在进行数据挖掘的过程中应该尽可能提高自动化运行程度。总之是面向广大用户的而不是熟练的专业人员。
·数据挖掘工具的可视化
这包括源数据的可视化、挖掘模型的可视化、挖掘过程的可视化、挖掘结果的可视化,可视化的程度、质量和交互的灵活性都将严重影响到数据挖掘系统的使用和解释能力。毕竟人们接受外界信息的80%是通过视觉获得的,自然数据挖掘工具的可视化能力就相当重要。
·数据挖掘工具的开放性
即数据挖掘工具与数据库的结合能力。好的数据挖掘工具应该可以连接尽可能多的数据库管理系统和其他的数据资源,应尽可能的与其他工具进行集成;尽管数据挖掘并不要求一定要在数据库或数据仓库之上进行,但数据挖掘的数据采集、数据清洗、数据变换等等将耗费巨大的时间和资源,因此数据挖掘工具必须要与数据库紧密结合,减少数据转换的时间,充分利用整个的数据和数据仓库的处理能力,在数据仓库内直接进行数据挖掘,而且开发模型,测试模型,部署模型都要充分利用数据仓库的处理能力,另外,多个数据挖掘项目可以同时进行。
当然,上述的只是一些通用的参考指标,具体选择挖掘工具时还需要从实际情况出发具体分析。
数据挖掘工具的现状
比较著名的有IBM Intelligent Miner、SAS Enterprise Miner、SPSS Clementine等,它们都能够提供常规的挖掘过程和挖掘模式。
1、Intelligent Miner
由美国IBM公司开发的数据挖掘软件Intelligent Miner是一种分别面向数据库和文本信息进行数据挖掘的软件系列,它包括Intelligent Miner for Data和Intelligent Miner for Text。Intelligent Miner for Data可以挖掘包含在数据库、数据仓库和数据中心中的隐含信息,帮助用户利用传统数据库或普通文件中的结构化数据进行数据挖掘。它已经成功应用于市场分析、诈骗行为监测及客户联系管理等;Intelligent Miner for Text允许企业从文本信息进行数据挖掘,文本数据源可以是文本文件、Web页面、电子邮件、Lotus Notes数据库等等。
2、Enterprise Miner
这是一种在我国的企业中得到采用的数据挖掘工具,比较典型的包括上海宝钢配矿系统应用和铁路部门在春运客运研究中的应用。SAS Enterprise Miner是一种通用的数据挖掘工具,按照"抽样--探索--转换--建模--评估"的方法进行数据挖掘。可以与SAS数据仓库和OLAP集成,实现从提出数据、抓住数据到得到解答的"端到端"知识发现。
3、SPSS Clementine
SPSS Clementine是一个开放式数据挖掘工具,曾两次获得英国政府SMART 创新奖,它不但支持整个数据挖掘流程,从数据获取、转化、建模、评估到最终部署的全部过程,还支持数据挖掘的行业标准--CRISP-DM。Clementine的可视化数据挖掘使得"思路"分析成为可能,即将集中精力在要解决的问题本身,而不是局限于完成一些技术性工作(比如编写代码)。提供了多种图形化技术,有助理解数据间的关键性联系,指导用户以最便捷的途径找到问题的最终解决办法。
其它常用的数据挖掘工具还有LEVEL5 Quest 、MineSet (SGI) 、Partek 、SE-Learn 、SPSS 的数据挖掘软件Snob、Ashraf Azmy 的SuperQuery 、WINROSA 、XmdvTool 等。
结束语
经过十多年的发展,数据挖掘工具的性能获得了显著的改善,不论是自动化程度还是适用范围都发生了巨大变化,价格的门槛迅速降低,对于推进数据挖掘在企业和电子商务中的应用具有特殊的意义。但是还应该看到,现在的数据挖掘工具还存在许多的不足,1999年的调查显示多数的数据挖掘工具只使用了有限的几种技术,且集中在比较简单的数据挖掘技术种类上。
所以我们呼吁每个企业都必须结合自己的实际情况,充分考虑本企业在数据挖掘领域的实施经验,避免踏进仅仅是"选择工具"的陷阱,从而获得一个完善的数据挖掘解决方案,真正把数据挖掘融入到企业的经营决策中。

