数据挖掘的过程是什么?有哪些阶段?
数据挖掘的过程是什么?
01 数据挖掘过程1. 数据采集2. 特征提取和数据清洗3. 分析处理和算法 02 数据预处理阶段1. 特征提取2. 数据清洗3. 特征选择与转换 03 分析阶段
(相关资料图)
导读:数据挖掘过程包含数据清洗、特征提取、算法设计等多个阶段,本文将讨论这些阶段。
01 数据挖掘过程
典型数据挖掘应用的过程包含以下几个阶段。
1. 数据采集
数据采集工作可能是使用像传感器网络这样的专门硬件、手工录入的用户调查,或者如Web爬虫那样的软件工具来收集文档。虽然这个阶段与具体应用息息相关,但常常落在数据挖掘分析师们所考虑的范围之外,而这个阶段对数据挖掘过程也是至关重要的,因为这一阶段所做的选择会明显地影响整个数据挖掘过程。
采集阶段产生的数据通常会先存入数据库,广义上称为数据仓库,然后进行处理。
2. 特征提取和数据清洗
上述采集阶段得到的数据,其格式往往不适合直接进行处理。例如,采集来的数据可能是使用复杂编码的日志或自由格式的文档,并在许多情况下,各种类型的数据又任意地混合在一起,形成自由格式的文档。
要使这样的数据适合进一步加工,有必要把它们转化为对数据挖掘算法较为合适的格式,比如多维数据、时序数据或者半结构化数据等。
多维数据是最常见的格式,其不同的字段对应于可以称为特征、属性或维度的各种测量属性。抽取这些特征是数据挖掘的一个至关重要的阶段,而特征提取阶段通常与数据清洗阶段并行进行,以便估计或校正丢失的数据以及错误的数据。
另外,在许多情况下,数据可能从多个来源聚集而成,进行处理时需要把它们转换为统一的格式。上述过程的最终结果是一个有较好结构的数据集,可以由计算机程序有效地使用。在特征提取阶段之后,数据可以存回到数据库中用于进一步的处理。
3. 分析处理和算法
数据挖掘过程的最后一步是为处理过的数据设计有效的分析方法。在许多情况下,不太可能将手头的应用直接转化成一个标准的数据挖掘问题,比如转化成关联模式挖掘、聚类、分类以及异常检测这四个“超级问题”中的某一个。
但这四个超级问题具有很广泛的覆盖性,可以构成数据挖掘任务的基本模块,而大多数应用都能由这些作为基本模块的组件拼搭起来实现。
整个数据挖掘过程可由图1-1表示。请注意,图中的分析处理模块显示了对特定应用设计的、由多个基本模块组合而成的解决方案,这一部分依赖于分析师的技能。通常的做法是使用四个主要问题中的一个或多个作为基本模块来搭建。 ▲图1-1 数据处理流水线
需要承认的是,并非所有的数据挖掘应用都能用这四个主要问题来搭建解决方案,但许多应用可以这样解决,因此有必要给予这四个主要问题一个特殊的地位。下面我们使用一个有关推荐的应用实例来解释数据挖掘的整个过程。
考虑这样一个网上零售商的场景,此零售商保存了客户访问其网站的访问日志,还收集了客户的基本情况信息。假设网站的每个网页对应一个商品,客户访问一个网页可能表明对相应的商品感兴趣。零售商希望通过对客户的个人资料及其购买行为的分析,有针对性地给客户推荐商品。
解决问题的流程示例:分析师的第一步工作是收集两种不同来源的数据,其一是从该网站的日志系统中抽取的日志,其二是从零售商的数据库中抽取的客户个人资料。这里的一个难题就是这两种数据使用了非常不同的数据格式,放到一起处理很不容易。例如,一条日志可以以下面这种形式出现。 日志中可能包含成千上万个这种条目,上面这一条目显示IP地址为98.206.207.157的客户访问了productA.htm这一网页。要确认使用一个IP地址的客户是谁,可以通过之前的登录信息,或者通过网页的cookie记录,甚至直接通过IP地址本身,但这个确认过程可能充满噪声,不可能总是产生准确的结果。
作为数据清洗和提取过程的一部分,分析师还需要设计算法对不同的日志条目进行有效的过滤,以便只使用那些提供准确结果的数据段,因为原始日志中包含很多对零售商可能没有任何用处的额外信息。
在特征提取阶段,零售商决定从网页访问日志中提取特征,为每个客户创建一条记录,其中将每个商品设置为一个属性,记录此客户对相应商品网页的访问次数。
因此,这个特征抽取需要对每条原始日志进行处理,并将多条日志中抽取的特征进行聚合。之后在数据集成时,再将这些属性数据添加到零售商的客户数据库中去。这个客户数据库包含客户个人资料,倘若个人资料记录中缺少某些条目,则需要为其进行进一步的数据清洗。
最终,我们得到一个数据集,将客户个人资料的属性及客户对商品访问次数的属性整合在一起。
此时,分析师需要决定如何使用此清洗过的数据集,为客户提供推荐。分析师可以将类似的客户分成几类群体,并根据每类群体的购买行为提出推荐意见。
聚类分析在这里可以作为一个基本模块,用于确定类似客户的群体。对每一个客户,可以为其推荐该客户所在群体作为一个整体访问最多次的商品(这里指的是商品网页)。这个案例包含了一个完整的数据挖掘流程。
有许多优美的提供推荐的方法,它们在不同的情况下各有优劣,因此,整个数据挖掘过程是一门艺术,很大程度由分析师的技能所决定,而不完全由特定的技术或基本模块所左右,这种技能只能通过在不同应用需求下处理各类不同数据的实践中获得。
02 数据预处理阶段
数据预处理阶段也许是数据挖掘过程中最关键的一个阶段,然而,这个阶段很少得到应有的探讨,因为大部分数据挖掘讨论的重点放在了数据分析方面。这一阶段在数据采集后就开始,包括以下步骤。
1. 特征提取
分析师可能面临大量的原始文件、系统日志、商业交易,但几乎没有任何指导性的快速入门方法将这些原始数据转化为有意义的数据。这一步骤高度依赖于分析师的抽象能力,以找出与手头应用最相关的特征。
例如,在信用卡欺诈检测应用中,收费金额、重复频率以及位置信息往往是找出欺诈的有效指标,而许多其他特征信息也许就用处不大。因此,提取正确的特征往往是个技术活,需要对手头应用相关的领域有充分的了解。
2. 数据清洗
上述特征提取得到的数据中可能含有错误,也有些条目可能在采集及提取时丢失。因此,我们可能要丢弃一些含有错误的数据记录,或者对缺失的条目进行估计填充,并剔除数据中的不一致性。
3. 特征选择与转换
当数据维度很高时,很多数据挖掘算法就会失效。而且当数据维度很高时,数据噪声会增加,可能带来数据挖掘的错误。因此,需要使用一些方法,移除与应用无关的特征,或者将数据变换到一个新的维度空间中,使数据分析更容易进行。
另一个相关的问题是数据转换,将一些属性转换为另一种相同或类似数据类型的属性。比如将年龄数值转化成年龄段,可能对分析更有效也更便利。
数据清洗过程中通常需要使用对缺失数据进行估计的统计方法,此外,为确保挖掘结果的准确性,通常需要剔除错误的数据条目。
由于特征选择和数据转换高度依赖于具体的分析问题,不应视为数据预处理的一部分,甚至在某些情况下,特征选择可能与具体算法或方法紧密结合,以一种包装模型或嵌入模型的形式出现。但在一般情况下,会在应用具体挖掘算法之前执行特征选择阶段。
03 分析阶段
一个主要的挑战是每个数据挖掘应用都是独特的,很难为很多类应用打造出一个灵活的、可复用的挖掘技术。然而,我们发现有些数据挖掘方法在各类应用中反复出现,即所谓的“超级问题”或数据挖掘的基本模块。
怎样在特定的数据挖掘应用中使用这些基本方法很大程度上取决于分析师的技能和经验,所以虽然可以对这些基本模块进行很好的描述,但怎样在实际应用中使用它们,只能通过实践来学习。
标签: 数据挖掘
相关推荐:
精彩放送:
- []环球视点!超4200亿!比亚迪公布大消息
- []送别诗你了解吗?送别诗原文释义
- []每日短讯:QQ如何登录?腾讯QQ首次登录QQ保障信息安全
- []简讯:魅族无法开机怎么刷机?魅族手机开不了机了怎么刷机?
- []股票分红好吗?对股民来说有哪些好处?
- []header是什么元素?header有什么意思?
- []世界要闻:家用净水器过滤方式是什么?家用净水器哪种过滤方式好?
- []惠民医保如何报销(惠民医保报销在哪报)
- []linuxtone日常命令:快速杀掉mysql进程
- []看点:南方电网AGC混合储能辅助调频EPC勘察设计采购!
- []今日热议:中国保护动物的会徽是什么?你知道多少?
- []观点:为什么应用需要加固?操作步骤是什么?
- []热头条丨投影仪出租的优势 投影仪出租有哪些注意事项?
- []【独家】天龙八部个人说明字体代码带图 你知道吗?
- []环球关注:社保在不同省份怎么办(不同省份社保怎么处理)
- []世界快资讯:衢州邮件处理中心:邮件编号查询信件
- []环球百事通!《暗黑破坏神2》重制版来了!暴雪嘉年华本周六开启
- []当前视讯!施耐德空气开关怎么样?施耐德空气开关的型号与价格
- []天天热讯:博世壁挂炉怎么样?博世壁挂炉欧洲之星评测
- []微信群怎么设置管理员?设置微信管理员的方法
- []环球信息:京城四少是谁?北京四个富二代年轻男性作出的称呼
- []世界快讯:《Begin Again》:不看会后悔的神仙治愈综艺
- []图片文件合成器是什么?图片、文件合成器的原理与方法
- []足疗按摩手法 最有效的8个手法学起来
- []世界聚焦:prefer是什么意思?中文翻译人名
- []如何使用浏览器无痕模式?360浏览器详细介绍
- []环球新动态:企业的经营性现金流与净利润的含金量有多大?
- []全球观点:暖风机哪个牌子好?十大暖风机品牌推荐
- []三特索道或摆脱大股东“吸血”!“当代系”债务高企,这个湖北富豪手里还有底牌吗?
- []三七茶有哪些功效?三七茶的功效
- []环球看点!薛定谔的猫和EPR佯谬——量子力学史上的经典术语
- []天天快播:小米4怎么样?小米4屏幕尺寸以及评测报价
- []天天头条:设计带构造函数的Dog类 对数据成员进行初始化
- []全球简讯:rmvb怎样转mp4?9.30MBVB转MP4转换器
- []环球观速讯丨community音响怎么样?community音响优势介绍
- []视点!B站视频播放源地址获取及B站视频下载
- []热文:Calendar类:日历字段的转换方法
- []当前动态:100MWh储能型钠铝固态电池工厂即将落地,成本或比锂离子电池便宜40%-50%
- []全球热推荐:AngularJS中的refresher该如何使用?使用技巧
- []环球热讯:70MW!Ellevio公司正在部署四个电池储能项目
- []今日热闻!照片和视频拼在一起?快影教你一招
- []全球报道:传真机耗材怎么选购?传真机耗材选购窍门
- []每日资讯:魔兽世界6.2版本宠物对战新内容:塔纳安丛林遍布战斗宠物
- []新买的手机怎么充电?充电时接电话会引起爆炸?
- []【天天报资讯】象棋里的卧槽马是什么?典型案例分享
- []联想G450摄像头不清楚怎么办?解决办法
- []环球观点:Typora1.0正式版开始收费!价格不算便宜
- []【热闻】快播怎么用BT种子?快播播放种子的3种方法
- []环球快播:电脑键盘快捷键有哪些?电脑键盘快捷键和组合键功能使用大全
- []天天百事通!戴尔笔记本电脑怎么样?戴尔笔记本电脑推荐及价格介绍
- []《星际争霸Ⅱ》游戏秘籍:游戏中按回车输入以下秘籍
- []【消元法】二元一次方程组怎么解?
- []多地开年定调楼市 “支柱产业”如何助力稳增长
- []当前关注:360隐私保护器是怎么一回事?全面认识下360隐私保护器
- []重装系统常见道ghost 如何恢复分区?
- []世界即时:非定常约束:几何约束与完整约束的区别
- []世界报道:世界空间中的着色器 从对象空间到世界空间的转换
- []世界球精选!告别“燥热” 京城酒吧变局
- []天天速递!分享5个高质无损音乐网站 歌曲很丰富
- []终于!保利第一
- []【数据更新】全国上网卡专属号段数据汇总
- []复旦壁纸:手绘正校门1024、7681280
- []连连支付怎么样?连连靠谱吗?
- []天天快看:在百度里下载格式工厂——KuGo格式
- []讯息:5省市人口为何逆势正增长
- []当前视点!北京二手房网签量再探底
- []【聚看点】java timestamp 格式化_java日期处理(Timestamp)
- []环球观察:speedtest-cli|网速测试工具命令行方式
- []环球今亮点!诚益通:截止2023年1月31日,公司股东人数为10175名
- []【天天聚看点】辉煌科技:公司目前无智能动车相关产品
- []天天快资讯丨肇民科技:截至2023年1月31日公司股东人数为9298户
- []三江购物:公司主营业务是商品零售
- []天天短讯!平安信用卡年利率是多少(平安信用卡年利率是多少)
- []天天头条:10GWh!东方日升子公司双一力拟建高效新型储能系统集成产线
- []500MW/1000MWh!中机国际中标广东惠州独立储能电站项目EPC!
- []天天动态:2月1日转常态运行!浙江再发第三方独立主体参与电力辅助服务通知!
- []动态焦点:哈医大肿瘤医院内科胸腔镜技术 让胸腔积液“水”落“实”出
- []国泰君安:八大问题看疫后居民预期 消费的增量在哪儿?
- []108亿扩产60GWh!亿纬锂能年后又一大手笔投建
- []天天要闻:重庆:加快微电网、分布式光伏、多元储能等一体化系统开发,构建多能互补高效能源体系
- []最新:社保没做减员原单位欠费注销(原公司社保欠费无法减员)
- []世界最资讯丨招商银行信用卡分期提前还款有手续费吗(招商信用卡分期提前还款手续费)
- []天天热文:“牛市旗手”归来?券商板块尾盘连续异动 ETF惊现巨额买单!什么情况?
- []全球热资讯!太火爆!“冠军”基金经理:限购!朱红裕年内已三次出手…
- []每日快看:平安信用卡的利息是多少(平安信用卡的利息是多少钱啊)
- []大湾区兔年春节旅游成绩单:多市实现“开门红”,人次收入双增长
- []今日聚焦!新湖中宝10亿元公司债将于2月9日付息 利率7.60%
- []天富能源:公司目前生产经营正常,同时根据《上海证券交易所股票上市规则》,不存在退市风险
- []当前聚焦:3万股民嗨了!歼20来A股 千亿巨头重组今日复牌!网友:连夜数板!
- []天邦食品:近年来国内生猪养殖行业集中度在不断提高,我们和业内规模养殖企业共同经历这个过程
- []每日热文:象屿股份30亿元小公募项目状态更新为“已受理”
- []全球速看:广东惠州:三孩家庭可按实际房租支出提取住房公积金
- []视讯!平安银行会倒闭吗知乎(最不安全4大银行)
- []全球头条:云南白药能刷医保吗(云南白药气雾剂可以刷医保吗)
- []广发银行第二张信用卡额度(广发申请第二张信用卡额度)
- []消费分期专用卡(不小心办了专享消费分期卡)
- []外阜农村劳动力 与职工社保 报销比例是否一样(外阜农村劳动力 与职工社保 报销比例是否一样)
- []全球热点!蓝城和新昌城投以底价6.1亿元竞得绍兴新昌县新民未来社区3宗地
- []全球热点评!河南洛阳:扩大住房补贴范围 青年人才最高获10万元购房补贴
- []世界资讯:传大连万达正在洽谈一笔境外贷款 以偿还3月份到期的3.5亿美元债
- 告别航空传奇波音 747,「空中女王」正式谢幕
- 焦点速讯:TD早报 | 广州出境首发团多条线路报满;携程已上线近700条出境团队游产品
- 密歇根大等4院校与庞清方保持联系 他仍未择校
- 今热点:中国银行怎么网上办理储蓄卡(中国银行怎么网上办理储蓄卡)
- 个人独资企业社保费交多少钱(个人独资企业社保费交多少)
- 海宁医保卡能在杭州用吗(杭州社保卡能在海宁用吗)
- 当前速递!信用卡可以在atm机上查询额度吗(atm机能看信用卡额度不)
- 世界热门:施耐德电气:顺应新型电力系统建设需求,直流断路器加速迭代
- 世界看热讯:双币信用卡申请条件是什么(征信不太好申请哪个信用卡)
- 华夏银行信用卡可以网上注销吗(华夏银行信用卡可以网上注销吗)
- 用公积金买房是什么感觉,好处比较多
- 当前最新:企业年金的好处和坏处,企业年金的领取方法
- 当前时讯:彩讯股份: 彩讯股份致力于成为中国领先的企业数字化技术与服务提供商,深耕行业客户数字化建设
- 前沿热点:EIA原油库存增幅大超预期,美油短线探底回升
- 全球播报:ebs保险是什么意思,驾乘险
- 全球视讯!交强险950元有返点吗,一般不允许有返点
- 今日观点!哪个银行社保卡当天拿卡,没有什么银行社保当天办可以拿卡
- 环球今头条!帕斯卡定律公式h等于什么 帕斯卡定律公式
- 助学贷款年限6年什么意思(助学贷款期限6年是什么意思)
- 黑石房地产投资信托基金1月触及每月赎回上限
- 焦点消息!佛山停止个人住房查询的对外查询业务
- 全球热议:北玻股份:1月31日公司高管高学明减持公司股份合计619.38万股
- 鹏辉能源:1月31日公司高管夏信德减持公司股份合计81.33万股
- 世界时讯:卖疯了!1月比亚迪新能源车销量增62.44%,占据市场“半壁江山”
- 农村妇女55岁还是60领养老金(农村妇女55岁领养老金)
- 工商银行哪个信用卡好申请(工商银行信用卡好办吗额度怎么样)
- 中石油买断职工补偿文件(中石化买断职工补偿文件)
- 每日速看!社保暂停缴费之后新单位可以续交吗(社保停了几年新单位可以直接交吗)
- 【当前热闻】天津签约38个重点项目 总投资达4523亿元
- 天天时讯:立昂技术:公司业务暂不涉及ChatGPT领域
- 环球视讯!旭辉集团1月份重庆、武汉等地项目交付超6000套房
- 新消息丨科翔股份:1月31日公司高管程剑减持公司股份合计3.17万股
- 全球热头条丨儿童御寒要注意:“洋葱法”巧穿衣,保护呼吸道健康
- 事业单位社保从哪年开始交的(女人交社保的最佳年限)
- 公积金减员每月最晚几号办理(公积金减员每月最晚几号)
- 报道:顺丰控股累计回购83.52万股 总金额为4047.85万元
- 今日关注:珀莱雅:1月31日公司高管方玉友减持公司股份合计104万股
- 天天热文:奇安信:1月30日樊俊诚减持公司股份合计1551股
- 全球简讯:瑞丰银行:2月1日公司高管秦晓君增持公司股份合计3万股
- 焦点要闻:强险到期商业险没到期可以上路吗(强制险到期了商业险没到期能上路吗)
- 观热点:退休后补缴的医保还能返钱吗(退休后补缴的医保还能返钱吗)
- 【世界新要闻】印度OTA巨头最新季度收入同比增长48.3%,预订额创新高
- 每日看点!【券商聚焦】大摩指1月国有房地产商销售继续跑赢民营企业 建议关注华润置地(01109)等
- 今日聚焦!大悦城控股“23大悦01”将于2月2日上市 金额20亿
- 全球动态:创维数字:惠州产业园项目正在有序地推进建设当中
- ST远程:截至2023年1月20日,公司股东人数为12256人
- 每日速读!八马茶业IPO:距离“茶叶第一股”有多远?
- 环球时讯:兔年“排头兵”或将上阵!
- 动态:北京文化:拟申请2.75亿元综合授信 受损投资者索赔仍在继续
- 世界快看:人寿保险客服工作好不好做呀(人寿保险客服工作好不好做)
- 视焦点讯!招商银行信用卡app怎么看安全码(信用卡丢了怎么查安全码)
- 焦点速递!万豪CEO谈2023年发展:美国需缩短签证申请时间,混合旅行持续盛行
- 学生贷款需要什么银行卡才能贷(学校贷款要用什么银行卡)
- 全球头条:兴业银行信用卡可以网上注销吗(信用卡网上能注销吗)
- 打电话申请临时额度的技巧是什么(打电话申请临时额度的技巧)
- 当前快播:财面儿|广州时代控股“18时代14”将于2月7日提前摘牌
- 湖南华夏近期减持中交地产749.69万股 现持股比例为4.11%
- 世界观天下!高铁电气副总经理李忠齐辞职 2021年薪酬为73万
- 环球动态:贵族俱乐部会员卡_关于贵族俱乐部会员卡的基本详情介绍
- 财面儿丨迪马股份:为子公司累计提供担保超139亿元
- 环球短讯!开年客流火爆 广深铁路今年业绩有望回暖
- 中文在线:AIGC是利用人工智能技术来生成内容,被认为是继PGC、UGC之后的新型内容创作方式
- 天天快资讯:财面儿丨中交地产:湖南华夏及其一致行动人减持公司1.08%股份
- 天天速讯:华瓷股份:公司与特定客户之间在产品开发或设计阶段的协作,涉及双方保密协定,不属于能对外披露的内容
- 新政丨新疆乌鲁木齐:公积金贷款购买新房单价上限上调10% 最高贷款额度为80万元
- 掌上生活怎么申请延期还款(掌上生活还款流程)
- 环球时讯:不想让新单位知道原单位 社保(社保不想让新单位知道原单位)
- 快消息!度过最艰难一年,机票代理人忙起来
- 精选!证监会:2月1日全面实行股票发行注册制改革正式启动
- 天津城投拟发行5亿元超短期融资券 期限180天
- 视讯!广东清远:购买预售商品住房可提取公积金支付首期款
- 上海钢联:公司不做区块链技术的研发,但一直关注互联网新兴技术的应用场景
- 香山股份:宝盛公司目前已停产,公司已于2020年全额计提减值
- 【世界独家】预计2022年度期末净资产为负 ST弘高或被实施退市风险警示
- 迪马股份:资产负债率低于70%子公司剩余担保额度13.5亿元
- 深圳地铁200亿元公司债券已获通过
- 世界热消息:荃银高科:公司严格按照深交所的有关规定履行业绩预告及业绩快报信息披露义务,敬请关注公司公告
- 天天观点:宁德时代动作频频,滑板底盘已在路上?
- 全球消息!当兵两年社保怎么处理(当兵前的社保怎么处理)
- 当前资讯!龙源电力:签约新疆木垒2GW光伏+3GW风电+1.25GW储能项目
- 天天精选!住院交2000押金和医保卡一样吗(交住院押金需要带医保卡吗)
- 环球视讯!招商银行信用卡怎么提前还款所有(招商信用卡提前结清)
- 世界观速讯丨雪佛龙“放大招”,回购超5000亿!巴菲特又赌赢了?
- 多晶硅周评-需求提振助价格延续涨势(2023.2.1)
- 要闻速递:238亿!宁德时代投建电池材料项目,进军千亿新赛道!
- 出击!宁德时代欧洲第一电池工厂投运!
- 吉娘娘海边泳装新造型又来了!穿粉色连体泳衣太嫩,少女感太强了
- 焦点热讯:陕西煤业靠什么暴赚340亿?
- 环球速看:永辉超市:已累计回购9563.76万股股份 合计耗资2.98亿元
- 天天时讯:不假思索的反义词是什么?不假思索是什么意思?
- 【全球热闻】国信期货日评:美劳工成本涨幅放缓,关注明晨美联储会议
- 环球快消息!中洲控股:截至1月31日公司股东人数为18,018
- 全球焦点!犬夜叉父亲是谁?犬夜叉是哪里的角色?
- 万盛股份:福建中州已经根据当期资产的账面价值和可变现净值的差异全额计提减值
- 金融街按持股比例为四川雅恒地产提供1.164亿元财务资助
- 宝尊电商任命肖泳为Gap大中华区首席执行官
- 聚焦:余额宝冻结金额怎么才能取出来?余额宝冻结金额取出来的步骤
- 全球时讯:文件扫描仪怎么用?文件扫描仪的使用方法是什么?
- 世界观热点:传闻中的陈芊芊二公主黑化了吗?传闻中的陈芊芊剧情介绍
- 聚焦:新上海滩有哪几个版本?新上海滩剧情介绍?