后端
刘一哥
安全
github
注解处理器
ssh
散列表
emmc
service_mesh
最短路
子图
固定解
低代码
#产品思维
csdn热榜
javafx
springboot
图像半自动标注
reactjs
自媒体
特征工程
2024/4/11 23:47:26
无热图不组学！高阶文献热图R语言绘制小专场拿捏
一、概述
近在阅读近五年的一区高分的机器学习文献，其中有一种图出现频率特别高——热图。《Machine Learning and the Future of Cardiovascular Care: JACC State-of-the-Art Review》 《Comparison of Machine Learning Methods for Predicting Outcomes After…
如何用R语言分析COVID-19相关数据
一、概述
COVID-19是当前全球面临的一项重大挑战。 本文将介绍如何使用R语言分析COVID-19相关数据，探索其感染率、死亡率和人口特征的相关性，以及使用统计建模方法预测COVID-19的死亡率。
二、数据导入与筛选
COVID-19 Data Repository by the Center…
机器学习任务中对数值类型做特征归一化的必要性，《百面机器学习》学习笔记
《百面机器学习》学习笔记：机器学习任务中对数值类型做特征归一化的必要性
需要使用梯度下降进行优化的方法中，一般都需要对数值类型特征进行特征归一化，因为这会影响到梯度下降的速度。为了更好地说明做数据归一化的必要性，首先…
爱奇艺机器学习算法实习面试总结
2018/3/9更新，实习已录用，很开心！大家有问题可以问我。
2018.3.1面试了爱奇艺机器学习算法实习生岗位，面了2个小时左右，两轮；现在把问题分享给大家，希望对大家以后的面试有帮助
第一轮面试问题…
【实习总结】特征工程、降维、随机森林调参（思维脑图）
非常感谢实习期间带我的师兄对我的指导。 这个思维脑图是有道云笔记做出来的，没有图片分享功能，但是可以网页链接分享，全图看这里：点击这里！传送门！
然后我这个总结基本上是我实习干的工作，在总…
机器学习：特征工程之特征预处理
目录 特征预处理
1、简述
2、内容
3、归一化
3.1、鲁棒性
3.2、存在的问题
4、标准化 ⭐所属专栏：人工智能 文中提到的代码如有需要可以私信我发给你😊 特征预处理
1、简述 什么是特征预处理：scikit-learn的解释：
provide…
Python数据科学视频讲解：特征归一化、特征标准化、样本归一化
5.1 特征归一化、特征标准化、样本归一化 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解5.1节内容。本书已正式出版上市，当当、京东、淘宝等平台热销中，搜索书名即可。内容涵盖数据科学应用的全流程&#…
2、互信息(Mutual Information)
文章目录 1、简介2、互信息及其测量内容3、解读互信息得分4、例子 - 1985年的汽车1、简介
首次遇到新的数据集可能会让人感到不知所措。你可能会面对数百甚至数千个特征，甚至没有描述可以参考。你应该从哪里开始呢？
一个很好的第一步是构建一个特征效用度量的排名，这是一个…
特征工程：分类变量的处理方式总结
1、什么是分类变量？
通常来说，分类变量是用来表示某一属性的类别或标识的。例如：一年中的四季，月份，OS，brand，行业（银行、保险、券商、科技......），地区等等…
【机器学习】特征选择参考文献
[1] 《阿里云天池大赛赛题解析—机器学习篇》- 天池平台
[2] Introduction to Feature Selection methods with an example (or how to select the right variables? - Saurav Kaushik, 文章链接: https://www.analyticsvidhya.com/blog/2016/12/introduction-to-feature-sel…
特征：什么是特征和特征选择？
机器学习很重要的过程就是特征工程。在深度学习神经网络中需要特征工程吗？
理论上是不需要的，基于端到端的特点深度学习神经网络中会在训练中自行的学习特征。但是实际情况中往往和理论中是有些不一样的，在遇到数据量较少和需要减少运算资源…
处理数据中的缺失值--删除缺少值的行
两个最主要的处理缺失值的方法是： ❏ 删除缺少值的行； ❏ 填充缺失值；
我们首先将serum_insulin的中的字段值0替换为None，可以看到缺失值的数量为374个；
print(pima[serum_insulin].isnull().sum())
pima[serum_insu…
归一化和标准化的联系与区别及建议
归一化和标准化是数据预处理中常用的两种方法。它们都是为了调整数据的尺度，使得数据更符合我们的分析需求。虽然二者的目的相同但是具体实现方式和适用场景却有所不同。下面，我们来详细介绍-下它们的联系和区别。
一、联系
归一化和标准化都能够使得数据的尽度缩放到不同的…
Python-sklearn之PCA主成分分析
文章目录写在前面一、PCA主成分分析1、主成分分析步骤2、主成分分析的主要作二、Python使用PCA主成分分析写在前面
作为大数据开发人员，我们经常会收到一些数据分析工程师给我们的指标，我们基于这些指标进行数据提取。其中数据分析工程师最主要的一个特…
Python数据科学应用从入门到精通--Python读取、合并SPSS数据文件
在很多情况下，我们需要调用SPSS软件产生的数据，下面通过示例来进行讲解。首先需要将本书提供的数据文件存储在安装spyder-py3的默认路径位置（C:/Users/Administrator/.spyder-py3/，注意具体的安装路径可能与此不同）&am…
基于Python的特征工程：数据预处理（一）
一、概述
特征工程是机器学习工作流程中不可或缺的一环，它将原始数据转化为模型可理解的形式。数据和特征的质量决定了机器学习的上限，而模型和算法则是逼近这个上限的手段。因此，特征工程的重要性不言而喻。其主要工作涉及特征的采集、预处…
【机器学习】特征选择方法
from：https://www.zhihu.com/question/28641663/answer/110165221
目录
1 特征工程是什么？ 2 数据预处理 2.1 无量纲化 2.1.1 标准化 2.1.2 区间缩放法 2.1.3 标准化与归一化的区别 2.2 对定量特征二值化 2.3 对…
机器学习笔记 - 关于向量嵌入embedding在机器学习中的使用
向量嵌入概述 向量嵌入是机器学习中最有趣和最有用的概念之一。它们是许多 NLP、推荐和搜索算法的核心。如果您曾经使用过推荐引擎、语音助手、语言翻译器等工具，您就会遇到过依赖嵌入的系统。 与大多数软件算法一样，机器学习算法也需要使用数字。有时，我们的数据集包含数值…
机器学习系列(5)_从白富美相亲看特征选择与预处理（上）
作者：龙心尘 &&寒小阳 时间：2016年1月。 出处： http://blog.csdn.net/longxinchen_ml/article/details/50471682 http://blog.csdn.net/han_xiaoyang/article/details/50481967 声明：版权所有，转载请联系作者并…
使用卷积操作实现因子分解机
本文将介绍如何使用卷积操作实现因子分解机器。卷积网络因其局部性和权值共享的归纳偏差而在计算机视觉领域获得了广泛的成功和应用。卷积网络可以用来捕获形状的堆叠分类特征(B, num_cat, embedding_size)和形状的堆叠特征(B, num_features, embedding_size)之间的特征交互。 …
人工智能基础_机器学习038_中国人寿保费预测(EDA数据探索)_导包_数据探索_---人工智能工作笔记0078
注意
EDA是Exploratory Data Analysis（探索性数据分析）的缩写，它是一种统计分析方法，旨在了解数据的基本特征，并发现数据中的规律和模式。EDA通常是数据分析流程的开始阶段，主要使用可视化工具和统计指标来描述数据的基本特征，如数据的分布、中位数、均值、方差等。通过…
每天五分钟机器学习：如何解决欠拟合问题
本文重点
欠拟合是机器学习中常见的问题之一，指的是模型无法很好地拟合训练数据，导致预测结果的误差较大。欠拟合问题一般是由于模型过于简单或者训练数据过少导致的。下面将详细介绍如何解决欠拟合问题。 增加模型复杂度
1. 增加模型的层数：对于神经网络模型，可以增加隐…
踩实底子|每日学习|02-特征工程和文本特征提取【上】
halo！我又来挖坑了，放着草稿箱的若干个深坑没有管，跟进这部分的学习，是为了安心毕业和强大技术栈，从应用角度再次学习机器学习。
这部分是机器学习中的第二个部分 特征工程和文本特征提取，在天池、Kaggle…
Python数据科学视频讲解：特征决策树分箱
5.3 特征决策树分箱 视频为《Python数据科学应用从入门到精通》张甜 杨维忠 清华大学出版社一书的随书赠送视频讲解5.3节内容。本书已正式出版上市，当当、京东、淘宝等平台热销中，搜索书名即可。内容涵盖数据科学应用的全流程，包括数据科学应…
3、创建特性(Creating Features)
使用Pandas转换特性以适合您的模型。 文章目录 1、简介2、数学变换3、计数4、构建和分解特征5、分组转换1、简介
一旦你确定了一组有潜力的特性，就可以开始开发它们了。在这节课中，你将学习如何在Pandas中进行一些常见的转换。如果你对Pandas不熟练, 请参考《从零开始的Pand…
基于CNN+数据增强+残差网络Resnet50的少样本高准确度猫咪种类识别—深度学习算法应用(含全部工程源码)+数据集+模型（一）
系列文章目录
基于CNN数据增强残差网络Resnet50的少样本高准确度猫咪种类识别—深度学习算法应用(含全部工程源码)数据集模型（一）
基于CNN数据增强残差网络Resnet50的少样本高准确度猫咪种类识别—深度学习算法应用(含全部工程源码)数据集模型…
【解决】sklearn-LabelEncoder遇到没在编码规则里的新值
文章目录 一、问题描述二、解决方法Reference 一、问题描述
问题：sklearn-LabelEncoder 遇到没在编码规则里的新值
二、解决方法
方法一：直接保存old_data和encoder_data和之间的映射关系，字典或者下面的csv格式里都可以。
for col in be…
特征工程中常用的技术
原文：https://mp.weixin.qq.com/s?__bizMjM5MTQzNzU2NA&mid2651643693&idx1&sne386759cc1cd3d1f690f57f1a0250689
复杂的模型不易解释，难以调整。简单的算法配合更好的特征或者更多的数据，比脆弱的假设配合复杂的算法会得到更好…
Python3数据分析与挖掘建模（14）特征工程、数据清洗、特征预处理
1. 特征工程概念
1.1 特征工程概述
特征工程是机器学习中至关重要的步骤，它涉及到特征的选择、获取、处理和监控。下面是对每个方面的详细解释：
（1）特征使用： - 数据选择：在特征工程中，需…
机器学习重要内容：特征工程之特征抽取
目录 1、简介
2、⭐为什么需要特征工程
3、特征抽取
3.1、简介
3.2、特征提取主要内容
3.3、字典特征提取
3.4、"one-hot"编码
3.5、文本特征提取
3.5.1、英文文本
3.5.2、结巴分词
3.5.3、中文文本
3.5.4、Tf-idf ⭐所属专栏：人工智能 文中提…
机器学习常见问题及解决方案——特征选择方法
1、特征工程
数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已，特征工程就是最大限度地从原始数据中提取特征以供算法和模型使用，通过归纳和总结，特征工程大体包含以下方面： 特征处理是特征工程的…
【数据挖掘】一文了解特征归一化/标准化
一文了解特征归一化/标准化 1. 特征归一化的必要性2. 常用的feature scaling方法都有哪些？3. 什么情况下该使用什么feature scaling方法？4. 所有的机器学习算法都需要feature scaling吗？4.1 什么时候需要feature scaling？4.2 什么时候不需要Feature Scaling？5. 损失函数的…
数据的标准化和归一化
前面我们已经学习了识别数据缺失值已经对缺失值进行处理的方法，但是KNN的准确率都不是很高，今天我们继续进行数据探索进一步增强机器学习流水线；
通过数据直方图可以看到数据中的列的均值、最大值、最小值等差别很大；
from skle…
适用于在线学习的动态特征缩放方法
在机器学习任务中，不同的特征有不同的取值范围，因此特征缩放是必不可少的预处理过程步骤。
对于在线学习来说，不太可能仅根据已观察到的一些训练样本后就准确的确定特征的取值范围，此外，数据的分布也可能会随着时间的…
阿里云安全恶意程序检测（速通三）
阿里云安全恶意程序检测 特征工程进阶与方案优化pivot特征构建pivot特征pivot特征构建时间pivot特征构建细节特点 业务理解和结果分析结合模型理解业务多分类问题预测结果分析 特征工程进阶基于LightGBM模型验证模型结果分析模型测试 优化技巧与解决方案升级内存管理控制加速数…
葫芦书笔记----特征工程
为什么需要对数值类型的特征做归一化？
一句话速记：为了消除数据特征至今啊的量纲影响，使得不同指标之间具有可比性。
详细版：为了将所有特征都统一到一个大致相同的数值区间内。常用方法有线性函数归一化、零均值归一化。归一化…
使用LSH 进行特征提取
局部敏感哈希(LSH)通常用于近似最近邻算法(ANN) 操作(向量搜索)。LSH的特性也可以在以矢量为输入的神经网络模型中得到利用(例如，各种的音频、视频和文本嵌入等内容信号)。
通常情况下，特定领域模型中输入的流形是复杂的（非i. i. dÿ…
![[机器学习]特征工程：特征降维](https://img-blog.csdnimg.cn/img_convert/2a8b90e49d26044b819bcabd2ce63cd7.png)
[机器学习]特征工程：特征降维
特征降维
1、简介
特征降维是指通过减少特征空间中的维度，将高维数据映射到一个低维子空间的过程。
在机器学习和数据分析中，特征降维可以帮助减少数据的复杂性、降低计算成本、提高模型性能和可解释性，以及解决维度灾难等问题。特征降维通…
一行代码绘制高分SCI火山图
一、概述
在近半年中，我读了很多的高分SCI文章，很多文章中都有多种不同的火山图，包括「普通的火山图、渐变火山图、以及包含GO通路信息的火山图」！
经过一段时间的文献阅读和资料查询，终于找到了一个好用而且简单的包…
特征平台（Feature Store）概述【未完待续】
参考网址：
特征平台（Feature Store）：序论 - 知乎
特征平台（Feature Store）：Feast - 知乎 背景
AI 算法模型开发落地可以分为三个阶段：数据准备、模型训练、模型部署。市面上已经有…
深度学习中的特征工程——不同数据类型与采用的处理方式
之前关于特征工程的blog：https://blog.csdn.net/qq_33472765/article/details/86422199
什么是特征工程？
顾名思义，特征工程是一种工程活动，目的是从原始数据中最大限度的提取出能表征原始数据信息的特征。数据和特征决定了机器…