【数据挖掘】任务2：医学数据库MIMIC-III数据处理

2023-10-16 23:59
文章标签 数据库 iii 医学 数据挖掘 任务 数据处理 mimic

本文主要是介绍【数据挖掘】任务2：医学数据库MIMIC-III数据处理，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

要求

本次任务的目的是处理PO2，PCO2两个指标。这两个指标均为病人的血气指标，以一定的时间间隔采集。一个病人一次住院期间可能收集一次或者多次。要求，按照采集时间的前后顺序，汇总每个病人每次住院期间的所有的pO2, pCO2指标值。涉及到的预处理方法包括插值，去噪，缺失值填充，离群点数据处理，可视化等。

数据集说明

patients:包含所有患者数据。

chart_events：包含了所有可供患者使用的图表数据。在他们的ICU停留期间，病人信息的主要存储库是他们的电子图表。电子图表显示病人的日常生命体征和与他们的护理有关的任何额外信息：呼吸机设置、实验室值、代码状态、精神状态等等。因此，关于病人住院的大部分信息都包含在chartevent中。此外，即使在其他地方捕获了实验室值（labevent），它们也经常在chartevent中重复。这是因为在病人的电子图上显示实验室值是可取的，因此这些值是从存储实验室值的数据库复制到存储chartevent的数据库中。当labevent中的值与chartevent中的值不同时，以labevent中的值为准。

label_events：实验检查信息表，主要是患者的实验室检测记录信息

数据集下载方式：https://download.csdn.net/download/qq1198768105/85259010

导库

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

基本设置

# 设置可视化风格
plt.style.use('tableau-colorblind10')
# 设置字体为SimHei(黑体)
plt.rcParams['font.sans-serif'] = ['SimHei']
# 解决中文字体下坐标轴负数的负号显示问题
plt.rcParams['axes.unicode_minus'] = False

数据提取

提取LABEVENTS表格中PO2和PCO2数据

# 根据采集时间来读取数据
df = pd.read_csv('mini_label_events.csv', index_col='CHARTTIME')

# 筛选出po2和pco2数据
po2 = df.query('ITEMID==490 | ITEMID==3785 | ITEMID==3837 | ITEMID==50821')
pco2 = df.query('ITEMID==3784 | ITEMID==3835 | ITEMID==50818')

# 创建DateFrame来存储数据
a1 = pd.DataFrame()
a1["PO2"] = po2["VALUENUM"]
a1["PCO2"] = pco2["VALUENUM"]
a1["SUBJECT_ID"] = po2["SUBJECT_ID"]
a1["HADM_ID1"] = po2["HADM_ID"]
a1['采集时间'] = a1.index

# 重置索引
a1.reset_index()
# 根据采集时间从早到晚进行排序
a1.sort_values("CHARTTIME", inplace=True)
# 插入序号并设为索引
a1.insert(0, '序号', range(1, 1 + len(a1)))
a1.set_index('序号', inplace=True)
a1
PO2PCO2SUBJECT_IDHADM_ID1采集时间
序号
1186.032.060207164814.02101-07-19 14:56:00
2173.033.060207164814.02101-07-19 22:07:00
3194.029.060207164814.02101-07-20 05:29:00
4239.037.01205152970.02101-12-20 09:03:00
5129.040.01205152970.02101-12-20 11:33:00
..................
466988.028.024851111571.02199-01-25 09:41:00
467035.041.024851111571.02199-01-30 05:08:00
467165.036.023765193447.02200-05-08 19:52:00
467289.032.023765193447.02200-05-09 02:24:00
467338.044.070646NaN2201-01-25 12:23:00

4673 rows × 5 columns

提取CHARTEVENTS表格中PO2和PCO2数据

df2 = pd.read_csv('mini_chart_events.csv',low_memory=False, index_col="CHARTTIME")

# 筛选出po2和pco2数据
po2 = df2.query('ITEMID==490 | ITEMID==3785 | ITEMID==3837 | ITEMID==50821')
pco2 = df2.query('ITEMID==3784 | ITEMID==3835 | ITEMID==50818')
# 这里存在重复时间索引，删除前面一个，保留最后一个
po2 = po2.reset_index().drop_duplicates(subset='CHARTTIME', keep='last').set_index('CHARTTIME')
pco2 = pco2.reset_index().drop_duplicates(subset='CHARTTIME', keep='last').set_index('CHARTTIME')

# 创建DateFrame来存储数据
a2 = pd.DataFrame()
a2["PO2"] = po2["VALUENUM"]
a2["PCO2"] = pco2["VALUENUM"]
a2["SUBJECT_ID"] = po2["SUBJECT_ID"]
a2["HADM_ID1"] = po2["HADM_ID"]
a2['采集时间'] = a2.index

# 重置索引
a2.reset_index()
# 根据采集时间从早到晚进行排序
a2.sort_values("CHARTTIME", inplace=True)
# 插入序号并设为索引
a2.insert(0, '序号', range(1, 1 + len(a2)))
a2.set_index('序号', inplace=True)
a2
PO2PCO2SUBJECT_IDHADM_ID1采集时间
序号
1NaNNaN130811207372102-01-11 06:00:00
2257.200012NaN324761198622109-05-30 18:59:00
354.00000047.0307121673922111-02-22 19:23:00
468.00000047.0307121673922111-02-22 23:32:00
542.00000042.0307121673922111-02-23 06:23:00
..................
13249.00000039.095571783662195-08-07 12:00:00
133NaNNaN95571783662195-08-10 12:00:00
134228.199997NaN121831807442197-06-03 03:00:00
13565.00000036.0237651934472200-05-08 19:52:00
136NaNNaN237651934472200-05-16 02:00:00

136 rows × 5 columns

最小采集时间的间隔

# 根据病人ID和不同住院时间的ID进行分组
group = a1.groupby(["SUBJECT_ID", "HADM_ID1"])

# 提取采集时间大于1的组别(只有2个时间以上才能求间隔)
tem_list = []
for key, item in group['采集时间']:if item.count() > 1:tem_list.append(item)

# 提取各组的所有采集时间间隔
interval_list = []
for i in range(len(tem_list)):tem_list[i].sort_values(ascending=False, inplace=True)  # 对采集时间进行从大到小的排序for j in range(tem_list[i].count() - 1):interval = pd.to_datetime(tem_list[i].iloc[j]) - pd.to_datetime(tem_list[i].iloc[j+1])interval_list.append(interval)

# 选取最小的时间间隔
min(interval_list)

输出：

Timedelta('0 days 00:01:00')

可以发现，最小的采集时间间隔为1分钟，下面就利用该时间来进行插值。

插值

pandas 插值核心函数为interpolate()

可选的插值方式有：

nearest：最邻近插值法

zero：阶梯插值

slinear、linear：线性插值

quadratic、cubic：2、3阶B样条曲线插值

对LABEVENTS表格中PO2和PCO2数据进行插值

ipl = pd.DataFrame()  # 用来存储插值后的结果

for key, item in group:item.set_index('采集时间', inplace=True)item.index = pd.to_datetime(item.index)# 设置重采样时间间隔为1min，该时间由上面选取得到ev_ipl = item.resample('1min').interpolate()  # 这里使用默认的线性插值ipl = pd.concat([ipl, ev_ipl], axis=0)

# 重置索引
ipl.reset_index(inplace=True)
# 插入序号并设为索引
ipl.insert(0, '序号', range(1, 1 + len(ipl)))
ipl.set_index('序号', inplace=True)
# 更换顺序
order = ['PO2', 'PCO2', 'SUBJECT_ID', 'HADM_ID1', '采集时间']
ipl = ipl[order]
ipl
PO2PCO2SUBJECT_IDHADM_ID1采集时间
序号
163.00000048.000000127.0141647.02183-08-21 10:26:00
2347.00000057.000000273.0158689.02141-04-19 05:26:00
3346.57360456.994924273.0158689.02141-04-19 05:27:00
4346.14720856.989848273.0158689.02141-04-19 05:28:00
5345.72081256.984772273.0158689.02141-04-19 05:29:00
..................
236551056.03081037.99763099863.0100749.02142-04-24 17:46:00
236551156.02310837.99822299863.0100749.02142-04-24 17:47:00
236551256.01540537.99881599863.0100749.02142-04-24 17:48:00
236551356.00770337.99940799863.0100749.02142-04-24 17:49:00
236551456.00000038.00000099863.0100749.02142-04-24 17:50:00

2365514 rows × 5 columns

对CHARTEVENTS表格中PO2和PCO2数据进行插值

ipl2 = pd.DataFrame()  # 用来存储插值后的结果

# 根据病人ID和不同住院时间的ID进行分组
group2 = a2.groupby(["SUBJECT_ID", "HADM_ID1"])
for key, item in group2:item.set_index('采集时间', inplace=True)item.index = pd.to_datetime(item.index)# 设置重采样时间间隔为1min，该时间由上面选取得到ev_ipl = item.resample('1min').interpolate()  # 这里使用默认的线性插值ipl2 = pd.concat([ipl2, ev_ipl], axis=0)

# 重置索引
ipl2.reset_index(inplace=True)
# 插入序号并设为索引
ipl2.insert(0, '序号', range(1, 1 + len(ipl2)))
ipl2.set_index('序号', inplace=True)
# 更换顺序
order = ['PO2', 'PCO2', 'SUBJECT_ID', 'HADM_ID1', '采集时间']
ipl2 = ipl2[order]
ipl2
PO2PCO2SUBJECT_IDHADM_ID1采集时间
序号
1257.200012NaN907.0149649.02155-08-21 19:00:00
2308.500000NaN946.0183564.02120-05-05 05:00:00
3308.491890NaN946.0183564.02120-05-05 05:01:00
4308.483781NaN946.0183564.02120-05-05 05:02:00
5308.475671NaN946.0183564.02120-05-05 05:03:00
..................
32511561.02290135.98473330712.0167392.02111-02-24 06:10:00
32511661.01526735.98982230712.0167392.02111-02-24 06:11:00
32511761.00763435.99491130712.0167392.02111-02-24 06:12:00
32511861.00000036.00000030712.0167392.02111-02-24 06:13:00
325119257.200012NaN32476.0119862.02109-05-30 18:59:00

325119 rows × 5 columns

缺失点处理

对LABEVENTS表格中PO2和PCO2数据缺失点进行处理

# 检测PO2缺失值
ipl.loc[ipl["PO2"].isnull(), :]
PO2PCO2SUBJECT_IDHADM_ID1采集时间
序号
# 检测PCO2缺失值
ipl.loc[ipl["PCO2"].isnull(), :]
PO2PCO2SUBJECT_IDHADM_ID1采集时间
序号

LABEVENTS表格中PO2和PCO2数据均无缺失点，不进行处理。

对LABEVENTS表格中PO2和PCO2数据缺失点进行处理

PO2PCO2SUBJECT_IDHADM_ID1采集时间
序号
22158NaNNaN7285.0150783.02175-04-21 08:00:00
29662NaNNaN13081.0120737.02102-01-11 06:00:00
86560NaNNaN18305.0120110.02187-02-06 10:00:00
# 检测PCO2缺失值
ipl2.loc[ipl2["PCO2"].isnull(), :]
PO2PCO2SUBJECT_IDHADM_ID1采集时间
序号
1257.200012NaN907.0149649.02155-08-21 19:00:00
2308.500000NaN946.0183564.02120-05-05 05:00:00
3308.491890NaN946.0183564.02120-05-05 05:01:00
4308.483781NaN946.0183564.02120-05-05 05:02:00
5308.475671NaN946.0183564.02120-05-05 05:03:00
..................
86557249.199997NaN16378.0179705.02134-03-15 19:00:00
86560NaNNaN18305.0120110.02187-02-06 10:00:00
270864310.500000NaN20913.0102847.02137-12-18 22:45:00
296323249.199997NaN29769.0179221.02178-02-28 19:00:00
325119257.200012NaN32476.0119862.02109-05-30 18:59:00

7813 rows × 5 columns

这里总共检测出7813条数据具有缺失值，将这些数据进行删除处理

ipl2.dropna(axis='index', how='any', inplace=True)  # any表示只要有一个缺失值则整行删除

处理后的数据如下表所示

ipl2
PO2PCO2SUBJECT_IDHADM_ID1采集时间
序号
756250.00000058.0000004033.0196289.02159-06-15 01:00:00
756350.00000058.0000004033.0196289.02159-06-15 01:01:00
756450.00000058.0000004033.0196289.02159-06-15 01:02:00
756550.00000058.0000004033.0196289.02159-06-15 01:03:00
756650.00000058.0000004033.0196289.02159-06-15 01:04:00
..................
32511461.03053435.97964430712.0167392.02111-02-24 06:09:00
32511561.02290135.98473330712.0167392.02111-02-24 06:10:00
32511661.01526735.98982230712.0167392.02111-02-24 06:11:00
32511761.00763435.99491130712.0167392.02111-02-24 06:12:00
32511861.00000036.00000030712.0167392.02111-02-24 06:13:00

317306 rows × 5 columns

去噪

在原始数据中添加了高斯白噪声，需要进行去噪。我选择删除偏离均值三倍标准差数据的方式进行去噪。

def drop_noisy(df):df_copy = df.copy()df_describe = df_copy.describe()for column in df.columns:mean = df_describe.loc['mean', column]std = df_describe.loc['std', column]minvalue = mean - 3*stdmaxvalue = mean + 3*stddf_copy = df_copy[df_copy[column] >= minvalue]df_copy = df_copy[df_copy[column] <= maxvalue]return df_copy

对LABEVENTS表格中PO2和PCO2数据进行去噪

# 这里只对PO2和PCO2列进行去噪
dno1 = drop_noisy(ipl.iloc[:, :2])
dno1
PO2PCO2
序号
163.00000048.000000
2347.00000057.000000
3346.57360456.994924
4346.14720856.989848
5345.72081256.984772
.........
236551056.03081037.997630
236551156.02310837.998222
236551256.01540537.998815
236551356.00770337.999407
236551456.00000038.000000

2266786 rows × 2 columns

对PO2和PCO2去噪结果进行可视化展示

# PO2去噪前后可视化
plo1 = pd.DataFrame()
plo1['PO2去噪前'] = ipl['PO2']
plo1['PO2去噪后'] = dno1['PO2']
plo1.plot.hist(alpha=0.9)

在这里插入图片描述

# PCO2去噪前后可视化
plo2 = pd.DataFrame()
plo2['PCO2去噪前'] = ipl['PCO2']
plo2['PCO2去噪后'] = dno1['PCO2']
plo2.plot.hist(alpha=0.9)

在这里插入图片描述

对CHARTEVENTS表格中PO2和PCO2数据进行去噪

dno2 = drop_noisy(ipl2.iloc[:, :2])
dno2
PO2PCO2
序号
756250.00000058.000000
756350.00000058.000000
756450.00000058.000000
756550.00000058.000000
756650.00000058.000000
.........
32511461.03053435.979644
32511561.02290135.984733
32511661.01526735.989822
32511761.00763435.994911
32511861.00000036.000000

312190 rows × 2 columns

对PO2和PCO2去噪结果进行可视化展示

# PO2去噪前后可视化
plo3 = pd.DataFrame()
plo3['PO2去噪前'] = ipl2['PO2']
plo3['PO2去噪后'] = dno2['PO2']
plo3.plot.hist(alpha=0.9)

在这里插入图片描述

# PCO2去噪前后可视化
plo4 = pd.DataFrame()
plo4['PCO2去噪前'] = ipl2['PCO2']
plo4['PCO2去噪后'] = dno2['PCO2']
plo4.plot.hist(alpha=0.9)

在这里插入图片描述

离群点处理

通过绘制箱形图，将上边缘和下边缘之外的数据视作离群点，将其进行去除

对LABEVENTS表格中PO2和PCO2数据离群点进行处理

c = pd.DataFrame()
c['PO2'] = plo1['PO2去噪后']
c['PCO2'] = plo2['PCO2去噪后']

c.boxplot(showmeans=True, sym='b+')

在这里插入图片描述

对PO2数据进行处理，将箱体图上下边缘的数据进行去除

a = pd.DataFrame()
b = pd.DataFrame()
a['PO2'] = plo1['PO2去噪后']
b['PO2离群点处理前'] = a['PO2']
# 将箱体图上下边缘的数据进行去除
first_quartile = a['PO2'].describe()['25%']
third_quartile = a['PO2'].describe()['75%']
iqr = third_quartile - first_quartile
b['PO2离群点处理后'] = a[(a['PO2'] > (first_quartile - 1.5 * iqr)) &(a['PO2'] < (third_quartile + 1.5 * iqr))]

b.plot.hist(alpha=0.9)

在这里插入图片描述

对PCO2数据进行处理

a = pd.DataFrame()
b = pd.DataFrame()
a['PCO2'] = plo2['PCO2去噪后']
b['PCO2离群点处理前'] = a['PCO2']
# 将箱体图上下边缘的数据进行去除
first_quartile = a['PCO2'].describe()['25%']
third_quartile = a['PCO2'].describe()['75%']
iqr = third_quartile - first_quartile
b['PCO2离群点处理后'] = a[(a['PCO2'] > (first_quartile - 1.5 * iqr)) &(a['PCO2'] < (third_quartile + 1.5 * iqr))]

b.plot.hist(alpha=0.9)

在这里插入图片描述

对CHARTEVENTS表格中PO2和PCO2数据离群点进行处理

c = pd.DataFrame()
c['PO2'] = plo3['PO2去噪后']
c['PCO2'] = plo4['PCO2去噪后']

c.boxplot(showmeans=True, sym='b+')

在这里插入图片描述

对PO2数据进行处理，将箱体图上下边缘的数据进行去除

a = pd.DataFrame()
b = pd.DataFrame()
a['PO2'] = plo3['PO2去噪后']
b['PO2离群点处理前'] = a['PO2']
# 将箱体图上下边缘的数据进行去除
first_quartile = a['PO2'].describe()['25%']
third_quartile = a['PO2'].describe()['75%']
iqr = third_quartile - first_quartile
b['PO2离群点处理后'] = a[(a['PO2'] > (first_quartile - 1.5 * iqr)) &(a['PO2'] < (third_quartile + 1.5 * iqr))]

b.plot.hist(alpha=0.9)

在这里插入图片描述

对PCO2数据进行处理

a = pd.DataFrame()
b = pd.DataFrame()
a['PCO2'] = plo4['PCO2去噪后']
b['PCO2离群点处理前'] = a['PCO2']
# 将箱体图上下边缘的数据进行去除
first_quartile = a['PCO2'].describe()['25%']
third_quartile = a['PCO2'].describe()['75%']
iqr = third_quartile - first_quartile
b['PCO2离群点处理后'] = a[(a['PCO2'] > (first_quartile - 1.5 * iqr)) &(a['PCO2'] < (third_quartile + 1.5 * iqr))]

b.plot.hist(alpha=0.9)

在这里插入图片描述

这篇关于【数据挖掘】任务2：医学数据库MIMIC-III数据处理的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/221601。

相关文章

SpringBoot实现数据库读写分离的3种方法小结

SpringBoot实现数据库读写分离的3种方法小结

《SpringBoot实现数据库读写分离的3种方法小结》为了提高系统的读写性能和可用性,读写分离是一种经典的数据库架构模式,在SpringBoot应用中,有多种方式可以实现数据库读写分离,本文将介绍三... 目录一、数据库读写分离概述二、方案一：基于AbstractRoutingDataSource实现动态
阅读更多...
C# WinForms存储过程操作数据库的实例讲解

C# WinForms存储过程操作数据库的实例讲解

《C#WinForms存储过程操作数据库的实例讲解》：本文主要介绍C#WinForms存储过程操作数据库的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、存储过程基础二、C# 调用流程1. 数据库连接配置2. 执行存储过程（增删改）3. 查询数据三、事务处
阅读更多...
mysql数据库重置表主键id的实现

mysql数据库重置表主键id的实现

《mysql数据库重置表主键id的实现》在我们的开发过程中,难免在做测试的时候会生成一些杂乱无章的SQL主键数据,本文主要介绍了mysql数据库重置表主键id的实现,具有一定的参考价值,感兴趣的可以了... 目录关键语法演示案例在我们的开发过程中，难免在做测试的时候会生成一些杂乱无章的SQL主键数据，当我们
阅读更多...
Spring定时任务只执行一次的原因分析与解决方案

Spring定时任务只执行一次的原因分析与解决方案

《Spring定时任务只执行一次的原因分析与解决方案》在使用Spring的@Scheduled定时任务时,你是否遇到过任务只执行一次,后续不再触发的情况？这种情况可能由多种原因导致,如未启用调度、线程... 目录1. 问题背景2. Spring定时任务的基本用法3. 为什么定时任务只执行一次？3.1 未启用
阅读更多...
Spring Boot 整合 MyBatis 连接数据库及常见问题

Spring Boot 整合 MyBatis 连接数据库及常见问题

《SpringBoot整合MyBatis连接数据库及常见问题》MyBatis是一个优秀的持久层框架,支持定制化SQL、存储过程以及高级映射,下面详细介绍如何在SpringBoot项目中整合My... 目录一、基本配置1. 添加依赖2. 配置数据库连接二、项目结构三、核心组件实现（示例）1. 实体类2. Ma
阅读更多...
如何使用Python实现一个简单的window任务管理器

如何使用Python实现一个简单的window任务管理器

《如何使用Python实现一个简单的window任务管理器》这篇文章主要为大家详细介绍了如何使用Python实现一个简单的window任务管理器,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起... 任务管理器效果图完整代码import tkinter as tkfrom tkinter i
阅读更多...
Spring Boot 集成 Quartz 使用Cron 表达式实现定时任务

Spring Boot 集成 Quartz 使用Cron 表达式实现定时任务

《SpringBoot集成Quartz使用Cron表达式实现定时任务》本文介绍了如何在SpringBoot项目中集成Quartz并使用Cron表达式进行任务调度,通过添加Quartz依赖、创... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启
阅读更多...
Java使用多线程处理未知任务数的方案介绍

Java使用多线程处理未知任务数的方案介绍

《Java使用多线程处理未知任务数的方案介绍》这篇文章主要为大家详细介绍了Java如何使用多线程实现处理未知任务数,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 知道任务个数，你可以定义好线程数规则，生成线程数去跑代码说明：1.虚拟线程池：使用 Executors.newVir
阅读更多...
查看Oracle数据库中UNDO表空间的使用情况(最新推荐)

查看Oracle数据库中UNDO表空间的使用情况(最新推荐)

《查看Oracle数据库中UNDO表空间的使用情况(最新推荐)》Oracle数据库中查看UNDO表空间使用情况的4种方法：DBA_TABLESPACES和DBA_DATA_FILES提供基本信息,V$... 目录1. 通过 DBjavascriptA_TABLESPACES 和 DBA_DATA_FILES
阅读更多...
Spring Boot中定时任务Cron表达式的终极指南最佳实践记录

Spring Boot中定时任务Cron表达式的终极指南最佳实践记录

《SpringBoot中定时任务Cron表达式的终极指南最佳实践记录》本文详细介绍了SpringBoot中定时任务的实现方法,特别是Cron表达式的使用技巧和高级用法,从基础语法到复杂场景,从快速启... 目录一、Cron表达式基础1.1 Cron表达式结构1.2 核心语法规则二、Spring Boot中定
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2