• 领域知识整合：有效的临床登记数据清理需要全面了解临床领域，包括生理变量的合理范围、诊断和程序之间的逻辑关系以及临床事件的时间顺序。清理规则必须反映有效的临床场景，而不是纯粹的统计考虑。
• 数据收集过程理解：清理方法必须考虑注册表的特定数据收集机制，包括系统误差的潜在来源（例如，不同站点的测量设备的差异）、文档实践以及可能影响数据质量的工作流相关工件。
• 缺失数据机制：适当处理缺失数据需要了解值是完全随机缺失（MCAR）、随机缺失（MAR）还是非随机缺失（MNAR），这在临床登记中尤为重要，因为缺失的数据模式可能与疾病严重程度或患者特征相关。
• 时间一致性：对于纵向临床登记，数据清理必须保留患者旅程的时间完整性，确保事件按照合理的顺序发生，并且对一个时间点的更正不会与其他时间点产生逻辑不一致。
• 文档和可重复性：所有数据清理决策，包括变量转换、异常值处理和插补方法，都必须系统地记录，以确保后续分析的透明度、可重复性和适当的解释。

1. 技术 1：范围和一致性验证 * Define acceptable ranges for clinical variables gen flag_sbp = (sbp < 50 | sbp > 250) gen flag_dbp = (dbp < 30 | dbp > 150) gen flag_hr = (heart_rate < 30 | heart_rate > 220) * Check logical consistency gen flag_bp_inconsistent = (sbp <= dbp) gen flag_age_dx = (age_at_diagnosis < 0 | age_at_diagnosis > age_at_death) * Summarize data quality issues tab1 flag_*
2. 技术 2：标准化缺失值处理 * Identify missing value patterns misstable summarize misstable patterns * Standardize missing values mvdecode _all, mv(-99 -88 -77 999 888 777) * Multiple imputation for key variables mi set mlong mi register imputed sbp dbp ldl hdl mi impute chained (regress) sbp dbp ldl hdl = age sex bmi, add(10)
3. 技术3：高级异常值检测和处理 * Univariate outlier detection with robust methods egen median_sbp = median(sbp) egen mad_sbp = mad(sbp) gen robust_z_sbp = 0.6745*(sbp - median_sbp)/mad_sbp gen extreme_sbp = (abs(robust_z_sbp) > 3.5) * Multivariate outlier detection robustify sbp dbp hr, generate(mv_outlier) cutoff(0.01) * Winsorization of extreme values winsor2 sbp dbp hr, cuts(1 99) replace
4. 技术4：记录去重和链接 * Sort and identify potential duplicates sort patient_id visit_date duplicates report patient_id visit_date duplicates tag patient_id visit_date, gen(dup) * Fuzzy matching for record linkage reclink firstname lastname dob, idmaster(master_id) idusing(patient_id) gen(matchscore) * Resolve duplicates with rules bysort patient_id visit_date (record_date): keep if _n==_N
5. 技术 5：变量标准化与协调 * Standardize units replace glucose = glucose * 18 if glucose_unit == "mmol/L" replace glucose_unit = "mg/dL" * Recode categorical variables recode smoking_status 1=0 2=1 3=2 4=., gen(smoking_std) label define smoking_lbl 0 "Never" 1 "Former" 2 "Current" label values smoking_std smoking_lbl * Create derived variables gen bmi = weight/(height/100)^2 if weight > 0 & height > 0 gen egfr = 175 * (creatinine^-1.154) * (age^-0.203) * (0.742 if female) * (1.212 if race==3)
6. 技术6：纵向数据一致性检查 * Sort by patient and time sort patient_id visit_date * Check for impossible changes in fixed variables by patient_id: gen sex_changed = (sex != sex[_n-1] & _n > 1) by patient_id: gen dob_changed = (dob != dob[_n-1] & _n > 1) * Identify implausible clinical changes by patient_id: gen height_increase = (height > height[_n-1] + 2 & age > 18 & _n > 1) by patient_id: gen rapid_weight_change = (abs(weight - weight[_n-1]) > 10 & days_since_last < 30 & _n > 1) * Check temporal sequence of events gen flag_sequence = (procedure_date < diagnosis_date)

在解释Stata 中临床登记数据清理的结果时：

• 数据质量指标：使用汇总统计数据评估数据质量问题的程度。特定变量的标记值比例较高 (>5%) 可能表示存在系统性数据收集问题，而非随机错误。报告受每种质量问题类型影响的记录百分比，区分严重错误（例如不可能的值）和轻微不一致。
• 缺失数据模式：在临床背景下解释缺失数据模式。例如，病情较重的患者有更多缺失实验室值的非随机模式可能表明 MNAR 数据需要敏感性分析。报告 Little 的 MCAR 检验结果（p > 0.05 表明存在 MCAR），并使用以下方法可视化缺失数据模式 heatmap or misstable patterns, freq 识别系统缺失。
• 异常影响：比较有和没有确定异常值的分析，特别是对于关键结果变量。报告使用的统计标准（例如，修正 z > 3.5）和异常值处理决策的临床原理。当应用缩尾或变换时，记录受影响值的百分比以及对分布参数（平均值、标准差、偏度）的影响。
• 重复数据删除结果：量化原始数据集中的重复程度以及用于解决的标准。报告概率记录链接的匹配分数，分数越高（通常 >0.9）表示匹配越可靠。记录合并记录的数量以及边界情况的任何人工审核流程。
• 纵向一致性：对于时间序列数据，报告检测到的时间不一致的频率和解决方法。在文档中区分生物学上不可能的变化（例如，成年人身高下降）和临床上不可能但可能的变化（例如，体重快速波动）。
• 归因质量：当使用多重插补时，通过比较观察到的分布与插补分布来评估插补质量（使用 mi xeq: summarize) 和收敛诊断。报告关键估计的蒙特卡罗误差，该误差应小于标准误差的 10% 和置信区间宽度的 5%。

• 心血管疾病登记处： 清理血管造影程序数据；标准化实验室间的心脏酶测量；验证心电图解释代码；协调多个登记地点的风险因素定义；检测不合理的诊断和干预组合；跟踪心脏功能测量的纵向变化。
• 癌症登记处： 在不断变化的分类系统中标准化肿瘤分期信息；协调病理学和临床分期差异；验证治疗序列时间表；检测跨设施的重复患者条目；使用审查指标清理生存数据；协调临床试验和常规护理数据中的不良事件分级。
• 糖尿病和代谢疾病登记处： 在血浆和全血值之间标准化葡萄糖测量值；根据平均葡萄糖水平验证 HbA1c；检测生理上不合理的代谢参数组合；清理连续血糖监测时间序列数据；协调不同诊断编码系统中的并发症定义。
• 创伤和急诊医学登记处： 根据成分测量结果验证损伤严重程度评分；清理急诊科记录中的生命体征时间序列数据；检测损伤机制和诊断代码之间的不一致；在具有不同后续协议的设施之间标准化结果定义。
• 罕见疾病和专科登记处： 在不断发展的诊断标准中协调表型定义；清理不同测试平台上的基因测试结果；验证诊断延迟测量；在低流行条件下检测数据输入错误，由于样本量小，统计异常值检测可能失败。

• 有限的机器学习集成：Stata 传统的数据清理统计方法缺乏对高级机器学习方法的原生支持，而这些方法可以检测复杂、非线性的数据不一致模式。替代方案：R 和 dlookr 和 cleandata 软件包提供基于机器学习的异常检测；Python 的 cleanlab 提供概率方法来识别错误标记或异常的临床数据点。
• 可扩展性限制：Stata 可能难以处理非常大的临床登记（数百万条记录），特别是在执行模糊匹配或多重插补等内存密集型操作时。替代方案：Apache Spark Sparklyr R 接口或 PySpark 为大规模临床数据清理提供分布式计算能力；使用 PostgreSQL 等数据库引擎的基于 SQL 的方法可以有效地处理具有复杂验证规则的大型数据集。
• 有限的自然语言处理：Stata 在清理和标准化临床登记中常见的非结构化文本数据（例如手术记录、放射学报告）方面的能力有限。替代方案：R tidytext 包或 Python 的 spaCy 和 scispaCy （专为生物医学文本设计）提供全面的文本处理功能，可从临床叙述中提取结构化信息。
• 工作流管理限制：复杂的临床登记清理通常需要协调多个相关步骤，而仅使用 Stata do 文件进行管理可能非常麻烦。替代方案：R Markdown 或 Jupyter 笔记本支持集成代码、文档和结果；Luigi 或 Apache Airflow 等工作流管理系统可以协调具有依赖关系和错误处理的复杂数据清理管道。

在学术出版物中报告临床登记数据清理时：

• 在方法中包含专门的“数据质量和预处理”部分，量化原始数据集大小、具有相应样本大小的排除标准以及最终分析数据集特征。
• 报告关键变量缺失数据的程度和模式（每个变量的百分比）、缺失数据机制确定（MCAR、MAR、MNAR）以及采用的具体填补或处理方法，如果结果差异很大，则包括采用不同方法的敏感性分析。
• 记录所应用的具体范围和一致性验证规则，包括统计阈值和临床原理，特别是正常范围可能因患者亚群而异的生理变量。
• 报告重复数据删除方法和结果，包括所使用的算法（确定性或概率性）、匹配标准以及合并或排除为重复的记录的数量/百分比。
• 描述所有变量转换、标准化和派生变量及其精确的定义和公式，尤其是在结合来自具有不同测量单位或编码系统的多个来源的数据时。
• 对于纵向登记，报告确保时间一致性的方法，包括处理无序事件和验证时间相关变量。
• 包括一份 RECORD（使用观察性常规收集数据进行的研究报告）声明作为补充，该声明专门解决基于注册的研究的数据清理和验证过程。
• 提供一个数据质量表，总结清理前后的关键变量、它们的完整性和质量指标，以展示数据预处理对最终数据集的影响。

我们的手稿统计审查服务经常在临床登记数据清理中发现这些错误：

• 异常值处理不当：删除没有临床依据的统计异常值，可能消除代表重要临床亚组而不是错误的有效极端情况（例如，大面积心肌梗死中的肌钙蛋白水平非常高）。
• 忽略信息缺失：无法识别缺失数据模式与患者特征或结果之间的关联，导致分析出现偏差。例如，结果不佳或有并发症的患者可能更常出现随访数据缺失的情况。
• 清洁决策记录不足：省略了数据清理规则、阈值及其对最终数据集的影响的详细描述，使得读者无法评估潜在的选择偏差或确定清理决策是否是在事后做出的以影响结果。
• 过度清洁罕见事件：错误地将罕见但具有临床意义的事件标记并删除，因为它们看起来是统计异常，这在安全监测中尤其成问题，因为识别罕见不良事件至关重要。
• 未能解释测量误差：将所有临床测量视为同样精确，而不考虑不同地点、设备或时间段之间的差异测量误差，这可能会在比较组之间产生人为的趋势或差异。
• 复合变量处理不一致：从组成变量创建风险评分或复合端点，而不确保所有组成成分的缺失数据的清理和处理一致，可能会在综合测量中引入系统性偏差。