Обработка недостающих данных: лучшие практики на 2024 год

В мире анализа данных пропущенные данные — большая проблема. Исследователи в таких областях, как клиническая медицина и хирургия, часто сталкиваются с ней¹ ^. Хотя количество исследований, сообщающих о пропущенных данных, оставалось неизменным с 2001 по 2022 ^год¹ , только около 40% исследований в ведущих журналах справляются с этим должным образом¹ ^. Это может привести к ошибочным результатам, если пропущенных данных слишком ^много¹.

В преддверии 2024 года исследователям крайне важно быть в курсе последних достижений в области обработки пропущенных данных. В этом руководстве мы рассмотрим, как работать с пропущенными данными, почему это важно и как лучше всего получать точные результаты.

Основные выводы

• Просто сообщить об отсутствующих данных недостаточно; исследователи также должны объяснить, как они с этим справились, и свои предположения.
• Отсутствие до 5% данных обычно не сильно влияет на исследование, но точный предел, после которого методы терпят неудачу, неясен.¹.
• Важно правильно пометить отсутствующие данные как «Отсутствуют полностью в случайном порядке» (МКАР), Пропал случайно (Вт), или Пропало не случайно (МНАР) выбрать правильный метод вменения².
• Продвинутые методы, такие как Множественное вменение (МИ) обещают справиться с недостающими данными, давая последовательные результаты.¹.
• Работа со статистиком, имеющим опыт работы с недостающими данными, а также хорошее планирование и документирование исследований — это главные советы по сокращению и устранению недостающих данных.¹².

Понимание природы недостающих данных

При работе с данными медицинских исследований знание типов пропущенных данных имеет ключевое значение. Исследования показывают три основных типа: полностью случайные пропущенные данные ( MCAR ), случайные пропущенные данные ( MAR ) и неслучайные пропущенные данные ( MNAR ) ^³.

Пропал совершенно случайно (MCAR)

MCAR означает, что данные отсутствуют случайным образом и не связаны с другими данными. Это действительно случайность, и она не следует какому-либо шаблону³ ^. Например, некоторые данные о библиотечных книгах могут отсутствовать из-за ошибок при записи.

Случайно пропал (MAR)

MAR означает, что пропущенные данные можно предсказать на основе того, что нам известно. Пропущенные данные следуют закономерности, которую объясняют другие данные³ ^. Например, «Возраст» может отсутствовать у тех, кто не указал свой «Пол». Пропущенный «Возраст» является случайным среди тех, кто не указал свой «Пол».

Не случайно отсутствует (MNAR)

MNAR означает, что пропущенные данные связаны с невидимыми факторами, отсутствующими в данных. Этот тип данных имеет закономерность, которую нельзя объяснить имеющимися у нас знаниями³ ^. Например, у респондентов, не ответивших на опрос, может быть больше просроченных книг, что приводит к отсутствию данных в их анкетах.

Большинство исследований сосредоточено на MCAR, но MAR и MNAR требуют большего внимания³ ^. С этими двумя типами сложнее работать, и они менее изучены³^.

Знание типов пропущенных данных имеет ключевое значение для выбора правильных методов анализа. Это обеспечивает точность результатов в медицинских исследованиях³ ^. Понимание типов MCAR, MAR и MNAR позволяет исследователям выбирать наилучшие методы обработки пропущенных данных и принимать обоснованные решения³^.

Важность обработки недостающих данных

Обработка пропущенных данных является ключевым моментом в анализе данных и машинном обучении⁴ ^. Многие алгоритмы плохо работают с пропущенными значениями. Однако некоторые, такие как метод k-ближайших соседей и наивный байесовский классификатор, могут с ними справляться⁴ . ^Если обработка пропущенных данных выполнена неправильно, можно построить предвзятую модель, что приведет к ошибочным результатам⁴^.

Отсутствие данных может снизить точность статистического анализа⁵ ^. Количество пропущенных данных варьируется, и существует три типа: MCAR, MAR и MNAR⁵ . ^Крайне важно правильно обрабатывать пропущенные значения для точных прогнозов модели и надежного анализа⁴^.

Существуют способы обработки пропущенных данных, такие как попарное или списочное удаление, множественная импутация или методы, основанные на моделях⁵ ^. Кроме того, предотвращение пропущенных данных и использование таких методов, как MLE и множественная импутация, может повысить точность анализа данных⁵^.

Отсутствие данных может привести к неверным выводам из-за ошибок или преднамеренных упущений⁶ ^. Важно знать, почему данные отсутствуют и как это влияет на результаты исследования⁶ . ^{Грамотно} решая проблему отсутствия данных, исследователи могут убедиться в точности и надежности своих выводов⁶^.

«Игнорирование недостающих данных может привести к предвзятым и вводящим в заблуждение результатам, тогда как правильное обращение с ними может значительно повысить точность и надежность анализа данных».

Проверка пропущенных значений в Python

Обработка недостающих данных начинается с выяснения того, где и сколько данных отсутствует. В Python мы используем библиотеку Pandas для обнаружения и понимания недостающих данных. Ключевым моментом в этом является метод isnull(), который помогает нам увидеть, где отсутствуют данные.

Использование функции `isnull()` для нашего DataFrame Pandas показывает, сколько значений отсутствует в каждом столбце и в целом ^. Это дает нам четкое представление об отсутствующих данных и помогает решить, как их исправить.

В Pandas также есть множество инструментов для более глубокого анализа пропущенных данных. Например, метод `sum()` подсчитывает все пропущенные значения в наборе данных ^7. Знание этого помогает нам лучше понять проблему и выбрать правильный способ обработки пропущенных данных.

Поиск пропущенных значений — ключевой шаг в очистке данных. С помощью Pandas мы можем многое узнать о недостающих данных в наших наборах данных. Эти знания помогают нам использовать более эффективные методы заполнения недостающих данных.

«Правильная обработка недостающих данных — важнейший шаг в анализе данных и машинном обучении, поскольку это может существенно повлиять на точность и надежность ваших моделей».

Поскольку мы продолжаем работать с данными, жизненно важно знать о различных типах недостающих данных и их последствиях. Изучение того, как проверять и подсчитывать пропущенные значения, позволяет нам применять более сложные стратегии обработки и заполнения данных.

Удаление пропущенных значений

Работа с пропущенными данными может быть простой: достаточно удалить строки или столбцы с пропущенными значениями. Этот метод, называемый построчным удалением или поэлементным удалением , прост в применении и хорошо работает , если пропущенные данные ^{отсутствуют} совершенно случайным образом (MCAR). Но будьте осторожны, поскольку удаление слишком большого количества данных может снизить надежность анализа и привести к потере данных^.

Удаление пропущенных значений имеет свои преимущества, такие как простота и сохранение структуры данных. Однако это также может значительно уменьшить размер выборки и исказить результаты, если пропущенные данные не соответствуют критерию MCAR ^9. Поэтому важно понимать, почему ваши данные отсутствуют, прежде чем принимать решение об их удалении.

Вместо удаления пропущенных значений исследователи часто используют импутацию . Это означает заполнение пропущенных значений новыми. Существуют простые способы, такие как использование среднего или медианы, или более сложные методы, такие как метод k-ближайших соседей (KNN) или множественная импутация⁸ ^. Эти методы помогают сохранить размер выборки и уменьшить смещение в анализе.

В заключение , удаление пропущенных значений — это простой шаг, но его следует выполнять осторожно. Используйте его только в том случае, если пропущенные данные действительно являются MCAR (Missing Carry — случайный выбор, не соответствующий действительности), и ваш анализ по-прежнему работает с оставшимися данными. Методы импутации часто лучше подходят для обработки пропущенных данных, особенно если они не являются полностью случайными ^{8 9}.

Вменение пропущенных значений

Работа с пропущенными данными часто предполагает использование импутации, или заполнение пробелов предположениями. Импутация с помощью среднего значения, медианы и моды — простые способы сделать это. Они заменяют пропущенные значения средними значениями, средними значениями или наиболее распространенными значениями¹⁰ ^. Однако эти методы не всегда могут дать правильные результаты, особенно если структура пропущенных данных ^{сложна¹¹}.

K-вменение ближайших соседей

Метод k-ближайших соседей (KNN) — это более продвинутый способ обработки пропущенных данных. Он находит ближайшие точки данных (соседей) и использует их значения для определения пропущенных значений. KNN отлично подходит для больших наборов данных с разбросанными пропущенными значениями¹¹ ^. Он анализирует взаимосвязь переменных, что позволяет получать более точные оценки, когда пропущенные данные связаны с другими значениями¹¹^.

Простые методы импутации могут показаться быстрыми и легкими, но они могут не в полной мере отражать истинную природу отсутствующих данных ^10. Более сложные методы, такие как импутация методом KNN, используют взаимосвязи переменных для получения более точных предположений. Это делает их ключевым инструментом для эффективной работы с отсутствующими данными ¹¹.

Узнайте больше об обработке пропущенных данных и роли анализа продольных данных в ^{10 11 2}.

Передовые методы вменения

Изучение передовых методов импутации имеет ключевое значение при работе с отсутствующими данными. Эти новые методы помогают нам лучше обрабатывать отсутствующие данные и гарантировать, что наши данные действительно отражают реальность¹²^.

Вменение на основе модели

Импутация на основе модели — это метод, который использует статистическую модель для определения пропущенных значений. Он анализирует другие точки данных для формулирования этих предположений. Этот метод эффективен, но требует больших знаний и может занимать много времени ¹².

Множественное вменение

Множественная импутация — ещё один способ работы с пропущенными данными. Она создаёт множество возможных значений для пропущенных данных. Популярными инструментами для этого являются множественная импутация с помощью цепных уравнений (MICE) и полностью условная спецификация (FCS) ^¹² . MICE использует модель для импутации пропущенных данных, отражающую сложные взаимосвязи между переменными¹² ^. FCS заполняет пропущенные значения по одному, основываясь на уже известных данных, и делает это многократно, чтобы создать несколько полных наборов данных¹² ^. Этот метод учитывает случайный характер пропущенных данных, обеспечивая максимальную точность ^{данных¹²}.

Эти передовые методы предоставляют нам надежный способ обработки пропущенных данных, особенно когда они не случайны. Используя их, мы можем улучшить и повысить точность наших данных. Это приводит к более взвешенным решениям и лучшим результатам ¹².

Обработка недостающих данных: лучшие практики для исследователей в 2024 году

Мы знаем, насколько сложными могут быть пропущенные данные в клинических испытаниях и исследованиях. К счастью, существуют надежные способы решения этой проблемы. Комитет по национальной статистике Национального исследовательского совета (CNSTAT) дал нам отличные рекомендации по обработке пропущенных данных в испытаниях¹³ ^. Для исследований структура TARMOS предоставляет нам четкие шаги для ^{выполнения²}.

Наилучший план — предотвратить появление пропущенных данных еще до их возникновения. Однако получить полный набор данных часто бывает сложно, даже при тщательном планировании¹⁴ . Поэтому мы должны планировать пропущенные данные с самого начала. В плане исследования должно быть указано, что допустимо для пропущенных данных, и нам нужно скорректировать размер выборки¹³ ^. Наличие статистика, который знает, как обрабатывать пропущенные данные, очень полезно^.

• Хорошие способы борьбы с недостающими данными включают множественное вменение, взвешивание обратной вероятности и максимальное правдоподобие полной информации.¹³.
• Эти методы предполагают, что отсутствующие данные являются случайными, что означает, что мы можем объяснить, почему некоторые значения отсутствуют.¹³.
• Мы используем данные, чтобы выбрать, какие переменные помогут предсказать отсев, используя регрессию и машинное обучение.¹³.

Существуют руководства, вебинары и обучающие материалы по обработке пропущенных данных, демонстрирующие, насколько важно использовать правильные методы¹³ ^. Следуя этим передовым методам, мы можем эффективно обрабатывать пропущенные данные и обеспечивать надежность и достоверность наших исследований.

«Лучшая стратегия устранения проблем, возникающих из-за отсутствия данных, — это полностью их предотвратить. Однако даже в самых строгих условиях испытаний получение полного набора данных кажется маловероятным».

Нам необходимо быть на шаг впереди, когда речь идет о недостающих данных. Используя доступные советы и инструменты, мы можем убедиться в достоверности и валидности наших исследований, даже при наличии недостающих данных ^{14 2}.

Вменение категориальных признаков

Обработка пропущенных значений в категориальных данных — распространённая проблема. Традиционно мы заполняем эти пробелы наиболее распространённой категорией или создаём новую ^15. Этот метод быстр, но может не отражать истинную природу данных. Он также может привести к предвзятым результатам, если не учитывается характер пропущенных данных ^15. Для решения этой проблемы исследователи разработали передовые методы импутации , которые сохраняют структуру категориального признака ¹⁶.

Вменение пропущенных значений на основе моделей является популярным методом, при котором пропущенные значения прогнозируются с использованием обученных моделей ^15. Для категориальных данных в настоящее время используются такие методы, как метод k-ближайших соседей (k-NN), матричная факторизация, случайный лес и глубокое обучение ^16. Эти методы могут обрабатывать сложные шаблоны данных, что приводит к более точным прогнозам и лучшей производительности модели ¹⁶.

Крайне важно знать, как возникли пропущенные данные, классифицированные как MCAR, MAR или MNAR ^15. Выбор метода импутации зависит от характера пропущенных данных. Этот выбор влияет на качество импутации и последующего анализа ^15. Поэтому выбор правильного метода импутации имеет решающее значение ¹⁷.

В заключение, простые методы быстры, но более сложные методы, такие как импутация на основе моделей, лучше подходят для обработки категориальных данных ^16. Понимание пропущенных данных и выбор правильной импутации могут сделать наш анализ более надежным и точным ¹⁷.

Выбор метода импутации для категориальных признаков зависит от размера набора данных, характера пропущенных данных и потребностей анализа ^17. Понимая сильные и слабые стороны каждого метода, исследователи могут выбрать наилучший подход для своих данных ¹⁶.

«Заполнение пропущенных значений для категориальных признаков является важнейшим этапом предварительной обработки данных , поскольку оно может существенно повлиять на качество и надежность последующего анализа. Используя передовые методы и понимая природу пропущенных данных, мы можем извлечь ценную информацию из наших наборов данных».

Включение знаний предметной области

Как специалисты по анализу данных, мы знаем, насколько важно использовать знания предметной области для обработки пропущенных данных и экспертные знания для их восполнения . Значение экспертных знаний в области анализа данных огромно. Они помогают нам принимать взвешенные решения при работе с пропущенными данными. Эксперты в этой области были выбраны сообществом в 23 ^{18 году} . Их глубокие знания являются ключом к заполнению пробелов в данных.

Обработка пропущенных данных требует знания их типов: полностью случайные пропущенные данные (MCAR), случайные пропущенные данные (MAR) и неслучайные пропущенные данные (MNAR) . Эти типы представляют собой разные проблемы¹⁸ ^. Понимание пропущенных данных помогает нам выбрать правильные методы импутации для уменьшения смещения и обеспечения точности анализа.

В таких областях, как здравоохранение или финансы, недостающие данные могут включать в себя «отказ от ответа», «отсутствие ответа» или «не знаю». Знание этих деталей помогает нам улучшить качество данных ^18. Для решения этих проблем и уменьшения смещения в данных опроса мы можем использовать множественную импутацию, импутацию на основе моделей и присвоение различных весов ¹⁸.

Используя наши экспертные знания в данной области , мы можем выбрать подходящие методы импутации . Это может быть как простая импутация, например, с помощью среднего значения, так и более сложная, например, импутация методом KNN¹⁸ ^. Методы , основанные на глубоком обучении, в последнее время все лучше справляются с проблемами пропущенных значений и демонстрируют более высокую точность импутации¹⁹ ^. Наше глубокое понимание данных помогает нам выбирать и адаптировать эти передовые методы для достижения наилучших результатов.

В заключение , учет знаний предметной области является ключом к обработке пропущенных данных и выполнению точной импутации данных . Благодаря нашим экспертным знаниям в предметной области мы можем принимать обоснованные решения, уменьшать предвзятость и раскрывать весь потенциал наших данных. Это приводит к значимым выводам и улучшает персонализированную и доказательную медицину ^{19 18}.

Оценка и анализ чувствительности

Обработка пропущенных данных — сложная задача. Для обеспечения достоверности результатов крайне важно оценить методы импутации и провести анализ чувствительности ^20. Чжаохуэй Су, доктор философии, представила свою концепцию на конференции ISPOR 2024. Она охватывает 5 областей: релевантность данных, качество, корреляция, методы сбора и анализ смещения ²⁰.

Анализ чувствительности показывает, как различные методы импутации влияют на наши результаты ^20. Протестировав различные методы импутации, мы узнаем, насколько надежны наши выводы ^20. Онтада использует реальные данные из многих источников, таких как онкологические клиники в сети онкологических центров США ²⁰.

Это помогает нам выбрать наилучший метод импутации для наших данных и целей ^20. Комплексные проверки данных и анализ чувствительности помогают нам принимать обоснованные решения. Это приводит к более надежным и достоверным результатам ²⁰.

1. Узнайте тип недостающих данных, например Пропал совершенно случайно (MCAR), Случайно пропал (MAR) или Не случайно отсутствует (MNAR)⁶.
2. Используйте такие методы, как анализ склонности и корректировку ковариат для различных типов отсутствующих данных.⁶.
3. Проведите анализ чувствительности, особенно для MNAR, чтобы увидеть, как предположения об отсутствующих данных влияют на результаты.⁶.

Овладение навыками оценки методов импутации , анализа чувствительности к отсутствующим данным и оценки методов импутации помогает нам эффективно работать с реальными данными. Это приводит к получению ценных и полезных выводов для здравоохранения ^{20 6 2}.

«Понимание причин отсутствия данных и их значения для анализа является ключевым фактором для получения достоверных выводов». ⁶

Влияние отсутствующих данных может повлиять на наши будущие исследования, демонстрируя, почему полные и точные данные имеют решающее значение⁶ ^. Поскольку мы используем данные из реальной жизни, крайне важно уделять пристальное внимание отсутствующим данным и проводить тщательный анализ чувствительности. Это позволит раскрыть весь потенциал данных.

Заключение

Подводя итоги нашего обзора обработки пропущенных данных в 2024 году, становится ясно, что этот навык является ключевым для специалистов по анализу данных. Практически все исследования сталкиваются с пропущенными данными² ^. Если с ними неправильно обращаться, они могут ослабить наши данные и привести к предвзятым результатам² ^. Понимая типы пропущенных данных и используя такие методы, как импутация, мы можем сделать наши данные более надежными.

Область трансплантации органов также быстро меняется. Благодаря 3D-биопечати и ксенотрансплантации мы находим новые способы решения проблемы нехватки органов ^21. Эти достижения, наряду с исследованиями стволовых клеток, могут спасти множество жизней и изменить трансплантацию органов к лучшему ²¹.

Освоение обработки недостающих данных — это больше, чем техническая задача. Это ключевая часть работы ответственного специалиста по данным. Убедившись, что наши данные полны и хорошо проанализированы, мы можем принимать более обоснованные решения. Давайте продолжим совершенствовать наши навыки и внедрять новые технологии, чтобы обеспечить точность и эффективность анализа данных.

Ссылки на источники

1. https://link.springer.com/article/10.1245/s10434-023-14471-7
2. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3668100/
3. https://arxiv.org/pdf/2404.04905
4. https://stackoverflow.com/questions/78415816/dealing-with-missing-data-in-pandas-dataframe
5. https://web.fibion.com/articles/esm-missing-data-best-practices/
6. https://www.linkedin.com/pulse/handling-missing-data-how-leads-wrong-conclusions-doug-rose-otnpe
7. https://www.analyticsvidhya.com/blog/2021/10/handling-missing-value/
8. https://www.dasca.org/world-of-data-science/article/strategies-for-handling-missing-values-in-data-analysis
9. https://medium.com/@pingsubhak/handling-missing-values-in-dataset-7-methods-that-you-need-to-know-5067d4e32b62
10. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11101000/
11. https://www.linkedin.com/advice/0/what-some-best-practices-dealing-missing-values-imputation
12. https://www.medrxiv.org/content/10.1101/2024.05.13.24307268v1.full
13. https://cls.ucl.ac.uk/data-access-training/handling-missing-data/
14. https://stackoverflow.com/questions/56615889/handle-missing-values-when-99-of-the-data-is-missing-from-most-columns-impor
15. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10870437/
16. https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2021.693674/full
17. https://www.linkedin.com/advice/1/heres-how-you-can-address-missing-values-categorical-ktpge
18. https://www.linkedin.com/advice/3/what-best-practices-handling-missing-data-your-sets
19. https://www.sciencedirect.com/science/article/abs/pii/S093336572300101X
20. https://www.ajmc.com/view/a-new-framework-for-handling-missing-data-as-rwd-sources-rise
21. https://www.linkedin.com/pulse/strategies-handling-missing-data-clinical-trials-solutions-priya-k-pnpjc