Электронный научный журнал
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,813

ИНФОРМАТИВНОСТЬ МЕТОДА ОДНОКРАТНОЙ КОЛЛЕКТИВНОЙ ЭКСПЕРТНОЙ ОЦЕНКИ В ПРОГНОЗИРОВАНИИ РЕЗУЛЬТАТОВ ЛЕЧЕНИЯ ПАЦИЕНТА В КРИТИЧЕСКОМ СОСТОЯНИИ

Кузнецов А.Б. 1 Бояринов Г.А. 1 Мухин А.С. 1 Симутис И.С. 1
1 Федеральное государственное бюджетное образовательное учреждение высшего образования «Нижегородская государственная медицинская академия» Министерства здравоохранения Российской Федерации
Цель исследования – изучение информативности метода однократной коллективной экспертной оценки (консилиум) в прогнозировании результатов лечения пациента в критическом состоянии, с полиорганной недостаточностью. Изучены коллективные экспертные оценки (консилиум) у 130-100,00% пациентов, совпадение прогноза выживание/смерть выявлено у 63-48,46% (р=0,0002) пациентов, летальный исход прогнозирован у 33-25,38% пациентов, реальная летальность составила 16-12,31%. В ROC-анализе однократная коллективная экспертная оценка (консилиум) представила прогнозируемое отсутствие патологии 94,45%, специфичность 71,19%, обобщённую точность 70,77%, чувствительность 66,67%, прогнозируемое наличие патологии 19,05%, при AUCROC U-критерий 0,519, AUCROC методом трапеции 0,481. Для модели, предсказывающей смерть пациента, корректна чувствительность более 95%, AUCROC более 0,9. Возможность повышения точности прогноза повторными коллективными экспертными оценками (консилиум) у пациентов в критическом состоянии, с полиорганной недостаточностью, требует дальнейших исследований.
информативность
критическое состояние
консилиум
однократная коллективная экспертная оценка
1. Об основах охраны здоровья граждан в Российской Федерации: Федеральный закон от 21.11.2011 N 323-ФЗ (с изм. от 01.01.2017). – Ст. 20, 48, 66, 69. - URL: http://www.consultant.ru/document/cons_doc_LAW_121895/ (дата обращения: 17.09.2017).
2. Кузнецов А.Б. Прогнозирование результатов лечения пациента в критическом состоянии: монография. - Саарбрюкен (Saarbrücken): Lap Lambert Academic Publishing, 2015. – 247 с.
3. Орлов А.И. Статистические модели в медицине // Научный журнал КубГАУ. – 2016. - № 124 (10) [Электронный ресурс]. - URL: http://ej.kubagro.ru/2016/10/pdf/63.pdf (дата обращения: 16.09.2017).
4. Орлов А.И. Новая парадигма анализа статистических экспертных данных в задачах управления // Идентификация систем и задачи управления: труды X Междунар. конф. (Москва, 26-29 янв. 2015 г.). – М., 2015. - С. 34-42.
5. Жуков М.С. Задача исследования итогового ранжирования мнений группы экспертов с помощью медианы Кемени / М.С. Жуков, А.И. Орлов // Научный журнал КубГАУ. – 2016. - № 122 (08) [Электронный ресурс]. - URL: http://ej.kubagro.ru/2016/08/pdf/55.pdf (дата обращения: 16.09.2017).
6. Рапаков Г.Г. Сравнительная оценка эффективности методов классификационного анализа в социологических исследованиях / Г.Г. Рапаков, В.А. Горбунов // Вестник ВГУ. Серия: Системный анализ и информационные технологии. – 2014. - № 4. – С. 54-62.
7. Андосова Л.Д. Многофакторный регрессионный анализ в прогнозе развития цервикальных поражений инфекционного генеза / Л.Д. Андосова, К.Н. Конторщикова, К.А. Шахова // Медицинский альманах. – 2017. - № 2 (47). – С. 111-113.
8. Орлова Е.А. ROC-анализ нейроиммунологических показателей у больных с хронической психогенной крапивницей // Бюллетень ВСНЦ СО РАМН. Клиническая медицина. – 2012. - № 3 (85), ч. 2. – С. 133-137.
9. Гайдышев И.П. Оценка качества бинарных классификаторов // Вестник Омского университета. – 2016. - № 1. - С. 14-17.
10. Орлов А.И. Теория экспертных оценок в нашей стране // Научный журнал КубГАУ. – 2013. - № 09 (093) [Электронный ресурс]. - URL: http://ej.kubagro.ru/2013/09/pdf/ 114.pdf (дата обращения: 16.09.2017).
11. Проблема тяжести клинического течения и исхода некротического панкреатита / Н.А. Кузнецов [и др.] // Клинические перспективы гастроэнтерологии, гепатологии. - 2004. - № 1. - С. 21-26.

Действующее законодательство определяет консилиум как совещание нескольких врачей одной или нескольких специальностей, необходимое для установления состояния здоровья пациента, диагноза, определения прогноза и тактики медицинского обследования и лечения, целесообразности направления в специализированные отделения медицинской организации или другую медицинскую организацию и для решения иных вопросов в случаях, предусмотренных настоящим Федеральным законом. Консилиум врачей созывается по инициативе лечащего врача в медицинской организации либо вне медицинской организации (включая дистанционный консилиум врачей) [1]. Работа с группами специалистов-экспертов заключается в формировании работоспособных коллективов, обработке совместно выработанных суждений. Суждения представляются реже в количественном, чаще в качественном виде. Важнейшим требованием организатора экспертизы (консилиум), принимающего решение, как правило, неспециалиста, является доступность заключений. Осознанно или неосознанно экспертиза осуществляется одним из известных способов [2]. «Способ экспертной комиссии» («способ военного совета»). По поручению организатора создаётся группа экспертов. По каждому из поставленных вопросов группа даёт заключение. Окончательное решение принимается единолично организатором подобно военному совету, когда заслушивается мнение всех, а решение принимается командующим [2]. «Способ средней оценки с учётом крайних значений» («способ КВН»). Эксперты оценивают в баллах каждое из обсуждаемых решений. Подобно жюри в телевизионной игре, оглашается средняя арифметическая оценка [2]. «Способ средней оценки без учёта крайних значений» («способ фигурного катания»). Эксперты оценивают в баллах каждое из обсуждаемых решений. Высшая и низшая оценки не учитываются, как в фигурном катании. Средняя арифметическая оценок представляется как суждение комиссии [2]. «Способ сценариев». Экспертами осуществляется расчленение проблемы на ряд самостоятельных версий-сценариев, отражающих в комплексе всю проблему. Версиям надлежит иметь потенциал точной оценки, прогнозирования, разумную ограниченность по числу. После создания комплекта версий обсуждается каждая наработка. Обсуждение формализовано далеко не полно, количественные характеристики используют редко. Обсуждение ведётся на уровне качественных характеристик, что обычно для медицины [2]. «Мозговой штурм». Экспертами обсуждается проблема поочерёдно или вне очереди в свободном режиме при важнейшем ограничении: нельзя негативно оценивать, выявлять в суждениях коллег недостатки. Допускается развитие прозвучавших мыслей, приветствуется генерация собственных идей, но отрицательно оценивать выступления коллег запрещено. Постепенно эксперты раскрепощаются, подхватывают уже высказанные мысли, вырабатывают неординарные предложения. После наиболее плодотворных 120 минут по аудио-, видеозаписи, записям на бумажном носителе рассматриваются все предложения, выбирается оптимальное, принимается решение [2]. «Способ снежного кома». Эксперт, к которому обратились в первую очередь, сообщает организатору данные тех, кого считает полезным в разрешении проблемы. Вновь привлеченных опрашивают аналогично. Расширение группы прерывается, когда данные начинают часто встречаться повторно. Таким образом, формируется обширный реестр экспертов, каждый со своими субъективными оценками [2]. «Дельфийский способ» («метод Дельфи»). Невзирая на экологически  неудачное расположение, храм в Дельфах был популярен у древних греков. Жрицы, надышавшиеся вулканическими газами, издавали нечленораздельные звуки. Жрецы с главным оракулом толковали их бормотанье, раздавали советы. В современном виде экспертиза имеет два этапа. Сначала эксперты дают индивидуально оценку, прогноз. Затем каждый знакомится с суждением каждого. Если взгляд какого-либо эксперта значимо отличается от точки зрения других, просят разъяснений. В процессе непрерывного обсуждения позиции сближаются. Обсуждение заканчивается, когда оценки стабилизируются на средних значениях, удовлетворяющих организатора и всех специалистов-экспертов между собой. Средние значения представляются общим суждением экспертной комиссии [2]. Методики проведения экспертиз постоянно уточняются, дополняются, изменяются [3]. Меняется парадигма анализа статистических экспертных данных [4]. Беспристрастное исследование свойств коллективной экспертной оценки (консилиума) можно получить статистическими и математическими способами [5]. К таким способам относится логистическая регрессия, выявляющая взаимоотношения исходных изменяемых величин с получаемыми изменяемыми величинами [6]. Двойная логистическая регрессия имеет получаемую изменяемую величину вида 0/1, что позволяет определить вероятность здоровый/нездоровый,  выживание/смерть [7]. Построение характеристической кривой качества моделей применяется для графического представления и сопоставления однородных и неоднородных моделей, выявления показателей избранной модели, позволяет устанавливать соотношение части правильных позитивных систематик и части неправильных позитивных систематик при изменении точки отсчёта операционных характеристических кривых наблюдателя (Receiver Operating Characteristic Сurve, ROC-curve), подсчёт размеров зоны (Area) ниже  ROC-curve,  Area Under  Receiver Operating Characteristic Сurve, AUCROC) [8]. Вычисление чувствительности (плотность обнаружения показателя, когда обнаружение не планируется) и специфичности (плотность обнаружения показателя, когда обнаружение планируется) представляет собой лишь частный случай числового выражения величины распознавательной способности модели [9]. В каждом варианте предсказания исхода событий при отличающемся составе пациентов возможно расхождение в значительном диапазоне получаемых величин чувствительности, специфичности [2]. К базовым составляющим производимых вычислений относятся: распространённость - частное от деления результата сложения истинно позитивных, истинно

негативных величин на результат сложения истинно позитивных, ошибочно позитивных, истинно негативных, ошибочно негативных величин; прогнозируемое отсутствие патологии - частное от деления ошибочно негативных величин  значений на результат сложения ошибочно  негативных, истинно негативных величин; обобщённая точность - частное от деления результата сложения истинно позитивных, ошибочно негативных  величин на результат сложения истинно позитивных, ошибочно позитивных, истинно негативных, ошибочно негативных величин [9].

Цель исследования - определение информативности однократной коллективной экспертной оценки (консилиум) в прогнозировании результатов лечения критического состояния, полиорганной недостаточности.

Материалы и методы. Структура исследования: многоцентровое, с распределением пациентов по дате поступления, закрытое без демонстрации цели пациенту и группе специалистов-экспертов в моногруппе больных в критическом состоянии, с полиорганной недостаточностью, с установленным регламентом сбора, обработки данных, пассивное с описанием клинических условий, заключений специалистов-экспертов, во временном интервале, с наблюдением за выделенной группой. Временной диапазон: 01.2000-01.2017 годы. Индукция: коллективные экспертные оценки (консилиум) при заболеваниях, травматических повреждениях, сопровождающихся декомпенсированной недостаточностью (грубые нарушения функции) и/или несостоятельностью (отсутствие функции) 1-4  жизненно важных систем/органов (systemae respiratorium, digestorium, immunorium, vasorum, nervosum central, dispositionem sangvis aggregation, glandula suprarenalis, pancreas, renis, cor). Эксдукция: годы менее 21, более 94, класс I-III, V American Society of Anesthesiologists (ASA). Регистрационные отметки: 1 – выявление декомпенсированной  недостаточности/несостоятельности 1-4 жизненно  важных  систем/органов, 2 – предсказание возможности умирания, 3 – exitus. Обработку данных выполняли программой  Statistica 6.0, Statistical Package for the Social Sciences, SPSS 12.0 for Windows. Подчинённость изменяемых величин, испытание отклонения избранных величин, рассмотрение подчинённости групповых изменяемых величин, рассмотрение подчинённости групповых изменяемых величин выполняли подсчётом V2 (уточнённый Х2 Pearson). Верным воспринимали р<0,05.

Результаты и обсуждение

Изучены 130-100,00% коллективных экспертных оценок (консилиум). В 9-6,92% (р=0,0000) перед экспертами ставилась задача не только собственно экспертизы (оценки тяжести органных/системных расстройств, прогноза исхода лечения): в 7-5,38% (р=0,0000) также фиксировалась необходимость медицинского вмешательства по экстренным жизненным показаниям для устранения угрозы жизни, когда состояние не позволяло выразить свою волю или отсутствовали законные представители, в 2-1,54%  (р=0,0000) востребована и запись юридического характера в истории болезни (медицинской карте стационарного больного) в отношении лиц, страдающих заболеваниями, представляющими опасность для окружающих. В 121-93,08% (р=0,6856) случаях выполняли собственно экспертизу: эксперты исключали предполагаемую патологию, устанавливали диагноз, вырабатывали рекомендации по лечению, прогнозировали выживание. Организатор, члены консилиума не отдавали себе отчёт, каким именно методом проводят консилиум. В большинстве случаев консилиум избегал выражать мнение количественно и/или организатор не хотел принимать единоличного решения, поэтому неосознанно чаще выбирался дельфийский способ, как удовлетворяющий все стороны («метод Дельфи») у 113-86,92% (р=0,4332). Метод средней оценки с учётом крайних значений («метод КВН») использован у 3-2,31% (р=0,0000) больных. Одинаково редко, по 1-0,77% (р=0,0000), востребованы «способ военного совета», «способ фигурного катания», «способ сценариев», «снежного кома», «мозговой штурм». Из 130-100,00% пациентов совпадение прогноза выживание/смерть выявлено у 63-48,46% (р=0,0002) пациентов, летальный исход прогнозирован у 33-25,38% пациентов, реальная летальность составила 16-12,31%. Все случаи совпадения прогноза с реальной летальностью связаны с использованием дельфийского метода. В ROC-анализе однократная коллективная экспертная оценка (консилиум) представила прогнозируемое отсутствие патологии 94,45%, специфичность 71,19%, обобщённую точность 70,77%, чувствительность 66,67%, прогнозируемое наличие патологии 19,05%, при AUCROC U-критерий 0,519, AUCROC методом трапеции 0,481. ROC-анализ является важным «инструментом» объективизации, количественной оценки характеристики того или иного теста, метода. Для модели, предсказывающей смерть пациента, корректна чувствительность более 95%, AUCROC более 0,9 [2]. Метод однократной коллективной  экспертной  оценки (консилиум) несовершенен, не существует научно обоснованной общепринятой классификации методов и технологий экспертных оценок и тем более однозначных рекомендаций по их применению [10]. Общие несовершенства связаны с необходимостью наличия экспертов по каждой из основных медицинских специальностей, учёта особенностей каждого субъекта в профессиональном, общественном, общекультурном, бытовом плане (единственный «говорун» нарушает продуктивную деятельность всей группы экспертов), субъективностью, отсутствием объективной количественной формы выражения, невозможностью полной формализации мнения экспертов [2]. Частные изъяны обусловлены особенностями конкретной экспертизы, вариантом принятия окончательного решения. «Способ военного совета» предполагает лишь консультацию организатора экспертизы   каждым из экспертов, не предоставляя участия в формировании окончательного решения [2]. «Способ КВН» имеет характерные ошибки крайних значений [2]. Крайние значения могут значительно отличаться от средних, затруднять выработку согласованного объективного заключения. «Способ фигурного катания» предполагает защиту от ошибки исключением крайних значений [2]. Однако после исключения вновь образуются крайние значения. Разброс баллов уменьшается, но не преодолевается окончательно. Нетрудно экстраполировать результаты попыток продолжения исключения вновь образовывающихся крайних значений: в итоге останется одно субъективное суждение группы экспертов или одного эксперта, что равнозначно, поскольку суждение единственное.  «Способ сценариев» гипотетичен по способности выделения всеобъемлющего комплекта сценариев. Непременным условием является стабилизация состояния объекта на срок экспертизы. Собственно выработка комплекта сценариев – предмет для теоретических изысканий. Попытки формализации, математизации неестественным образом внедряют количественные характеристики туда, где по существу их быть не может. Качественные показатели принимаются как доказательные в большинстве  экспертиз, попытки уточнения смысла употребляемых слов, в частности при помощи теории нечётких множеств, требуют создания чрезвычайно объёмных математических инструментов. Словесный уровень значится достаточным для выработки интересующих  организатора заключений экспертов [2]. «Способ сценариев» абсолютно неприменим к полиорганной недостаточности, которая не является состоянием, представляя собой процесс, опасный для жизни, нередко неуправляемый. «Мозговому штурму» свойственна чрезвычайно низкая эффективность, высокие финансовые расходы, длительность, трудоёмкость воплощения в жизнь. Классическим примером стала выработка решения по защите судна от торпеды: «Матросы выстраиваются по борту и дуют на торпеду, чтобы изменить её курс». Анализ предложения привёл к разработке дорогостоящих устройств, вызывающих волнение моря вокруг корабля, сбивающее с курса торпеду. Результаты многократных исследований неутешительны: из 100 предложений около 30 следует принять во внимание, в 5-6 идеях можно сформулировать решения, 2-3 идеи могут оказаться полезными [2]. Модный в 1990-е годы метод в настоящее время применяется крайне редко. «Способ снежного кома» не поддаётся формализации по количеству туров до окончательного состава группы, что ведёт к полной непредсказуемости величины временных, организационных, финансовых ресурсов экспертизы. Ярко выражена «клановость»: первые эксперты прежде всего рекомендуют коллег с близкими взглядами на решение проблемы, суждения других кланов не востребуются [2]. Решение проблемы осуществляется узким кругом единомышленников. «Способ Дельфи» в виде окончательного решения выдаёт среднюю арифметическую субъективных, неформализованных, необъективных суждений. Типичны крупные финансовые затраты: с середины 60-х годов до конца XX века в научных исследованиях дельфийский способ применён не менее 40 000 раз со средними расходами 5000 $ на одну экспертизу, с привлечением большого числа экспертов стоимость экспертизы возрастала до 130 000 $ [2]. Однако большинство экспертиз осуществляется именно этим методом. У  больных в критическом состоянии, с полиорганной недостаточностью краеугольным камнем является распределение ответственности за неблагоприятный исход лечения по рекомендациям, выработанным группой экспертов [2]. «Способ военного совета», «способ КВН», «способ фигурного катания», «способ сценариев», «способ снежного кома», «мозговой штурм» предполагают совещательный статус группы экспертов с принятием окончательного решения исключительно организатором, как правило, неспециалистом [2]. При совпадении решения организатора с точкой зрения группы экспертов либо эксперта ответственность за неблагоприятный исход частично делится между организатором и группой экспертов либо экспертом [2]. При несовпадении решения организатора с точкой зрения группы экспертов либо эксперта ответственность за неблагоприятный исход полностью ложится на организатора [2]. В дельфийском способе мнение группы экспертов имеет фактически статус окончательного  решения. Несовпадение  мнения  организатора, группы экспертов, всех экспертов между собой исключено, способ построен на поиске компромисса, удовлетворяющего всех участников экспертизы [2]. Организатор экспертизы и группа экспертов неосознанно склоняются к экспертизе именно этим методом. Тщательный выбор специалистов-экспертов не позволяет в точности клинической оценки превзойти 50% [11].

Заключение. При однократной коллективной экспертной оценке (консилиум) у 130-100,00% пациентов совпадение прогноза выживание/смерть выявлено у 63-48,46% (р=0,0002) пациентов, летальный исход прогнозирован у 33-25,38% пациентов, реальная летальность составила 16-12,31%. Возможность повышения точности прогноза повторными коллективными экспертными оценками (консилиум) у пациентов в критическом состоянии, с полиорганной недостаточностью требует дальнейших исследований.


Библиографическая ссылка

Кузнецов А.Б., Бояринов Г.А., Мухин А.С., Симутис И.С. ИНФОРМАТИВНОСТЬ МЕТОДА ОДНОКРАТНОЙ КОЛЛЕКТИВНОЙ ЭКСПЕРТНОЙ ОЦЕНКИ В ПРОГНОЗИРОВАНИИ РЕЗУЛЬТАТОВ ЛЕЧЕНИЯ ПАЦИЕНТА В КРИТИЧЕСКОМ СОСТОЯНИИ // Современные проблемы науки и образования. – 2017. – № 6.;
URL: http://science-education.ru/ru/article/view?id=27047 (дата обращения: 26.02.2020).


Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074