Сетевое издание
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

ВОЗМОЖНОСТИ МНОГОМЕРНОГО РИСК-АНАЛИЗА ПО ВЫЯВЛЕНИЮ В МАЛЫХ ВЫБОРКАХ ИЗМЕНЕНИЙ ОСНОВНЫХ ФАКТОРОВ РИСКА СЕРДЕЧНО-СОСУДИСТЫХ ЗАБОЛЕВАНИЙ

Яшин Д.А. 1 Тырсин А.Н. 2, 3
1 ФГБОУ ВО "Южно-Уральский государственный медицинский университет" Минздрава РФ
2 Научно-инженерный центр «Надежность и ресурс больших систем и машин» УрО РАН
3 ФГАОУ ВО Уральский федеральный университет имени первого Президента России Б.Н. Ельцина
Цель исследования – на основе риск-анализа многомерных стохастических систем разработать метод обнаружения различий в результатах эпидемиологических исследований и апробировать его на малых выборках при сравнении основных факторов риска сердечно-сосудистых заболеваний. Риск-анализ проводился по методике, разработанной проф. А.Н. Тырсиным. При моделировании определяется единая (по всем подсистемам с учетом их взаимозависимости) количественная оценка риска относительно оптимальных, пороговых и критических для системы значений через определение вероятности неблагоприятных исходов P(D) (показывает вероятность перехода в «риск-зону») и абсолютного значения риска r(X) (показывает, насколько «далеко заходит» в зону риска система). В качестве подсистем выбраны показатели, характеризующие основные факторы риска (индекс массы тела (ИМТ), систолическое артериальное давление (САД), уровень общего холестерина (ОХС)). Моделирование проводилось на основе данных обследования в 2010 г. мужской организованной популяции: 96 человек в возрасте 18–44 лет, 157 – в возрасте 45–64 лет. Показатели факторов риска в группе людей 45–64 лет достоверно выше, чем в группе людей 18–44 лет. Сгенерированы 40 малых случайных выборок (n=30) из каждой возрастной группы. 95%-ные доверительные интервалы для выборочных показателей САД, P(D), r(X) не пересекались. Разница выборочных средних между возрастными группами по ИМТ, САД, ОХС, P(D), r(X) – 7,12%, 7,58%, 7,73%, 37,13%, 81,0% соответственно. В нескольких случайных сравнениях между выборками зафиксировано достоверное различие в показателях риск-анализа при недостоверных отличиях по отдельным факторам риска. Риск-анализ позволяет более точно выявлять различия в результатах популяционных исследований в сравнении с одномерными (по одному показателю) методами определения значимости различий, особенно при малом числе наблюдений. Разработан метод анализа значимости различий показателей риск-анализа.
риск-анализ
вероятность
малые выборки
фактор риска
энтропия
1. Brody T. Clinical Trials. Study Design, Endpoints and Biomarkers, Drug Safety, and FDA and ICH Guidelines. Second Edition. Academic Press, 2016. 896 p.
2. Руженцова Т.А., Чухляев П.В., Хавкина Д.А., Гарбузов А.А., Плоскирева А.А., Осешнюк Р.А., Солуянова Т.Н., Шестакова И.В., Вафин А.Ю., Дмитрикова Е.П.,
Мустафаев Д.М., Домостроева Т.Н., Отпущенникова М.В., Покровский К.А., Русанова М.Г., Быстрицкий Д.А., Маркова Т.Н., Каплун Е.А., Петина Д.В., Костина Н.Е., Лесина В.С., Щербак С.Г., Агафьина А.С., Брук Ю.Ф., Бронов О.Ю., Шульц Е.И., Красавина Э.Н., Самсонов М.Ю., Зинченко А.В., Никольская М.В., Разживина В.А., Филон О.В. Эффективность и безопасность применения фавипиравира в комплексной терапии COVID-19 легкого и среднетяжелого течения // Инфекционные болезни: новости, мнения, обучение. 2020. Т. 9, № 4. С. 26–38. DOI: 10.33029/2305-3496-2020-9-4-26-38
3. Временные методические рекомендации. Профилактика, диагностика и лечение новой коронавирусной инфекции (COVID-19). Версия 9 (26.10.2020). Министерство здравоохранения РФ, 2020. 235 с.
4. 2021 ESC Guidelines on cardiovascular disease prevention in clinical practice. European Heart Journal. 2021. vol. 42, no 34. P. 3227-3337. DOI: 10.1093/eurheartj/ehab484.
5. Тырсин А.Н., Калев О.Ф., Яшин Д.А., Сурина А.А. Модель риска многомерной стохастической системы как инструментарий исследования состояния здоровья популяции // Системный анализ и управление в биомедицинских системах. 2018. Т. 17. № 4. С. 948-957.
6. Tyrsin A.N., Yashin D.A., Surina A.A. Probability-entropy model of multidimensional risk as a tool for population health research. Society 5.0: Cyberspace for Advanced Human-Centered Society. Studies in Systems, Decision and Control. Springer, Cham. 2021. vol. 333. P. 205-216 DOI: 10.1007/978-3-030-63563-3_16.
7. Профилактика хронических неинфекционных заболеваний. Рекомендации. М., 2013. 136 c.
8. Лемешко Б.Ю. Критерии проверки отклонения распределения от нормального закона: руководство по применению. Новосибирск: Изд-во НГТУ, 2014. 192 с.
9. Гланц С. Медико-биологическая статистика. Москва: Практика, 1999. 459 с.

Эпидемиологические исследования – основа для разработки и реализации лечебно-профилактических программ. Технология проведения таких исследований требует для получения статистически достоверных результатов набора достаточно большого количества наблюдений [1]. Это не всегда возможно, особенно при испытаниях лекарственных средств 1-й, 2-й и даже 3-й фазы, при предварительном анализе, при анализе редко встречающихся событий. В исключительных случаях приходится принимать решение о внедрении новых методов лечения даже на национальном уровне на основе результатов ограниченного количества наблюдений [2, 3]. Факторы риска (ФР) на начальных этапах развития сердечно-сосудистых и других основных неинфекционных заболеваний имеют небольшие отклонения от нормы, которые принципиально важно диагностировать на ранних стадиях для последующей эффективной профилактики. Поэтому проблема раннего обнаружения изменений и анализа данных эпидемиологических исследований на небольших и особенно малых выборках остается актуальной.

Наиболее часто оценка изменений производится по ключевым показателям в отдельности – одномерный анализ. Применяемые в медицине методы многофакторного анализа данных в основном не учитывают существующие взаимосвязи между всеми компонентами системы. При этом взаимодействие между ФР, например сердечно-сосудистых заболеваний (ССЗ), изменяет показатели ФР и существенно, даже не в арифметической прогрессии, увеличивает риски неблагоприятных последствий [4].

Представляет интерес применение метода риск-анализа многомерных стохастических систем для выявления различий и анализа результатов эпидемиологических исследований. Данный метод позволяет получить единую численно выраженную характеристику, включающую все ключевые параметры с учетом существующих взаимосвязей между ними.

Цель исследования – на основе риск-анализа многомерных стохастических систем разработать метод обнаружения различий в результатах эпидемиологических исследований и апробировать его на малых выборках при сравнении основных факторов риска сердечно-сосудистых заболеваний.

Материал и методы исследования

Риск-анализ многомерных стохастических систем представляет собой моделирование на основе анализа риска возникновения неблагоприятных последствий относительно оптимальных, пороговых и критических для системы значений. При таком подходе к моделированию риска профилактическую медико-биосоциальную систему представляют в виде случайного вектора со взаимно коррелированными компонентами , где X1,X2,...,Xm, например факторы риска ССЗ. Метод риск-анализа позволяет на популяционном уровне, а также при обследовании небольшой по объему выборки получить единую (по всем подсистемам с учетом их взаимозависимости) количественную оценку риска здоровью через определение:

– вероятности неблагоприятных исходов P(D) (относительный риск; показывает вероятность перехода пациентов в «риск-зону», например возникновения заболеваний);

– абсолютного значения риска r(X) (абсолютный риск; показывает, насколько «далеко заходит» в зону риска система).

Вероятность неблагоприятного исхода P(D) определяется следующим образом: , , где qj – наилучшее в смысле безопасности значение компоненты Xj, bj – пороговый уровень допустимых отклонений относительно значения . Более подробно методика и применение риск-анализа в профилактической медицине представлены в [5, 6].

Показатели P(D) и r(X) определяются относительно оптимальных, пороговых и критических уровней каждой подсистемы, в качестве которых в данной работе использовались показатели, характеризующие основные измеримые факторы риска ССЗ [7]: индекс массы тела (ИМТ) (кг/м²), уровень систолического артериального давления (САД) (мм рт. ст.), уровень общего холестерина (ОХС) (ммоль/л). Используемые в данной работе значения параметров qj (оптимальный), , (пограничные минимальные и максимальные), , (предельные минимальные и максимальные) представлены в таблице 1.

Таблица 1

Параметры риск-анализа для показателей, характеризующих основные факторы риска сердечно-сосудистых заболеваний

Показатель

qj

САД, мм рт.ст.

90

100

120

140

180

ИМТ, кг/м²

16

18,5

21,75

25

40

ОХС, ммоль/л

2,2

3,1

4,05

5,0

8,0

Примечание. Уровни: qj – оптимальный; , – пограничные; , – предельные.

Уровни для анализа (параметры qj (оптимальный), , (пограничные), , (предельные)) могут задаваться на основе экспертных оценок, литературных данных (национальных клинических рекомендаций), данных предварительного обследования, относительно математического ожидания и иным способом (более подробно о принципах выбора в [5, с. 951]).

Статистическая обработка проводилась с помощью пакета прикладных статистических программ Statistica. Статистическую значимость различий оценивали с помощью t-критерия, построения доверительных интервалов, а также с использованием непараметрического метода Манна–Уитни. Различия считались достоверными при уровне значимости p<0,05. Данные представлены в формате: M±m (σ), где M – средняя (арифметическая) величина, m – средняя ошибка средней (арифметической) величины, σ – среднее квадратическое (стандартное) отклонение. Форму распределения выборки проверяли на основе комплексной оценки с учетом ГОСТ Р ИСО 5479–2002 [8].

Экспериментальные данные для моделирования получены в результате комплексного сплошного эпидемиологического обследования в 2010 г. мужской организованной популяции работников одного из металлургических предприятий г. Челябинска. Работа проводилась в рамках региональной программы интегрированной профилактики неинфекционных заболеваний CINDI (Countrywide Integrated Noncommunicable Intervention), в рамках которой в период с 1993 по 2015 гг. в данной популяции осуществлялись проспективные программы по выявлению, оценке, контролю и управлению ФР ССЗ. В анализ включены данные обследования в 2010 г. 253 мужчин: 96 человек в возрасте 18–44 года, средний возраст (M±m (σ)) – 33,47±1,1 (6,04) года; 157 человек в возрасте 45–64 года, средний возраст – 53,69±0,38 (4,78) года. Для риск-анализа выбраны показатели, характеризующие основные объективно измеримые ФР ССЗ [4, 7]: ИМТ, САД, ОХС. АД измерялось на правой руке в положении пациента сидя дважды после пятиминутного отдыха в соответствии с рекомендациями протокола CINDI и рекомендациями по диагностике и лечению артериальной гипертензии 2009 г. Уровень АД оценивался по среднему значению из двух измерений.

Результаты исследования и их обсуждение

Исходное предположение – многомерный риск-анализ обладает лучшей способностью в обнаружении реально существующих различий между системами в сравнении с одномерными (по одному показателю в отдельности) методами анализа за счет «аккумуляции» различий одновременно по всем параметрам (подсистемам) с учетом взаимосвязей между ними. Для подтверждения этого предположения мы взяли две исходные группы мужчин 18–44 лет (группа 1) и 45–64 лет (группа 2), у которых реально существуют статистически достоверные существенные различия в средних показателях ИМТ, САД, ОХС (табл. 2), что закономерно, поскольку возраст является «мощным» ФР ССЗ и по мере его увеличения возрастают средние уровни ФР [4, с. 3243]. Мы сгенерировали случайную выборку объемом n=30 из каждой исходной популяции, и различия между показателями ФР вследствие сокращения количества наблюдений стали статистически не значимыми (табл. 2).

Таблица 2

Сравнение показателей, характеризующих основные факторы риска, в исходных популяциях и в малых выборках из них (n=30, случайный отбор) между возрастными группами 18–44 года и 45–64 года

Группа

Возрастная группа, n

ИМТ, кг/м² M±m (σ)

САД, мм рт. ст.

M±m (σ)

ОХС, ммоль/л M±m (σ)

P(D),

%

r(X)

 

Исходная

18–44 года (1)

n=96

24,63±0,37 (3,6)

130,69±1,39

(13,6)

4,03±0,09

(0,87)

65,2

1,43

45–64 года (2)

n=157

26,32±0,29* (3,64)

140,31±1,52*

(19,1)

4,3±0,07*** (0,92)

88,1

2,53

Δ (2) / (1),%

6,86

7,36

6,70

35,12

76,92

Малая выборка

18–44 года (1)

n=30

24,91±0,69 (3,77)

134,1±2,56 (14,03)

4,04±0,13 (0,74)

71,4

1,58

45–64 года (2)

n=30

26,11±0,61 (3,36)

136,73±3,11 (17,06)

4,36±0,18 (0,97)

88,2

2,44

Δ (2) / (1),%

4,82

1,96

7,92

23,53

54,18

Примечание: 1.* – p<0,001 между возрастными группами 18–44 года (1) и 45–64 года (2) соответствующего показателя; *** – p<0,05; для показателя r(X) и P(D) такой анализ не проводился; 2. Δ (2) / (1), % – разница между показателями возрастной группы 45–64 года и 18–44 года в процентах (100% – показатель группы 18–44 года); 3. M – средняя (арифметическая) величина, m – средняя ошибка средней величины; P(D) – относительный риск, r(X) – абсолютное значение риска.

Однако такие отличия могли быть обусловлены особенностями случайным образом сгенерированной единичной выборки из исходных популяций. Чтобы выяснить, действительно ли данные риск-анализа на малых выборках достоверно обнаруживают реально существующие в генеральной (исходной) совокупности различия, мы сгенерировали 2 серии (одна для возрастной группы 18–44 года и вторая – для возрастной группы 45–64 года) из 40 случайных выборок малого объема (n=30). В таблице 3 представлены для каждой серии выборок средние (арифметические) значения (M), стандартное (среднеквадратическое) отклонение σ и 95%-ные доверительные интервалы. Поскольку мы приняли исходные популяции за генеральную совокупность, то стандартное отклонение всех возможных средних по выборкам данного объема будет являться стандартной ошибкой среднего [9, с. 42] (считаем количество выборок в 40 достаточным). 95%-ные доверительные интервалы построены посредством отсечения крайних вариант и по 2-кратному отклонению σ от среднего M.

Таблица 3

Сравнение средних уровней индекса массы тела, систолического артериального давления, уровня общего холестерина, относительного риска P(D), абсолютного риска r(X) между возрастными группами 18–44 года и 45–64 года в 40 малых выборках из каждой исходной популяции (n=30 в каждой случайной выборке)

Показатель

ИМТ

САД

ОХС

P(D)

r(X)

(1)

(2)

(1)

(2)

(1)

(2)

(1)

(2)

(1)

(2)

M

24,73

26,49

130,75

140,66*

4,01

4,32

0,649

0,89*

1,431

2,590*

σ

0,58

0,51

2,16

2,77

0,11

0,13

0,07

0,033

0,28

0,21

95%-ный интервал (M±2 σ)

23,58–25,89

25,48–27,51

126,42–135,07

135,12–146,21

3,80–4,23

4,05–4,59

0,510–0,790

0,825–0,956

0,869–1,993

2,170–3,010

95%-ный интервал (без крайних вариант)

23,59–25,67

25,41–27,38

127,67–134,77

136,73–145,33

3,87–4,19

4,08–4,60

0,532– 0,764

0,822–0,949

0,975–1,941

2,122–2,909

Разница в%

7,12

7,58

7,73

37,13

81,0

Примечание: M – средняя (арифметическая) величина 40 выборочных средних; * – p<0,05 между средними величинами M разных возрастных групп (по доверительным интервалам); Разница в % – разница между средними величинами M соответствующих показателей разных возрастных групп в % (100% – группа 18–44 года); P(D) – относительный риск, r(X) – абсолютное значение риска; ИМТ – индекс массы тела, САД – систолическое артериальное давление, ОХС – уровень общего холестерина; (1) – возрастная группа 18–44 года; (2) – 45–64 года.

Существенная разница в показателях относительного P(D) и абсолютного r(X) риска статистически достоверна – доверительные интервалы не пересекаются и достаточно далеко удалены друг от друга. Доверительные интервалы выборочных средних ИМТ и ОХС пересекаются. Доверительные интервалы САД отстоят друг от друга недалеко, а по интервалу M±2 σ практически пересекаются. Полагаем, что если бы исходные популяции были бы с меньшей разницей по САД, то при риск-анализе малых выборок было бы обнаружено достоверное отличие при статистически не отличающихся значениях ФР. Следует отметить, что разница (в процентах) между средними значениями средних выборочных величин ФР разных возрастных групп составляет около 7,5% (строка «Разница в %» в таблице 3), в то время как между значениями относительного риска P(D) – 37,13% (в пять раз больше, чем по отдельным ФР), абсолютного риска r(X) – 81,0% (более чем в 10 раз больше, чем по отдельным ФР). Аналогичная ситуация зафиксирована и в исходных популяциях (табл. 2). Таким образом, показатели риск-анализа (относительный риск P(D) и абсолютный риск r(X)) обладают большей способностью выявлять реально существующие различия в сравнении с одномерными (по одному показателю) методами, в том числе и при малом количестве наблюдений.

В некоторых единичных выборках показатели ФР разных групп достоверно не будут отличаться, а данные риск-анализа обнаружат в исходной группе это существующее отличие. Показатель P(D) можно выразить в процентах как вероятность неблагоприятного исхода («попадания» в риск-зону возникновения ССЗ), рассчитать среднюю ошибку mp для средней относительной величины P и по t-критерию определить достоверность различий относительного риска P(D). В таблице 4 представлены результаты нескольких сравнений показателей в малых выборках (случайная комбинация единичных выборок разных возрастных групп с n=30) со значением t сравнения P(D) между разными возрастными группами около 2.

Таблица 4

Сравнение показателей риск-анализа и основных факторов риска между различными малыми выборками из исходных популяций (n=30, случайный отбор) в возрастных группах 18–44 года и 45–64 года

Возрастная группа

ИМТ, кг/м² M±m (σ)

САД, мм рт.ст. M±m (σ)

ОХС, ммоль/л M±m (σ)

P(D),

P±mp

r(X)

1.

18–44 года (1)

 

24,89±0,57 (3,11)

133,67±2,92 (15,99)

4,03±0,15 (0,82)

69,6±8,4

1,65

45–64 года (2)

 

26,51±0,62 (3,39)

137,07±3,47 (18,99)

4,31±0,19 (1,05)

90,3±5,4***

2,52

Δ (2) / (1),%

6,5

2,5

6,9

29,7 (t=2,07)

52,7

2.

18–44 года (1)

 

24,04±0,52

(2,86)

130,47±2,23

(12,19)

3,91±0,13

(0,72)

58,6±8,99

0,97

45–64 года (2)

 

26,93±0,85**

(4,66)

140,5±4,4

(24,12)

4,24±0,17

(0,96)

82,2±6,98***

2,47

Δ (2) / (1),%

12,0

7,7

8,4

40,3 (t=2,07)

153,3

3.

18–44 года (1)

25,31±0,73

(4,01)

132,73±3,06

(16,75)

3,91±0,12

(0,68)

67,4±8,56

1,50

45–64 года (2)

26,31±0,54

(2,95)

140,1±3,73

(20,45)

4,24±0,18

(0,96)

88,9±5,74***

2,53

Δ (2) / (1),%

4,0

5,6

8,4

31,9 (t=2,09)

68,7

4.

18–44 года (1)

24,72±0,76

(4,22)

131,26±2,73

(15,21)

4,12±0,21

(1,19)

70,7±8,31

1,73

45–64 года (2)

26,37±0,69

(3,78)

144,47±4,43***

(24,29)

4,46±0,18

(1,0)

91,2±5,17***

2,78

Δ (2) / (1),%

6,7

10,1

8,3

29,0 (t=2,09)

60,7

5.

18–44 года (1)

25,6±0,61

(3,35)

128,3±2,29

(12,53)

4,01±0,14

(0,76)

72,1±8,19

1,43

45–64 года (2)

26,66±0,55

(3,0)

138,73±3,11**

(17,03)

4,37±0,17

(0,96)

92,2±4,9***

2,7

Δ (2) / (1),%

4,1

8,1

9,0

27,9 (t=2,11)

88,8

Примечание: 1.* – p<0,001 между возрастными группами 45–64 года (2) и 18–44 года (1) соответствующего показателя; *** – p<0,05; для показателя r(X) такой анализ не проводился; 2. Δ (2) / (1), % – разница между показателями возрастной группы 45–64 года и 18–44 года в процентах (100% – показатель группы 18–44 года); 3. M – средняя (арифметическая) величина, m – средняя ошибка средней величины; P – относительная величина; mp – средняя ошибка относительной величины; P(D) – относительный риск, r(X) – абсолютное значение риска; t – доверительный коэффициент.

В сравнениях 1 и 3 обнаружены достоверные отличия в показателе P(D) при отсутствии таковых при сравнении по отдельным ФР. Следует отметить, что такое сравнение может приводить к большой частоте ошибки второго рода (β), т.е. не будут найдены различия там, где они существуют, поскольку P(D) не просто доля (%) по какому-то одному параметру системы, а «кумулятивный» показатель сразу по нескольким взаимодействующим подсистемам. Необходима дальнейшая разработка математического аппарата адекватного статистически достоверного сравнения показателей риск-анализа. Тем не менее, даже при таком «грубом» статистическом подходе многомерный риск-анализ позволяет выявить различия там, где их не удается обнаружить при сравнении показателей по отдельным подсистемам.

Применение показателя абсолютного риска r(X) для обнаружения отличий может быть более точным, поскольку разница r(X) между группами намного больше (в 2–3 и более раз), чем P(D). Если есть предварительные репрезентативные данные о σ (стандартном отклонении) выборочных средних для данного объема выборки из генеральной совокупности (как указано выше – σ в данном случае будет m конкретной выборки), то можно сравнить популяции и по показателю r(X) – в этом случае вероятность обнаружения различий будет выше, чем по P(D). Нам известны стандартные отклонения серий из 40 выборок (посчитаем данное количество достаточным), тогда сравнение малых выборок из таблицы 2 позволяет выявить реально существующее различие в исходных популяциях по показателю r(X) (2,44±0,21 для группы 45–64 года; 1,58±0,28 для группы 18–44 года при p<0,05 по t-критерию). По отдельным ФР это различие не определяется.

Полагаем, что метод риск-анализа многомерных стохастических систем имеет универсальный характер и может использоваться для выявления изменений не только в показателях ФР при популяционных обследованиях, но и в целом для анализа результатов эпидемиологических исследований.

Выводы

1. В двух сериях из 40 малых (n=30) случайных выборок из исходных возрастных групп 18–44 года и 45–64 года (в этих группах зафиксированы статистически значимые различия анализируемых параметров) разница средних арифметических величин по показателям индекса массы тела, систолического артериального давления, уровня общего холестерина, относительного риска P(D), абсолютного риска r(X) составила 7,12%, 7,58%, 7,73%, 37,13%, 81,0% соответственно. 95%-ные доверительные интервалы для выборочных показателей систолического артериального давления, относительного риска P(D), абсолютного риска r(X) не пересекались; для показателей индекса массы тела, уровня общего холестерина – пересекались.

2. Метод риск-анализа многомерных стохастических систем позволяет более точно выявлять различия в результатах популяционных исследований основных факторов риска сердечно-сосудистых заболеваний в сравнении с одномерными (по одному показателю) методами определения значимости различий, особенно при малом числе наблюдений. Предложенный метод апробирован на малых выборках при сравнении основных факторов риска сердечно-сосудистых заболеваний.

3. Разработан и применен в профилактической медицине новый подход к оценке значимости различий показателей риск-анализа – относительного P(D) и абсолютного r(X) риска.

Работа выполнена при поддержке РФФИ (грант № 20-51-00001).


Библиографическая ссылка

Яшин Д.А., Тырсин А.Н. ВОЗМОЖНОСТИ МНОГОМЕРНОГО РИСК-АНАЛИЗА ПО ВЫЯВЛЕНИЮ В МАЛЫХ ВЫБОРКАХ ИЗМЕНЕНИЙ ОСНОВНЫХ ФАКТОРОВ РИСКА СЕРДЕЧНО-СОСУДИСТЫХ ЗАБОЛЕВАНИЙ // Современные проблемы науки и образования. – 2022. – № 2. ;
URL: https://science-education.ru/ru/article/view?id=31572 (дата обращения: 20.04.2024).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1,674