КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 18-11-00044

НазваниеРазработка, реализация и исследование эффективных параллельных вычислительных методов для решения уравнений гидродинамики с использованием технологии вложенных сеток на массивно-параллельных суперЭВМ

РуководительКуликов Игорь Михайлович, Доктор физико-математических наук

Организация финансирования, регион Федеральное государственное бюджетное учреждение науки Институт вычислительной математики и математической геофизики Сибирского отделения Российской академии наук, Новосибирская обл

Период выполнения при поддержке РНФ 2018 г. - 2020 г.  , продлен на 2021 - 2022. Карточка проекта продления (ссылка)

Конкурс№28 - Конкурс 2018 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами».

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-218 - Математическое моделирование физических явлений

Ключевые словаМатематическое моделирование, суперкомпьютерные вычисления, гиперболические уравнения, численные методы, вычислительная гидродинамика.

Код ГРНТИ28.17.19


СтатусУспешно завершен


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Представлен проект разработки, реализации и исследования суперкомпьютерного программного комплекса HydroBox3D для моделирования сложных гидродинамических течений с использованием технологии вложенных сеток. В рамках проекта будет создано ядро вычислительной гидродинамики, которое в дальнейшем позволит перейти к передовым цифровым производственным технологиям – проектированию и моделированию гидродинамических течений в различных областях знаний на современных архитектурах суперкомпьютеров. С помощью разработанного вычислительного ядра будут исследованы задачи взрыва сверхновой типа Ia на основе сценария слияния двух вырожденных карликов в трехмерной постановке с учетом химокинетических процессов в гидродинамической модели, образование и динамика внегалактических струй в трехмерной постановке в модели релятивистской и магнитной релятивистской гидродинамики. Научная актуальность проекта связана с невозможностью постановки полномасштабных астрофизических экспериментов, большого соотношения масштабов моделируемых объектов и сложностью численного решения подобных задач. Научная новизна состоит в создании новой универсальной эффективной параллельной вычислительной технологии решения гидродинамических уравнений. Проект направлен на импортозамещение подобных инициатив, например, как проект «ExaHyPE - An Exascale Hyperbolic PDE Engine».

Ожидаемые результаты
Главным ожидаемым результатом будет новая эффективная параллельная вычислительная технология мирового уровня для численного решения уравнений гидродинамики c использованием технологии вложенных сеток на массивно-параллельных суперЭВМ, реализованная в виде свободно распространяемого программного комплекса HydroBox3D. Такая технология может быть использована для моделирования различных гидродинамических течений в широком диапазоне масштабов. По полученным результатам планируется подготовить шесть публикаций в журналах, индексируемых РИНЦ (2018 год – 2 статьи, 2019 год – 2 статьи, 2020 год – 2 статьи), восемь публикаций в журналах, индексируемых «Web of Science» и Scopus (2018 год – 1 статья, 2019 год – 3 статьи, 2020 год – 4 статьи) и одну монографию по результатам работ по проекту (в 2020 году).


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2018 году
Краткая аннотация работ и полученных результатов в 2018 году: В рамках работы по проекту в 2018 году разработана вычислительная модель процесса взрыва сверхновой типа Ia на массивно-параллельных суперкомпьютерах с использованием технологии адаптивных вложенных сеток. Для этого была использована гидродинамическая модель, замкнутая звездным уравнением состояния, учитывающим давление излучения, давление невырожденного горячего газа и давление вырожденного газа в релятивистском и нерелятивистском режимах. Переход между которыми выполняется при достижении критического значения плотности. Для источника взрыва сверхновой типа Ia была использована реакция ядерного горения углерода посредством бомбардировки атома углерода другим атомом углерода с выходом протона и атома натрия с энергией реакции 2,24 МэВ. Для восстановления температуры при выделении энергии используется метод Ньютона при решении нелинейного уравнения. Для дискретизации расчетной области используются многоуровневые вложенные сетки: на первом уровне ячейка базовой регулярной расчетной сетки представляется кубической подсеткой с числом ячеек по одному направлению равной степени двойки, на втором уровне вложенности ячейка представляется собой отдельную регулярную сетку, вычисления на которой осуществляются в виде отдельной задачи спутниковых вычислений. Разработан новый численный метод, основанный на комбинации метода Годунова, метода разделения операторов и схемы Русанова. Для решения задачи Римана используется компактная схема кусочно-параболического представления решения по каждому направлению. Для решения уравнения Пуассона используется комбинация метода на основе быстрого преобразования Фурье (для корневой сетки и для спутниковых вычислений) и метода последовательной верхней релаксации (для вложенной сетки первого уровня). Параллельная реализация основана на идее распределенных вычислений, где на архитектуре с общей памятью происходит счет гидродинамической эволюции белых карликов (базовые вычисления – первый уровень вложенных сеток), при достижении критических значений температуры и плотности происходит запуск новой задачи на архитектуре с распределенной памятью, в которой моделируется развитие гидродинамической турбулентности, приводящей к сверхзвуковому ядерному горению углерода (спутниковые вычисления – второй уровень вложенных сеток). Для реализации используется стек технологий параллельных вычислений FFTW/MPI/OpenMP/CUDA/AVX-512. C помощью вычислительных экспериментов на суперЭВМ исследованы два сценария взрыва сверхновых типа Ia, в основе которых взрыв на периферии звезды. Развернутая аннотация работ и полученных результатов в 2018 году: Построена математическая модель, основанная на системе уравнений гравитационной гидродинамики, записанной для законов сохранения масс, момента импульса и полной энергии. Уравнения замкнуты звездным уравнением состояния. Уравнение Пуассона используется для определения гравитационного потенциала. Начальные условия задаются из гидростатически равновесной конфигурации газа как решение уравнения Эмдена. Звездное уравнение состояния состоит из давления невырожденного горячего газа, давления за счет излучения и вырожденного газа (Timmes & Arnett, ApJS, 1999). В случае вырожденного газа рассматривается релятивистский и нерелятивистский режимы. Переход между которыми выполняется при достижении критического значения плотности. В математическую модель включено ядерное горение углерода, описываемое в виде бомбардировки атома углерода другим атомом углерода с выходом протона и атома натрия. Эта ядерная реакция наиболее быстропротекающая и энергоэффективная, поэтому она используется в качестве основного источника энергии при взрыве сверхновой звезды (Spillane, PhysRevLett, 2007). Источник тепла задается в виде правой части уравнений для полной энергии. Для ядерного горения углерода выписана аналитическая зависимость изменения концентрации углерода и натрия с энергией реакции 2,24 МэВ. Решена проблема вычисления изменения температуры вследствие ядерного горения углерода. Для восстановления температуры численно решается уравнение четвертого порядка методом Ньютона. Для решения методом Ньютона сформулировано хорошее начальное приближение для температуры на основе линеаризации уравнения состояния. Организация процесса моделирования основана на идее распределенных вычислений, где на архитектуре с общей памятью происходит расчет гидродинамической эволюции белых карликов (базовые вычисления – первый уровень вложенных сеток). Адаптивные вложенные сетки используются для дискретизации расчетной области в силу разномасштабности процесса взрыва сверхновой в части базовых вычислений. Для этого в расчетной области строится регулярная корневая сетка, каждая ячейка которой является вложенной сеткой. Такой способ дискретизации позволяется смоделировать большой разброс масштабов (на современных суперЭВМ до шести порядков относительно расчетной области). При достижении критических значений температуры и плотности происходит запуск новой задачи на архитектуре с распределенной памятью, в которой моделируется развитие гидродинамической турбулентности, приводящей к сверхзвуковому ядерному горению углерода (спутниковые вычисления – второй уровень вложенных сеток). Это сделано для достижения большей адекватности модели ядерного горения углерода. В этом случае эффективное разрешение может достигать девяти – десяти порядков относительно расчетной области. Разработан новый численный метод решения уравнений гравитационной гидродинамики, основанный на комбинации метода Годунова для разрешения законов сохранения на основе вычисления потоков через границы, метода разделения операторов для конструирования инвариантной относительного поворота схемы для аппроксимации адвективного члена и метода Русанова для решения задач Римана для определения потоков с возможностью векторизации вычислений. Для решения задачи Римана используется компактная схема кусочно-параболического представления решения по каждому направлению. Для решения уравнения Пуассона используется комбинация метода на основе быстрого преобразования Фурье (для корневой сетки и для спутниковых вычислений) и метода последовательной верхней релаксации (для вложенных сеток). Проведена детальная верификация разработанного численного метода на тестах Годунова, на задачах о развитии неустойчивостей Кельвина-Гельмгольца и Релея-Тейлора, задаче Седова о точечном взрыве, коллапсе молекулярного облака и коллапсе Эврарда. Базовые вычисления реализованы на архитектуре с общей памятью на адаптивных вложенных сетках и распределяются с помощью технологии OpenMP в рамках одного процесса. В вычислительных экспериментах был использован узел с технологией Intel Optane, позволяющий использовать 700 ГБайт оперативной памяти для одного процесса. Спутниковые вычисления реализованы на архитектуре с распределенной памятью, где в основе программной реализации лежит одномерная геометрическая декомпозиция регулярной расчетной области средствами MPI с последующей декомпозицией вычислений по потокам средствами OpenMP в рамках одного процесса или CUDA в случае использования графических ускорителей. Векторизация вычислений при использовании ускорителей Intel Xeon Phi KNL разработана с помощью технологии AVX-512. Для решения уравнения Пуассона используется библиотека FFTW. С помощью вычислительных экспериментов была подтверждена гипотеза о динамике остатков (углерод и натрий). Были обоснованы два сценария взрыва – сценарий на основе слияния двух белых карликов и сценарий на основе турбулизации центра отдельного белого карлика. В основе обоих сценариев лежит достижение критических температур и плотностей на периферии звезды с последующим ядерным горением углерода – источником взрыва звезды как сверхновая типа Ia. Разработано высокоуровневое средство визуализации результатов вычислительных экспериментов, в основе которого лежит технология WebGL.

 

Публикации

1. Куликов И.М. The numerical modeling of the collapse of molecular cloud on adaptive nested mesh Journal of Physics: Conference Series, V. 1103. – Article Number 012011. (год публикации - 2018) https://doi.org/10.1088/1742-6596/1103/1/012011

2. Куликов И.М., Черных И.Г. GooPhi: новый код для моделирования астрофизических течений на суперЭВМ, оснащенных ускорителями Intel Xeon Phi Проблемы информатики, № 2. – С.52-74. (год публикации - 2018)

3. Куликов И.М., Черных И.Г., Вшивков В.А., Пригарин В.Г., Миронов В.А., Тутуков А.В. The Parallel Hydrodynamic Code for Astrophysical Flow with Stellar Equations of State Communications in Computer and Information Science, - (год публикации - 2019) https://doi.org/10.1007/978-3-030-05807-4_35

4. Куликов И.М., Черных И.Г., Тутуков А.В. A New Parallel Intel Xeon Phi Hydrodynamics Code for Massively Parallel Supercomputers Lobachevskii Journal of Mathematics, V. 39, I. 9. – P. 1207-1216. (год публикации - 2018) https://doi.org/10.1134/S1995080218090135

5. Протасов В.А., Ульяничев И.С., Губайдуллин И.М. A new high-order accuracy numerical method for numerical modeling of supernovae explosions Journal of Physics: Conference Series, V. 1103. – Article Number 012006. (год публикации - 2018) https://doi.org/10.1088/1742-6596/1103/1/012006


Аннотация результатов, полученных в 2019 году
Краткая аннотация В рамках работы по проекту в 2019 году разработаны математические модели: внегалактических струй, для описания которых используются уравнения специальной релятивистской гидродинамики, дополненные ядерными и химическими реакциями ионизации водорода; взрыва сверхновых типа Ia, для описания которых используется модель гравитационной гидродинамики со звездным уравнением состояния, которое усложнено по сравнению с 2018 годом цепочкой ядерных реакций до железа и никеля; взрыва сверхновых на основе коллапса ядра, для описания коллапса которых используется модель гравитационной гидродинамики со звездным уравнением состояния при учете только вырожденного газа, для описания процесса взрыва используется модель идеальной и релятивистской гидродинамики. Разработаны, реализованы и подробно верифицированы численные методы решения уравнений специальной релятивистской гидродинамики на основе схемы Рое и схемы Русанова с использованием кусочно-параболического и кусочно-линейного представления решения. Дополнительно был разработан метод типа HLLEM/HLLI, в котором происходит достройка кусочно-линейного решения в рамках решения задачи Римана, что позволяет значительно уменьшить диссипацию на разрывах и обеспечить минимальные межпроцессные коммуникации при реализации распределенных вложенных сеток. Разработана параллельная реализация технологии вложенных сеток для архитектур с распределенной памятью. Для балансировки загрузки используется одномерная декомпозиция расчетной области на основе веса слайсов корневой сетки. Исследована эволюция внегалактического джета при прохождении через плотную среду галактики. Смоделированы все основные компоненты джета, в том числе и эффект «обратного течения». Экспериментально обоснована нестандартность взрыва сверхновой типа Ia за счет различного режима горения углерода. Для обеих задач спутниковые вычисления использовались для моделирования ядерных и химических реакций в ходе развития гидродинамической турбулентности. Исследована задача коллапса ядра и последующая гидродинамика взрыва сверхновой. Последняя задача исследовалась в режимах спутниковых и базовых вычислений. Полная аннотация Для описания эволюции внегалактических струй используются модель специальной релятивистской гидродинамики, дополненная ядерными и химическими реакциями ионизации водорода: ионизация космическими лучами, столкновительная ионизация, излучательная рекомбинация и электрон-ионная рекомбинация на частицах пыли. Для описания эволюции белых карликов, коллапса ядра массивных звезд и взрыва сверхновых используется звездное уравнение состояния. Звездное уравнение состояния включает давление излучения, вырожденный газ и идеальный газ при низких температурах и плотностях. Для описания ядерного горения углерода построена сеть реакций альфа-процесса до железа и никеля. Для используемой сети ядерных реакций построено аналитическое решение энерговыделения в соответствии со скоростью реакций из работы (Steinmetz, A&A, 1992). Для записи математических моделей используется запись переопределенной системы уравнений гидродинамики и специальной релятивистской гидродинамики в консервативной дивергентной форме. Основная часть уравнений сформулирована для законов сохранения массы, момента импульса и полной механической энергии. Дополнена система уравнением для плотности энтропии, которая записывается также в дивергентной форме. Это позволяет эффективно использовать векторные вычисления средствами AVX-512 при конструировании численного метода. Разработан новый численный метод решения уравнений специальной релятивистской гидродинамики. При использовании схемы Рое для решения задачи Римана в специальной релятивистской гидродинамике была выписана одномерная система уравнений для физических переменных с ненулевыми тангенциальными компонентами скорости (Pons et al., JFluidMech, 2000). Затем происходит спектральная декомпозиция якобиана на левые и правые собственные вектора и диагональную матрицу со скоростями соответствующих волн на диагонали (Lamberts et al., A&A, 2013). При использовании подхода, разработанного в рамках проекта в 2018 году достаточно использования спектра якобиана. Начальные условия для задач Римана формулируются с помощью кусочно-параболической или кусочно-линейной реконструкции. Дополнительно был разработан метод типа HLLEM/HLLI, в котором происходит достройка кусочно-линейного решения в рамках решения задачи Римана при кусочно-постоянном представлении решения. Численный метод решения уравнений специальной релятивистской гидродинамики был верифицирован на задаче о распаде произвольного разрыва, допускающей аналитическое решение. Ударная релятивистская волна размазывается всего на две ячейки, что соответствует качеству кусочно-параболических методов, волна разрежения и контактный разрыв воспроизведены корректно. Также была рассмотрена модельная задача центрального столкновения газовых сфер в трехмерной постановке в модели специальной релятивистской гидродинамики с фактором-Лоренца 10^4 и задача Седова в релятивистском режиме. Была разработана параллельная реализация вложенных сеток для архитектур с распределенной памятью. В основу параллельной реализации был положен тот факт, что в настоящее время узлы суперкомпьютеров содержат достаточно большое число ядер. Так, например, узел суперкомпьютера Summit содержит два 22-ядерных процессора IBM Power 9 и 6 графических ускорителя NVIDIA Tesla V100, что соответствует 176 процессорным потокам и 5376 графическим потокам. Очевиден тренд на увеличение доли вычислений над общим полем памяти, при относительно небольшом числе доступных узлов. В связи с этим распределение вычислений на вложенных сетках между узлами происходит с использованием одномерной декомпозиции средствами MPI. Это дает преимущество, например, над трехмерным распределением с помощью кривой Гильберта, так обмен при одномерной декомпозиции происходит только между соседними узлами. Балансировка загрузки между процессами основана на равномерном распределении весов слайсов корневой сетки. На уровне расчета корневой сетки на каждом процессе используется технология OpenMP прагма «taskloop», которая формирует расчет каждой вложенной сетки в виде отдельной задачи, каждой из которых в дальнейшем будет выделен пул потоков. Для каждой вложенной сетки также происходит распределение итераций цикла по потокам с помощью прагмы «parallel for». Такую сетку затем выполняет выделенный ранее пул потоков. Такое двухуровневое распределение работ позволяет более равномерно задействовать все доступные потоки узла кластера. Проведено исследование влияния точки подрыва белого карлика при взрыве сверхновых звезд типа Ia. Для моделирования точек подрыва мы рассматриваем развитие турбулентности в ходе ядерного горения углерода в кубической области со стороной равной размеру ячейки базовых вычислений (характерный размер 10 км), заполненную вырожденным газом. Экспериментально обоснована нестандартность взрыва сверхновой типа Ia за счет различного режима горения углерода. В ходе вычислительных экспериментов по исследованию эволюции галактической струи было показано, что вперед уходит ударная волна, скорость распространения которой соответствует скорости света. За ударным фронтом идет область оболочки, разделяющая ударный фронт и горячую область, где достигается максимальная температура. Внутренняя часть течения – кокон – ограничена контактной поверхностью, а кокон в свою очередь содержит струю. На внешней стороне кокона ближе к основанию распространяются течения типа обратного потока, которые в свою очередь взаимодействуют с потоком струи. В результате развивается неустойчивость типа Кельвина-Гельмгольца. Задачу взрыва сверхновой типа II мы рассматривали в виде последовательности коллапса ядра с вычислением выделенной внутренней энергии, затем точечный взрыв звезды с полученной внутренней энергией в результате коллапса ядра и дальнейшую динамику оболочки. Для моделирования коллапса ядра использовалась адиабатическая адаптация модели s15s7b2 (Woosley, ApJS, 1995). В результате моделирования коллапса ядра было получено 15-кратное увеличение внутренней энергии, что соответствовало ~ 1.1 * 10^51 Эрг – характерной энергии взрыва сверхновых звезд подобной массы.

 

Публикации

1. Акимова Е.Н., Мисилов В.Е., Куликов И.М., Черных И.Г. Hydrodynamical Simulation of Astrophysical Flows: High-Performance GPU Implementation Journal of Physics: Conference Series, Journal of Physics: Conference Series. – 2019. – V. 1336. – Article Number 012014. (год публикации - 2019) https://doi.org/10.1088/1742-6596/1336/1/012014

2. Куликов И.М., Черных И.Г., Берендеев Е.А., Караваев Д.А., Протасов В.А. Relativistic Hydrodynamics Modeling by Means Adaptive Nested Mesh on IBM Power 9 Communications in Computer and Information Science, Communications in Computer and Information Science. – 2019. – V. 1129. – P. 1-13. (год публикации - 2019) https://doi.org/10.1007/978-3-030-36592-9_29

3. Куликов И.М., Черных И.Г., Берендеев Е.А., Протасов В.А., Серенко А.А., Пригарин В.Г., Ульяничев И.С., Караваев Д.А., Воробьев Э.И., Тутуков А.В. Numerical Modeling of Hydrodynamic Turbulence with Self-gravity on Intel Xeon Phi KNL Communications in Computer and Information Science, Communications in Computer and Information Science. – 2019. – V. 1063. – P. 309-322. (год публикации - 2019) https://doi.org/10.1007/978-3-030-28163-2_22

4. Куликов И.М., Черных И.Г., Караваев Д.А., Берендеев Е.А., Протасов В.А. HydroBox3D: Parallel & Distributed Hydrodynamical Code for Numerical Simulation of Supernova Ia Lecture Notes in Computer Science, Lecture Notes in Computer Science. – 2019. – V. 11657. – P. 187-198. (год публикации - 2019) https://doi.org/10.1007/978-3-030-25636-4_15

5. Куликов И.М., Черных И.Г., Караваев Д.А., Протасов В.А., Серенко А.А., Пригарин В.Г., Ульяничев И.С., Тутуков А.В. Using Adaptive Nested Mesh Code HydroBox3D for Numerical Simulation of Type Ia Supernovae: Merger of Carbon-Oxygen White Dwarf Stars, Collapse, and Non-Central Explosion 2018 Ivannikov Ispras Open Conference (ISPRAS), 2018 Ivannikov ISPRAS Open Conference (ISPRAS), Moscow, Russia, 2018. – 2019. – P. 77-81. (год публикации - 2019) https://doi.org/10.1109/ISPRAS.2018.00018

6. Куликов И.М., Черных И.Г., Протасов В.А. The hydrodynamical modeling of the Supernovae Ia explosion by means adaptive nested meshes on supercomputers Journal of Physics: Conference Series, Journal of Physics: Conference Series. – 2019. – V. 1268. – Article Number 012038. (год публикации - 2019) https://doi.org/10.1088/1742-6596/1268/1/012038

7. Куликов И.М., Черных И.Г., Сапетина А.Ф., Пригарин В.Г. A new MPI/OpenMP code for numerical modeling of relativistic hydrodynamics by means adaptive nested meshes Journal of Physics: Conference Series, Journal of Physics: Conference Series. – 2019. – V. 1336. – Article Number 012008. (год публикации - 2019) https://doi.org/10.1088/1742-6596/1336/1/012008

8. Куликов И.М.,Черных И.Г., Тутуков А.В. A new hydrodynamic code with explicit vectorization instructions optimizations, dedicated to the numerical simulation of astrophysical gas flow. I. Numerical method, tests and model problems The Astrophysical Journal Supplement Series, The Astrophysical Journal Supplement Series. – 2019. – V. 243. – Article Number 4. (год публикации - 2019) https://doi.org/10.3847/1538-4365/ab2237

9. - Вычислить путь звезды, или что программисты делают в астрофизике Наука в Сибири, 12 апреля 2019 (год публикации - )


Аннотация результатов, полученных в 2020 году
Краткая аннотация В рамках работы по проекту в 2020 году разработаны математические модели замагниченных внегалактических струй, для описания которых используются уравнения специальной релятивистской магнитной гидродинамики. Уравнения дополнены химическими и ядерными реакциями, описывающие ионизацию водорода. Для описания взрыва сверхновых типа Ia разработана математическая модель на основе использования переопределенной системы уравнений гравитационной гидродинамики со звездным уравнением состояния. Для детального моделирования эволюции белых карликов, горения материала и взрыва сверхновых используется двухуровневая модель: на первом уровне моделируется гидродинамика процесса, а на втором уровне для описания подсеточных процессов используется турбулентное горение материала белых карликов, энергетический вклад которого используется в основном гидродинамическом моделировании. Разработаны, реализованы и подробно верифицированы численные методы решения уравнений специальной магнитной релятивистской гидродинамики на основе схем Рое, Русанова и новой оригинальной модификации, которая позволила избежать коллективных взаимодействий между процессами при параллельной реализации. Проведено подробное тестирование разработанного ранее метода решения уравнений специальной релятивистской гидродинамики на специальном наборе тестов. Разработана параллельная реализация вложенных сеток в виде C++ класса для архитектур с общей и распределенной памятью. Разработка такого класса позволило сконструировать фреймворк для численного решения гиперболических уравнений на вложенных сетках. Исследована эволюция замагниченного внегалактического джета при прохождении через плотную среду галактики. С помощью вычислительного эксперимента объяснен механизм образования полярных долей, аналогичных в наблюдаемом микроквазаре GRS 1758-258. С использованием многоуровневых вычислений экспериментально доказан сценарий взрыва сверхновых типа Ia дочандрасекаровской массы. В основе сценария лежит различные сценарии турбулентного горения материала в ходе слияния белых карликов и их поджига. Полная аннотация Для описания эволюции белых карликов используется модель на основе переопределенной системы уравнений гравитационной гидродинамики, замкнутой звездным уравнением состояния. Уравнения записаны в виде основных законов сохранения. Звездное уравнение состояния включает четыре слагаемых: два слагаемых для описания вклада вырожденного газа, вклада излучения и давление ионов, описываемое уравнением состояния для идеального газа. Переопределенная система уравнений позволяет упростить процедуру восстановления значений функции температуры в ходе гидродинамической эволюции. Для детального учета подсеточного процесса горения материала белых карликов были использованы многоуровневые вычисления или «базовые – спутниковые» вычисления, когда гидродинамика эволюции рассчитывается на вложенных сетках, а горение материала рассчитывается в виде отдельной задачи турбулентного горения. Для описания ядерного горения углерода и последующих элементов построена сеть реакций альфа-процесса до железа и никеля. Для используемой сети ядерных реакций построено аналитическое решение энерговыделения в соответствии со скоростью реакций из работы (Steinmetz, A&A, 1992). С помощью экспериментов с использованием разработанной вычислительной модели выяснилось, что при сверхзвуковом турбулентном горении материала белых карликов выделяемая энергия в три раза превосходит статическое горение, а также, что имеет место сценарий взрыва сверхновых типа Ia с дочандрасекаровскими массами. Для описания эволюции замагниченных внегалактических струй используется система уравнений специальной релятивистской магнитной гидродинамики. Для разрешения уравнений построен новый численный метод с использованием кусочно-параболической реконструкции решения с использованием трех методов решения задачи Римана: 1. Полное разложение матрицы якобиана в соответствии с работой (Anton, ApJS, 2010), такой подход имеет значительные вычислительные сложности. 2. Использование схемы типа Русанова в соответствии с работой, посвященной коду PLUTO (Mignone, ApJS, 2012). 3. Использование естественного ограничения скорости движения замагниченного релятивистского газа скоростью света [Куликов, СибЖИМ, 2020]. Последний вариант решения задачи Римана позволил сформулировать численный метод в простой конечно-разностной форме, более того, такой метод позволяет вычислить шаг по времени, который будет постоянным в течение счета. Такой оригинальный вариант решения задачи Римана не только значительно упростил разрабатываемый код, но и позволил сформулировать численный метод, который при параллельной реализации требует только локального шаблона вычислений, что особенно важно в плане петафлопсных и в будущем экзафлопсных вычислений, так как устраняет необходимость коллективных операций средствами MPI в моделировании релятивистской гидродинамики. Проведено подробное тестирование численных методов решения уравнений специальной релятивистской гидродинамики на следующих задачах: о распаде разрывов в одномерной и многомерной постановках, взаимодействии распадов разрыва, о сильной ударной волне, обтекании релятивистским газом ступеньку, развитии неустойчивости типа Кельвина-Гельмгольца. В ходе вычислительных экспериментов было показано, что эволюция замагниченной струи соответствует поведению наблюдаемой струи GRS 1758-258. Так формируются северные и южные доли струи, которые соответствуют наблюдаемым структурам в GRS 1758-258. В основании струи формируется плотное ядро. Важно, что в отличие от подобных релятивистских струй, в случае сильного магнитного поля развитие неустойчивости подавляется, что позволяет формировать полярные доли струй. В качестве химодинамики струи использовалась модель ионизации водорода. Структура течения соответствует результатам моделирования группы M. Perucho (Университеты Валенсии и Барселоны, Испания) и результатам наблюдений Ю.Ю. Ковалева (ФИАН). Также проведено моделирование взаимодействия внегалактической струи с плотным облаком газа. Вычислительные эксперименты показали, что в ультрарелятивистском режиме струя значительно впрыскивается в облако. Контуры релятивистской плотности существенно отклоняются от окружности в области границы взаимодействия «струя – облако». В случае релятивистской струи такое отклонение также имеет место, но значительно меньше. В случае слабой релятивистской струи контуры плотности отличаются от окружности только в области удара и не изменяют свою сферическую форму. Структура течения соответствует результатам моделирования группы M. Perucho (Университеты Валенсии и Барселоны, Испания). Разработан C++ класс, реализующий технологию вложенных сеток, для архитектур с общей и распределенной памятью. Реализация вложенных сеток состоит в использовании корневой регулярной сетки, каждая ячейка которой является самостоятельной регулярной сеткой. Так как все построенные в проекте численные методы используют локальный шаблон вычислений, поэтому для реализации распределенных вложенных сеток достаточно обеспечить только один слой перекрытия подобластей для любых вложенных сеток. То есть для произвольной вложенной сетки достаточно хранить только один слой ячеек соседней вложенной сетки. В классе реализованы следующие методы: создание корневой сетки размером, создание вложенной сетки размером для каждой ячейки корневой сетки, доступ к ячейке вложенной сетки, определение соседних ячеек для ячейки вложенной сетки, измельчение и укрупнение вложенной сетки в два раза по каждому направлению, создание/удаление вложенных сеток. Для архитектур с распределенной памятью добавляется обмен слоями перекрытия подобластей для всех корневых ячеек. Было проведено тестирование программной реализации на части кластера ССКЦ ИВМиМГ СО РАН, оснащенного процессорами на основе архитектуры Broadwell. Были исследованы ускорение и масштабируемость кода при различных конфигурациях числа потоков на ядро, ядер в процессоре, числа процессоров на узле и числа узлов. Было показано, что наибольшее ускорение достигается при использовании большего числа узлов, на которых запускается как можно меньше ядер, при увеличении числа потоков в одном узле целесообразнее распределить вычисления так, чтобы было задействовано как можно больше процессоров при минимальной загрузке ядер. Аналогичное поведение код демонстрирует и при исследовании масштабируемости.

 

Публикации

1. Куликов И.М. A Low-Dissipation Numerical Scheme Based on a Piecewise Parabolic Method on a Local Stencil for Mathematical Modeling of Relativistic Hydrodynamic Flows Numerical Analysis and Applications, V. 13, I. 2. – P. 117-126 (год публикации - 2020) https://doi.org/10.1134/S1995423920020032

2. Куликов И.М. On a modification of the Rusanov solver for the equations of special relativistic magnetic hydrodynamics Journal of Applied and Industrial Mathematics, V. 14, I. 3. – P. 524-531 (год публикации - 2020) https://doi.org/10.1134/S1990478920030114

3. Куликов И.М. The new relativistic hydrodynamic code for numerical simulation of jet evolution Proceedings of Science, V. 354. – Article Number 063 (год публикации - 2019)

4. Куликов И.М. A new code for the numerical simulation of relativistic flows on supercomputers by means of a low-dissipation scheme Computer Physics Communications, V. 257. – Article Number 107532 (год публикации - 2020) https://doi.org/10.1016/j.cpc.2020.107532

5. Куликов И.М., Черных И.Г., Караваев Д.А., Генрих Е.А., Сапетина А.Ф., Протасов В.А., Серенко А.А., Ненашев В.Е., Пригарин В.Г., Ульяничев И.С., Ломакин С.В. Simulating relativistic jet on the NKS-1P supercomputer with Intel Broadwell computing nodes Communications in Computer and Information Science, V. 1263. – P. 224-236 (год публикации - 2020) https://doi.org/10.1007/978-3-030-55326-5_16

6. Куликов И.М., Черных И.Г., Караваев Д.А., Сапетина А.Ф., Пригарин В.Г., Протасов В.А., Ульяничев И.С. The parallel & distributed code for numerical simulation of relativistic magnetohydrodynamics simulation Journal of Physics: Conference Series, V. 1640. – Article Number 012001 (год публикации - 2020) https://doi.org/10.1088/1742-6596/1640/1/012001

7. Куликов И.М., Черных И.Г., Сапетина А.Ф., Ломакин С.В., Тутуков А.В. A New Rusanov-Type Solver with a Local Linear Solution Reconstruction for Numerical Modeling of White Dwarf Mergers by Means Massive Parallel Supercomputers Lobachevskii Journal of Mathematics, Vol. 41, I. 8. – P. 1485-1491 (год публикации - 2020) https://doi.org/10.1134/S1995080220080090

8. Куликов И.М., Черных И.Г., Черных А.Н. A scalable parallel computing framework for large-scale astrophysical fluid dynamics numerical simulation Proceedings - 2019 20th International Conference on Parallel and Distributed Computing, Applications and Technologies, PDCAT 2019, PDCAT 2019. – 2019. – P. 328-333 (год публикации - 2019) https://doi.org/10.1109/PDCAT46702.2019.00066

9. Куликов И.М. Суперкомпьютерное моделирование гидродинамических объектов в задачах астрофизики Новосибирск: Издательство СО РАН, 2020. – 170 с., - (год публикации - 2020)

10. - Доклад «A new code for the numerical simulation of relativistic flows on supercomputers by means of a low-dissipation scheme» на конференции «9th International Workshop on Astronomy and Relativistic Astrophysics» YouTube, - (год публикации - )


Возможность практического использования результатов
Разработанный в проекте программный комплекс значительно выходит за область задач вычислительной астрофизики и может быть расширен на моделирование других гидродинамических процессов, в которых требуется детальный учет подсеточных процессов, например, для задач добычи и переработки углеводородов. Это создает предпосылки для создания на его основе новых цифровых технологий, отвечающих национальным интересам Российской Федерации.