Аннотация результатов, полученных в 2021 году
Для динамической системы, описываемой дифференциальными уравнениями с дробными производными Капуто, рассмотрена дифференциальная игра на минимакс-максимин заданного показателя качества типа Больца. Дифференциальной игре поставлена в соответствие задача Коши для наследственного уравнения Гамильтона-Якоби-Айзекса-Беллмана с дробными коинвариантными производными при краевом условии на правом конце. В отчетном периоде работа по этому направлению была направлена на развитие вязкостного подхода к понятию обобщенного решения такой задачи Коши. Было дано определение вязкостного решения задачи Коши в терминах дробно коинвариантно гладких тестовых функционалов, являющееся аналогом определения вязкостного решения задач Коши для классических уравнений Гамильтона-Якоби с частными производными. При этом данное определение включает в себя вспомогательную последовательность компактных подмножеств функционального пространства историй движений рассматриваемой динамической системы, а также требование локальной липшицевости вязкостного решения по функциональной переменной. Основной результат работы заключается в том, что при весьма общих предположениях функционал цены исследуемой дифференциальной игры может быть охарактеризован как единственное вязкостное решение соответствующей задачи Коши. Для доказательства единственности вязкостного решения был построен оригинальный функционал Ляпунова-Красовского, позволяющий учесть отличительные особенности систем дробного порядка. Полученная характеризация функционала цены открывает новые возможности для разработки методов оптимального позиционного управления игроков в рассматриваемой дифференциальной игре. В частности, построенный функционал Ляпунова-Красовского может использоваться в конструкциях метода экстремального прицеливания Н.Н. Красовского. В конечномерном евклидовом пространстве рассмотрена задача преследования группой преследователей одного убегающего, описываемая линейной системой дифференциальных уравнений с дробными производными Капуто и простой матрицей. Предполагается, что множеством допустимых управлений для всех игроков является один и тот же выпуклый компакт. Целью группы преследователей является поимка убегающего заданным числом преследователей (многократная поимка). Получены достаточные условия разрешимости задачи преследования в классе квазистратегий. На базе данного результата для преследователей построены позиционные стратегии управления с поводырем, гарантирующие разрешимость задачи преследования. В конечномерном евклидовом пространстве рассмотрена задача преследования группой преследователей группы убегающих, в которой взаимодействие каждой пары убегающий-преследователь описывается линейной системой дифференциальных уравнений дробного порядка с производными Капуто и простой матрицей. Предполагается, что все убегающие используют одно и то же управление (жестко скоординированы). Целью группы преследователей является поимка хотя бы одного убегающего. В классе квазистратегий преследователей получены достаточные условия разрешимости задачи преследования. Исследована задача восстановления неизвестного возмущения в системе нелинейных дифференциальных уравнений, содержащих дробные производные Капуто. Предложен алгоритм восстановления возмущения устойчивый к информационным помехам и погрешностям вычислений, который использует в качестве входа неточные измерения части координат фазового вектора системы, поступающие непрерывно в режиме онлайн. В основу алгоритма положен метод динамического обращения, сочетающий в себе конструкции метода экстремального прицеливания Н.Н. Красовского из теории позиционного управления и метод регуляризации А.Н. Тихонова из теории некорректных задач. Для случая дефицита информации о положении системы алгоритм представлен двумя работающими параллельно и в режиме онлайн блоками восстановления. Работа одного из них направлена на восстановление ненаблюдаемых координат системы, тогда как работа другого – на получение некоторой аппроксимации внешнего воздействия. Были получены оценки для погрешности аппроксимации внешнего воздействия как в случае измерения всех координат системы, так и при измерении их части. Приложение разработанной техники аппроксимации было показано на примере нелинейной модели дробного порядка для ВИЧ заболевания, в которой одна из характеристик организма была принята за неизвестное внешнее управляющее воздействие. При использовании разработанного алгоритма была получена аппроксимация этого возмущения в режиме онлайн. Рассмотрены уравнения Гамильтона-Якоби с коинвариантными производными, возникающие в задачах оптимального управления и дифференциальных играх для систем нейтрального типа в форме Дж. Хейла. Введено понятие вязкостного (обобщенного) решения таких уравнений. Доказаны теоремы существования и единственности вязкостного решения. Установлены различные критерии этого решения, использующие понятия обобщенного решения в минимаксном смысле, верхних и нижних производных по направлениям, а также суб- и супердифференциалов функционалов. Для получения этих результатов в качестве функционального пространства историй движения было взято пространство функций, допускающих конечное число точек разрыва первого рода и липшицевых на промежутках непрерывности. В качестве следствия этих результатов доказано, что, во-первых, коинвариантно дифференцируемый функционал, удовлетворяющий рассматриваемому уравнению Гамильтона-Якоби, является вязкостным решение этого уравнения, а во-вторых, вязкостное решение удовлетворяет уравнению Гамильтона-Якоби в точках коинвариантной дифференцируемости.

Аннотация результатов, полученных в 2022 году
Было продолжено исследование антагонистических дифференциальных игр, в которых движение динамической системы описывается нелинейными дифференциальными уравнениями с дробными производными Капуто. Особое внимание уделялось приложению и развитию полученных на первом этапе работ по проекту результатов по характеризации функционала цены такой игры как вязкостного решения соответствующего наследственного уравнения Гамильтона – Якоби – Айзекса – Беллмана с дробными коинвариантными производными. Был предложен и обоснован новый метод построения оптимальных позиционных стратегий управления игроков. Основу метода составляет функционал Ляпунова – Красовского, найденный на первом этапе выполнения работ по проекту. По сравнению с известными конструкциями оптимальных позиционных стратегий преимущество нового метода заключается в том, что используемый функционал Ляпунова – Красовского является относительно простым и непрерывно дифференцируемым (в смысле дробной коинвариантной гладкости). Кроме того, метод представляется достаточно универсальным, и на третьем этапе выполнения работ по проекту планируется его дальнейшее развитие для задач, в которых движение динамической системы описывается слабо-сингулярными интегральными уравнениями Вольтерра общего вида. В качестве иллюстрации эффективности развиваемого в рамках проекта подхода была рассмотрена линейно-квадратичная дифференциальная игра для системы дробного порядка. Найдены условия существования цены игры, получены формулы для оптимальных позиционных стратегий управления игроков. В частности, в явном виде выписан функционал цены игры, и доказано, что он является дробно коинвариантно гладким решением соответствующего наследственного уравнения Гамильтона – Якоби – Айзекса – Беллмана с дробными коинвариантными производными. Проведен анализ возможности расширения функционального пространства историй движений в дифференциальных играх для систем дробного порядка с целью получения инфинитезимальных характеризаций (в терминах подходящих суб- и супердифференциалов) негладкого функционала цены и разработки новых методов построения оптимальных позиционных стратегий управления игроков. Исследование показало, что, в отличие от случая функционально-дифференциальных систем запаздывающего и нейтрального типов, подходящее расширение должно охватывать функции, имеющие разрывы второго рода с бесконечным пределом справа. В рамках этого подхода была проведена формализация дифференциальной игры, были введены понятия дробных коинвариантных производных функционалов над расширенным пространством историй движения, и было формально выписано соответствующее наследственное уравнение Гамильтона – Якоби – Айзекса – Беллмана. Однако, при попытках доказательства теоремы о связи решения этого уравнения и функционала цены выяснилось, что важную роль играет специальное свойство непрерывности этого функционала, которое практически никогда не выполняется. Как следствие, был сделан вывод о том, что развитие теории наследственных уравнений Гамильтона – Якоби над таким образом расширенным пространством историй движения не является перспективным направлением исследований в том смысле, что полученные результаты будут справедливы при очень ограничительных предположениях. Проблема такого же сорта возникла при попытках разработать в рамках расширенной постановки задачи конечномерный вариант метода экстремального сдвига на сопутствующие точки для построения оптимальных позиционных стратегий управления игроков. В конечномерном евклидовом пространстве была рассмотрена задача преследования группой преследователей одного убегающего, описываемая линейной системой дифференциальных уравнений с дробными производными Капуто. Множество допустимых управлений для каждого из игроков является выпуклым компактом. Терминальные множества являются цилиндрическими. Получены новые достаточные условия разрешимости задачи преследования в классе квазистратегий. Введены матричные разрешающие функции, используя которые в классе квазистратегий преследователей получены новые достаточные условия разрешимости задачи о поимке убегающего заданным числом попарно различных преследователей. Была исследована задача он-лайн идентификации внешнего воздействия (помехи) на систему, описываемую дифференциальными уравнениями с дробной производной Капуто, и ее траектории на бесконечном временном горизонте. Так называемый режим он-лайн подразумевает, что информация о позиции системы доступна только во время ее функционирования. Были рассмотрены два случая: измеряются все координаты фазового вектора, и только их часть. Измерения проводятся в дискретные достаточно частые моменты времени с некоторой погрешностью. Бесконечный временной горизонт также осложняет рассматриваемую задачу ввиду неминуемого неограниченного накопления различного вида погрешностей, например, вычислительной, по сравнению с конечным отрезком функционирования системы. Для решения задачи предложен адаптивный алгоритм он-лайн идентификации, в основу которого положен подход динамического обращения. Этот подход представляет собой сочетание методов регуляризации из теории некорректных задач и конструкций из теории позиционного управления. В частности, использовался метод регуляризации А.Н. Тихонова, в котором был специальным образом модифицирован сглаживающий функционал, и метод экстремального прицеливания Н.Н. Красовского. В общих чертах, адаптивный алгоритм он-лайн идентификации представляет собой выбор подходящей вспомогательной управляемой системы (модели) и закон управления в ней по принципу обратной связи. Предложенный алгоритм дает аппроксимацию внешнего возмущения и устойчив к информационным помехам и погрешности вычислений. Применение разработанного алгоритма проиллюстрировано на модельном примере. Была рассмотрена антагонистическая дифференциальная игра, в которой движения описываются системой нейтрального типа в форме Дж. Хейла, а начальные условия выбираются из пространства кусочно-непрерывных функций. Доказано, что игра имеет цену, совпадающую с единственным вязкостным решением соответствующей задачи Коши для наследственного уравнения Гамильтона – Якоби – Айзекса – Беллмана с коинвариантными производными. Построены оптимальные позиционные стратегии управления игроков, которые в случае определенной гладкости функционала цены определяются на базе его градиента, а в общем случае – его квазиградиентов. При этом, в отличие от предыдущих работ по данной тематике, вычисление квазиградиентов осуществляется путем решения задачи конечномерной, а не бесконечномерной оптимизации.

Аннотация результатов, полученных в 2023 году
Была рассмотрена игра, в которой движение динамической системы описывается нелинейным интегральным уравнением Вольтерра – Гаммерштейна второго рода с ядром K, имеющим интегрируемую особенность степенного типа, а целью управления первого (соответственно, второго) игрока является минимизация (соответственно, максимизация) заданного показателя качества типа Больца. При дополнительном предположении о невырожденности линейного интегрального оператора Вольтерра с ядром K была проведена формализация конструкций динамического программирования. При этом было введено специальное функциональное пространство позиций системы – пар, состоящих из текущего момента времени и функции, играющей роль сложившейся к этому моменту времени истории движения системы. Для функционалов над таким пространством позиций было определено новое понятие коинвариантной дифференцируемости, зависящее от ядра K, и в терминах соответствующих коинвариантных производных исходной игре было сопоставлено наследственное уравнение Гамильтона – Якоби. Было дано определение обобщенного в вязкостном смысле решения задачи Коши для данного уравнения и естественного краевого условия на правом конце и было показано, что верхний и нижний функционалы цены игры являются такими вязкостными решениями. Кроме того, была доказана теорема о единственности вязкостного решения. В качестве следствия было установлено существование цены исходной игры. Более того, были введены понятия позиционных стратегий управления игроков и был предложен метод построения соответствующих оптимальных стратегий. Основу результатов составило использование функционала Ляпунова – Красовского, построенного на первом этапе работ по проекту, и дальнейшее исследование его свойств. Для ключевого предположения на ядро K были получены два достаточных условия, позволяющих охватить в том числе системы, в которых каждое из уравнений является дифференциальным уравнением с дробной производной Капуто своего порядка либо обыкновенным дифференциальным уравнением. В конечномерном евклидовом пространстве была рассмотрена задача преследования группой преследователей одного убегающего, описываемая линейной системой дифференциальных уравнений с дробными производными Капуто. Множество допустимых управлений для каждого из игроков является выпуклым компактом. Терминальные множества являются выпуклыми компактами. Получены новые достаточные условия разрешимости задач преследования и убегания в задаче как с равными, так и различными динамическими возможностями игроков. В конечномерном евклидовом пространстве была рассмотрена задача преследования группой преследователей группы убегающих в дифференциальной игре, описываемой линейной системой дифференциальных уравнений дробного порядка с производными Капуто. Предполагается, что все убегающие используют одно и то же управление (жестко скоординированы). Целью группы преследователей является поимка хотя бы одного убегающего или заданного числа убегающих. В классе квазистратегий преследователей получены достаточные условия разрешимости задачи преследования в игре как с равными, так и различными динамическими возможностями игроков. Для линейной управляемой динамической системы, описываемой дифференциальными уравнениями с дробной производной Капуто, рассмотрена задача гарантированного позиционного наведения на заданное множество в заданный момент времени. Начальное состояние управляющей стороне априори неизвестно, но известно конечное множество, которому оно принадлежит. Управляющая сторона строит позиционную стратегию управления для наведения системы на заданное множество в заданный момент времени по информация о положении системы, поступающей в режиме онлайн, в виде линейного сигнала наблюдения. Анализ разрешимости задачи наведения для рассматриваемой управляемой системы дробного порядка проводится с использованием метода пакетов программ Осипова – Кряжимского. В основе данного метода лежат неупреждающие программные конструкции и расширение управляемой системы путем параметризации по начальным состояниям. Этот метод позволяет связать условие разрешимости задачи гарантированного позиционного наведения с условиями разрешимости задачи уже программного наведения для расширенной системы. На основе конструкций метода пакетов программ Осипова – Кряжимского предложен критерий разрешимости поставленной задачи наведения для системы дробного порядка и процедура построения наводящего пакета программ (программных управлений). Разработанная техника анализа задачи гарантированного позиционного наведения апробирована на задаче управления конкретной линейной механической системой с дробной производной Капуто. При сравнительном анализе алгоритмов обучения с подкреплением в задачах оптимального управления системами дробного порядка были получены следующие результаты. Среди рассмотренных алгоритмов наилучшим образом показали себя Proximal Policy Optimization (PPO) и Soft Actor Critic (SAC), обеспечивающие достаточно близкие к оптимальным результаты во всех рассмотренных задачах. Было установлено, что с точки зрения информации, доступной агенту, во-первых, информации только о текущем времени недостаточно для приемлемого обучения, а во-вторых, что дополнительная информация об истории движения системы по существу не улучшает результаты обучения по сравнению со случаем, когда агенту доступна информация только о текущем времени и о текущем состоянии системы. Подходы, опирающиеся на использование рекуррентных нейронных сетей и специальных аппроксимирующих систем обыкновенных дифференциальных уравнений, оказались значительно менее работоспособными по сравнению с использованием полносвязной нейронной сети. Таким образом, можно заключить, что базовые алгоритмы обучения с подкреплением в целом являются достаточно эффективным инструментом для решения задач оптимального управления системами дробного порядка и, по-видимому, для достаточно широкого круга задач они способных находить стратегии обратной связи, обеспечивающие близкий к оптимальному результат, опираясь лишь на информацию о текущем времени и о текущем состоянии системы.