Уровень производительности мощностей суперкомпьютерного комплекса МГУ имени М.В. Ломоносова к 2016 году должен составить 200–500 петафлопс. Фото с сайта: www.tasstelecom.ru

Прогнозируемый уровень производительности мощностей суперкомпьютерного комплекса МГУ имени М.В. Ломоносова должен составить не менее 20 петафлопс в 2013 – 2014 году и к 2016 году быть увеличен до 200–500 петафлопс. Об этом рассказал в интервью ТАСС-Телеком ректор Московского государственного университета имени М.В. Ломоносова Виктор Садовничий. Но начать он предложил не с будущего, а с настоящего.

– «Ломоносов» решает многочисленные задачи в таких предметных областях, как авиа– и турбостроение, нефтеразведка, криптография, медицина и химия, материаловедение, климатические исследования, математика и физика плазмы. На этом суперкомпьютере сейчас работают уже более 600 научных групп. Приведу лишь несколько примеров проектов, которые ведутся в этом году. При разработке современных сверхзвуковых самолетов малейшее изменение геометрии крыла может в разы сократить шумность и улучшить скоростные характеристики машины, а может привести к мгновенному разрушению крыла на больших скоростях. Моделирование помогает проверить различные варианты геометрии, прежде чем будет построен дорогостоящий опытный образец для испытаний в аэродинамической трубе. Однако чтобы с большой точностью смоделировать воздушные вихри, образующиеся по краям крыла на сверхзвуковых режимах, необходимы огромные вычислительные ресурсы. Модель должна быть достаточно большой, чтобы вместить головную ударную волну на поверхности крыла, и при этом иметь ячейки малого размера, чтобы воспроизвести тонкий слой воздуха вокруг крыла, в котором образуются вихри. При этом расчет должен иметь малый шаг по времени, чтобы отразить процессы разного временного масштаба.

Уникальные результаты в этой области получены группой мехмата МГУ и Института прикладной математики им. М.В.Келдыша РАН. В близкой области на супер-ЭВМ «Ломоносов» работает группа МГТУ им. Баумана совместно с российской компанией «ТЕСИС», исследующая новые конструкции поршневых двигателей с применением перспективного вихревого турбостартера.

Для высокоточного моделирования воздушных вихрей по краям крыла сверхзвукового самолета нужны огромные вычислительные ресурсы Применение таких мощных систем как «Ломоносов» для решения задач нефтеразведки и эксплуатации месторождений способно дать качественно новый результат. Чтобы хорошо представить себе структуру месторождения под землей и не ошибиться с местом бурения скважины и методом извлечения нефти, необходимо обработать сотни терабайт данных сейсморазведки и подавить волны-помехи. Научно-образовательный центр «Поисков, разведки и разработки месторождений» Московского университета и российской компании «ГЕОЛАБ» применяют высокоэффективный метод 3D SRME для подавления помех и метод миграции в обратном времени для построения точной глубинной модели месторождения. Лишь один расчет такой модели требует нескольких тысяч процессорных ядер «Ломоносова».

– Ведутся ли какие-либо вычисления на «Ломоносове», связанные с разработками новых лекарственных препаратов?

– Вычисления на суперкомпьютере «Ломоносов» использовались сотрудниками НИВЦ МГУ, Институтом физиологически активных веществ РАН и другими группами в процессе разработки новых лекарств против рака, СПИДа, заболеваний сердечно-сосудистой системы, болезни Альцгеймера, а также новых и безопасных методов диагностики, таких как ультразвуковые томографы. Например, перспективные противоопухолевые лекарства разрабатываются на основе ингибиторов фермента урокиназы, подавляющих его деятельность и останавливающих развитие рака. Применяя методы молекулярного моделирования на суперкомпьютере, ученые за год проанализировали около миллиона молекул потенциальных кандидатов-ингибиторов, причем на каждую молекулу уходило несколько часов работы одного процессора. Было отобрано более 100 перспективных соединений, часть из которых синтезирована и проверена экспериментально. Тем самым запущена конвейерная разработка новых ингибиторов урокиназы: дизайн – расчеты – эксперименты.

– А что вы могли бы, Виктор Антонович, отметить в высокопроизводительных вычислениях применительно к химии?

– Группа ученых физфака МГУ, Института нефтехимического синтеза им. Топчиева РАН и Института исследований металлов общества Макса Планка (Дюссельдорф, Германия) занимается исследованием методов создания новых полимеров с заданными свойствами. Как правило, полимеры с различной химической структурой не могут смешиваться между собой, однако возможность их комбинировать необходима для создания качественно новых перспективных материалов. Создать новый полимерный материал можно путем добавления к смеси «сополимеров» – веществ, облегчающих смешение других молекул. Однако на практике гораздо дешевле и эффективнее синтезировать сополимеры непосредственно в процессе смешения исходных материалов, добавляя в расплав химически активные вещества. Моделирование дало возможность детально изучить эти сложные химические реакции для того, чтобы такие методы синтеза могли применяться в реальном производстве, в частности – для создания материалов на основе сложных наноструктур с заданными свойствами.

Виртуальное молекулярное конструирование – основа для получения наноструктурированных материалов с уникальными свойствами Суперкомпьютерному моделированию полиамфифилов посвящен совместный проект МГУ, ИНЭОС РАН и Института прикладной математики РАН. Использование суперкомпьютеров позволяет ставить вычислительные эксперименты для предсказания новых форм этих самоорганизующихся синтетических полимеров, которые в перспективе могут позволить получать наноструктуры с заранее заданным строением. Во многих случаях результаты виртуального молекулярного конструирования являются основой для углубленного понимания происходящих процессов, последующего химического синтеза полимеров и получения наноструктурированных материалов с уникальными свойствами.

Наконец, МГУ имени М.В. Ломоносова традиционно уделяет много внимания разработке методов суперкомпьютерного моделирования климатических изменений на Земле. Климатическая модель, развиваемая МГУ и РАН, используется для изучения связи между изменениями климата и солнечной активностью. Она учитывает данные за несколько десятков лет, и для ее расчета требуются колоссальные ресурсы.

Другой проект МГУ, ведущийся совместно с ИВМ РАН, ставит целью создание в России современной математической модели динамики Мирового океана, точно описывающей физику океанских процессов и эффективно работающей на мощных суперкомпьютерах. Модель учитывает термогидродинамические процессы океана, его взаимодействие с атмосферой, термодинамику морского льда. Такая модель поможет понять влияние океана на изменения климата, предсказывать изменения подводной флоры и фауны и многое другое.

– Какие текущие задачи нельзя решать на супер-ЭВМ такой мощности, какая есть сегодня у «Ломоносова»?

– Пиковая мощность «Ломоносова» – 1700 терафлопс, это самая мощная из всех российских супер-ЭВМ, присутствующих в международном рейтинге «Топ-500». Это уже огромный вычислительный ресурс. Но для многих задач и его необходимо наращивать, причем быстрыми темпами, как это делают наши конкуренты.

Напомню, что вычислительная система суперкомпьютера «Ломоносов» построена прежде всего на базе российских технологий, разработанных отечественными инженерами. Все электронные платы, модули памяти, конструктивы, система охлаждения, а также система управления суперкомпьютером разработаны в России и представляют собой новый виток развития отечественных суперкомпьютерных технологий.

«Ломоносова» – самая мощная из всех российских супер-ЭВМ в международном рейтинге «Топ-500». Возьмем для примера ту же климатическую модель. Ее точность, а значит – практическая значимость в предсказании и глобальных, и локальных климатических изменений, циклонов, серьезных нарушений экологического баланса, – ограничивается размерами «сетки» в 2–10 квадратных километра. Такие площади включают в себя слишком много объектов с совершенно разными свойствами и воздействием на окружающую среду, а значит, эти свойства не учитываются при решении модельной задачи. Более качественное, близкое к реальности моделирование климата сегодня невозможно из-за отсутствия компьютеров, способных вычислять задачу с необходимой детализацией.

В области нанотехнологий суперкомпьютерное моделирование быстро становится основным методом научного поиска, т.к. здесь приходится иметь дело с системами, размеры которых не позволяют достаточно полно «увидеть» и понять их свойства и поведение традиционным экспериментальным способом. Если «исследовательский» подход к нанотехнологиям до некоторого предела вообразим без использования суперкомпьютерного моделирования, то «инженерный» – создание наносистем с четко заданными произвольными свойствами и возможностями – немыслим без использования суперкомпьютеров, на порядки превосходящих современные по производительности. По мере перехода суперкомпьютеров от петафлопсных к экзафлопсным масштабам и далее роль подобных задач и практическая польза от их решения будут только возрастать.

– В одном из своих предыдущих выступлений Вы говорили о важности особо мощных супер-ЭВМ для добычи и переработки нефти…

– Нефтяные месторождения содержат нефть разного качества. Существующие сегодня универсальные катализаторы позволяют получать чистые и более ценные продукты из ограниченного количества добываемой нефти. Глобальной технологической задачей нефтеперерабатывающей отрасли является разработка индивидуальных соединений-катализаторов для выработки большего количества ценных и чистых продуктов из сырой нефти разного качества. Для их создания требуются высокоточные компьютерные модели, описывающие молекулярные процессы с точностью до 2 – 10 нанометров; экономия расходов на нефтепереработку при этом составит до 80%. Чтобы произвести такой расчет за приемлемое время необходимы компьютерные мощности в размере десятков петафлопс.

Использование суперкомпьютеров позволило соответствующим компаниям увеличить коэффициент нефтеизвлечения с 30% до 50%, однако оставшиеся 50% нефти все еще остаются неизвлеченными. Чтобы обнаружение и извлечение этой нефти стало экономически эффективным, необходимы на порядок более точные модели месторождений, расчет которых должен занимать не более 2–3-х дней. При этом увеличение нефтедобычи в мировом масштабе только на 1% позволило бы получить $9 млрд прибыли в год и увеличило бы стоимость мирового резерва на $300 млрд. Увеличение точности моделей в 10 раз требует увеличения компьютерной мощности в 50 раз: решение подобной задачи также требует суперкомпьютерной мощности не менее 10 петафлопс. Судя по тому, как быстро были развиты мощности «Ломоносова» с использованием новейших отечественных разработок (причем международно признанных на различных форумах), российские разработчики супер-ЭВМ вполне готовы в кратчайшие сроки выйти на этот уровень.

Даже такая задача как планирование городской застройки, особенно в таких крупных и густозаселенных городах как Москва с ее сложной структурой подземных грунтов, может быть решена на качественно новом уровне при помощи более мощных суперкомпьютеров, недоступных сегодня. Так, масштабное подземное строительство потенциально чревато многочисленными экологическими и инженерными проблемами, которые далеко не всегда можно устранить традиционными методами проектного анализа. При этом полноценный трехмерный анализ задачи об оптимизации количества опор для укрепления котлована строящегося подземного сооружения с требуемой детализацией (в полной постановке) потребует рассчитать состояние миллиардов частиц. При использовании 500000 ядер (порядка 8–10 Петафлопс), только одна итерация такого расчета заняла бы 9 суток, и еще порядка 4 суток – один расчет гидродинамической модели, позволяющей проанализировать гидроциркуляцию прилегающих грунтов. При этом для создания оптимальной конструкции одного крупного подземного сооружения требуются сотни таких расчетов.

– Вами поставлена задача создания в Московском университете национального суперкомпьютерного центра. Что вы подразумеваете под национальным суперкомпьютерным центром?

– Стратегия развития суперкомпьютерного комплекса МГУ как национального суперкомпьютерного центра должна быть направлена на достижение и освоение отечественных технологий экза-уровня к 2020 году. В этой связи работы национального суперкомпьютерного центра должны быть направлены на фундаментальные исследования математических методов, алгоритмов и архитектур, позволяющих достигнуть необходимых значений производительности; а также на разработку и освоение отечественных аппаратных и системных программных средств вычислительных систем, удовлетворяющих требованиям по энергопотреблению, надежности и другим физическим параметрам; освоение прикладного программного обеспечения для имитационного моделирования на супер-ЭВМ экзафлопсного класса.

Более мощные суперкомпьютеры помогут решать на качественно новом уровне задачу планирования городской застройки мегаполисов Являясь крупнейшим российским многопользовательским суперкомпьютерным центром федерального уровня, суперкомпьютерный центр МГУ видит свою задачу в совместной разработке и опережающем освоении передовых отечественных суперкомпьютерных технологий и поддержании суперкомпьютерных мощностей центра на конкурентоспособном мировом уровне. Это позволит обеспечить внедрение наиболее актуальных вычислительных технологий в отечественной фундаментальной науке, промышленности и образовании. Задачи суперкомпьютерного центра МГУ в качестве национального суперкомпьютерного центра включают предоставление ресурсов широкому кругу научных и промышленных пользователей; развитие технологий удаленного доступа к вычислительным системам, в частности, грид– и облачных технологий; развитие спектра услуг по решению практических задач; развитие экспертизы по суперкомпьютерному моделированию в различных отраслях; подготовка высококвалифицированных специалистов в области разработки и применения суперкомпьютерных технологий. Прогнозируемый уровень производительности мощностей суперкомпьютерного комплекса МГУ должен составить не менее 20 петафлопс в 2013 – 2014 году и к 2016 году быть увеличен до 200–500 петафлопс. Это соответствует планам развития ведущих мировых суперкомпьютерных центров, мощности которых представлены в первых 10 позициях списка Тор500 самых мощных компьютеров мира.

Задача суперкомпьютерного центра МГУ – разработка и освоение передовых отечественных суперкомпьютерных технологий. Вычислительный центр МГУ в качестве национального суперкомпьютерного центра должен являться лидером в создании системы подготовки высококвалифицированных кадров в области суперкомпьютерных технологий нового поколения по таким направлениям как создание системы базовых (опорных) научно-образовательных центров экзафлопсных вычислительных технологий; разработка учебно-методического обеспечения подготовки кадров в области экзафлопсных технологий; реализация образовательных программ подготовки, переподготовки и повышения квалификации кадров в области экзафлопсных технологий; разработка и реализация системы информационного обеспечения общества в области суперкомпьютерных технологий.

– Для решения каких задач необходимо создание отечественных экзафлопсных суперЭВМ?

– Ожидается, что экзафлопсные суперкомпьютеры позволят решать научные и инженерные задачи, к которым в данный момент приступить невозможно. Так, например, возможность значительно увеличить разрешение климатических моделей, а также улучшить представление физических и биологических процессов в них позволит ответить на ряд важнейших вопросов, среди которых возможность предсказывать региональные погодные сдвиги, связанные с глобальным изменением климата; последствия таяния льдов Гренландии и Антарктики; изменение кислотности воды в океане при текущем росте содержания углекислоты в атмосфере и критический уровень этих изменений, который приведет к разрушению таких уникальных биологических систем как, например, коралловые рифы. Большой комплекс проблем уровня «экзаскейл» связан с более эффективным использованием топлива и поиском новых источников энергии.

Ожидается, что более глубокое понимание базовых процессов сгорания позволит расходовать нефть гораздо более производительно. Вряд ли стоит говорить, насколько важна эта проблема для нашей промышленности, для экономики в целом. Экзафлопсные суперкомпьютеры позволят совершить качественный скачок в разработке ядерных реакторов нового поколения, где физическое прототипирование невозможно, а также трансформировать многие отрасли промышленности. Например, возможность моделировать все подсистемы самолета одновременно (ожидается, что одна такая модель будет рассчитываться 90 дней даже на экзафлопсном суперкомпьютере) даст возможность выпускать летательные средства также часто как автомобили, постоянно совершенствуя их характеристики – такие технологии могут в корне изменить транспортную систему на Земле.

Производительность суперкомпьютерного комплекса МГУ составит 20 петафлопс в 2013 – 2014 году и до 200 – 500 петафлопс к 2016 году Большие надежды на суперкомпьютеры такого уровня мощности возлагает медицина. Так, возможность моделировать клетку как единую систему на новом уровне пространственно-временного разрешения позволит конструировать новые вещества с заранее заданными свойствами – например, такие как «индивидуальные» лекарства, предназначенные для конкретного человека. Экзафлопсный суперкомпьютер сможет воспроизвести полный цикл сборки белка за секунды, в то время как петафлопсному понадобятся 3 года, чтобы смоделировать всего 100 миллисекунд этого процесса. Ответа требуют также многие глобальные социально-экономические вопросы: например, возможность интегрировать социо-экономические, климатические и экологические модели позволит понять реальное влияние человека на окружающую среду и прогнозировать последствия социально-экономических стратегий, реализуемых тем или иным государством.

– Какой должна быть, по вашему мнению и по оценкам ваших специалистов, архитектура экзафлопсной системы и какие технологические барьеры существуют на пути создания суперЭВМ такого класса?

– Текущий уровень развития технологий не позволяет наращивать производительность суперкомпьютеров, и дальнейшее ее увеличение требует появления принципиально новых решений на самом базовом уровне. Технологические вызовы «экзаскейла» можно разделить на три группы: энергопотребление, надежность и параллелизм.

Специалисты отмечают, что к суперкомпьютеру экзафлопсного уровня, построенному на современных компонентах, невозможно было бы подвести достаточное количество электричества: он потреблял бы порядка 5000 мегаватт. Министерство энергетики США выдвинуло требования к уровню энергопотребления экзафлопсных систем, который должен составить 20 мегаватт. По прогнозам, два первых американских экза-суперкомпьютера будут потреблять по 50 мегаватт, а требуемый уровень будет достигнут не раньше 2020 года. Однако сегодня тяжело представить, как можно достичь этого уровня, т.к. при сохранении текущих тенденций уменьшения энергопотребления систем, к 2015 году достигнутый уровень тепловыделения будет все еще отставать от необходимого в десятки раз.

По оценкам специалистов, с огромным количеством компонентов в экзафлопсных системах, а также необходимостью увеличить их производительность и снизить энергопотребление, связано множество проблем. Например, при уменьшении технологических норм производства микросхем (ниже 22нм) и уменьшении напряжения питания кардинально возрастает чувствительность чипов к внешним излучениям, разного рода шумам и «наводкам», а дальнейшее увеличение частоты интерфейсов многократно увеличивает вероятность ошибок при счете.

Что же касается параллелизма, то в экзафлопсных системах количество одновременно исполняемых процессов будет на 3 порядка выше, чем сейчас, в то время как за 10 лет степень параллелизма суперкомпьютеров выросла лишь на 1 порядок. Такой уровень параллелизма должен поддерживаться и на аппаратном, и на программном уровне. Требуется не только разработка принципиально новых алгоритмов, поддерживающих сотни миллионов одновременно протекающих процессов, но и новой среды разработки приложений, которая сегодня уже не позволяет сильно увеличить скорость расчетов – от языков программирования до средств анализа производительности и отладки. Сегодня также не существует средств управления такими машинами: текущие ОС, библиотеки, менеджеры ресурсов сильно ограничены по масштабируемости и не обеспечивают возможности быстрой автоматической замены вышедших из строя компонент на резервные. Безусловно, отдельную проблему представляет необходимость создания прикладного ПО уровня экзаскейла, даже при условии существования системного ОС и средств разработки.

Для достижения нужного уровня энергопотребления и параллелизма требуется создание принципиально новых процессоров с новыми, более энергоэффективными технологиями организации логики, работы с памятью, определения и коррекции ошибок. Как отмечают ряд отечественных и зарубежных специалистов, измениться должны также сами технологии изготовления микросхем. Одно из направлений современных исследований – «трехмерная» упаковка микросхем, где чипы с разным функционалом буквально «наложены» друг на друга для экономии места на плате – что в свою очередь рождает ряд вопросов, связанных с охлаждением таких решений.

Таким образом, дальнейшее развитие суперкомпьютерных архитектур и компонентов, в первую очередь процессоров, диктуется требованиями к снижению энергопотребления и поддержке параллелизма на уровне миллиардов процессов. Технологические вызовы, которые необходимо преодолеть для достижения уровня «экза» сегодня представляются огромными, и начинать работать в этих направлениях необходимо как можно скорее. У ряда отечественных ученых, инженеров здесь есть, насколько мне известно, важные научно-технические заделы…

Что же касается подходов к разработке архитектуры систем уровня экзаскейл, то как правило архитекторы отталкиваются от того, какими характеристиками должны обладать электронные компоненты такой системы с учетом текущих тенденций их развития, и лишь затем пытаются представить, как они будут работать вместе. Это традиционный подход, который мы называем «снизу вверх». Данный подход как правило не дает вразумительного ответа на вопрос, какова будет общая верхнеуровневая архитектура системы и будет ли она работоспособной, возможно ли ее построить и смогут ли компоненты взаимодействовать между собой. Более перспективным ряду специалистов представляется подход к разработке экза-компьютера «сверху вниз»: учитывая технологические ограничения по энергопотреблению, параллелизму и надежности, необходимо рассмотреть архитектуру системы в целом, и, последовательно спускаясь от архитектуры стойки к характеристикам узла и компонентов, оценить, соответствует ли полученный результат требованиям. Очевидна необходимость радикального сокращения площади, занимаемой системой.

Также очевидно, что для создания такой системы требуются передовые технологии изготовления памяти и ее интеграция с процессорами. Дополнительно необходимо рассматривать такие проблемы как целостность сигналов на уровне платы и интеграции оптических трансиверов для объединения модулей и стоек.

– Какие ближайшие планы у Московского университета как национального суперкомпьютерного центра?

– Для реализации обозначенных выше задач Московский университет планирует объявить конкурс на приобретение суперкомпьютера мощностью до 20 петафлопс в 2013 – 2014 годах. Данный уровень производительности обеспечит России место в числе ведущих мировых суперкомпьютерных держав: суперкомпьютер производительностью 20 петафлопс уже построен в США, а к 2014 году такими машинами с использованием национальных технологий будут также владеть Япония, Франция и Китай.

В конце прошлого года для Московского университета был подготовлен технический проект на строительство суперкомпьютера с пиковой производительностью 10 петафлопс. Полным ходом идет строительство инженерной инфраструктуры нового суперкомпьютерного центра в специально выделенном помещении площадью 5000 кв.м. При этом уровень развития отечественных технологий позволяет увеличить пиковую мощностью машины до 20 петафлопс, оставаясь в рамках запланированного энергопотребления и стоимости.

Суперкомпьютер МГУ планируется разместить во вновь построенном здании, где разместятся три уровня системы: центр холодоснабжения и система бесперебойного электропитания, вычислитель с инженерной инфраструктурой и операторские, трансформаторная подстанция и холодильные установки. Мы планируем, что суперкомпьютерный комплекс будет включать параллельную систему хранения данных объемом более 3 Петабайт. Системное программное обеспечение отечественной разработки будет осуществлять прозрачный мониторинг и управление системой, в т.ч. механизмы гибкого управления энергопотреблением системы, обеспечивать механизмы «облачных сервисов», а также будет включать инновационные разработки, позволяющие значительно увеличить скорость выполнения реальных приложений.