Зачем в суперкомпьютерах так много процессоров подумайте любая ли задача
Зачем нужны суперкомпьютеры. Российский производитель суперкомпьютеров – компания «Т-Платформы»
Это - первая часть цикла материалов, посвященных расскажу о компании "Т-Платформы" - российском производителе суперкомпьютеров. В ней речь пойдет о том, что такое суперкомпьютеры, для каких задач они используются, какие у них технологические особенности.
Это первый материал из цикла, посвященного суперкомпьютерам и работе на этом рынке российской компании "Т-Платформы". Материалы созданы на основании интервью с Александром Голубом, директором департамента разработки "Т-Платформ", и Сергеем Клейменовым, главным специалистом по интеграции и внедрению, который занимал пост технического руководителя (так называемый "technical lead") проекта по строительству суперкомьютера JURECA.
Основным направлением деятельности компании "Т-Платформы" является создание суперкомпьютеров как в России, так и за рубежом, хотя сейчас компания активно работает и на других направлениях, в первую очередь это создание и продажа серверов общего назначения, созданных на базе суперкомпьютерных технологий.
Одна из основных особенностей компании состоит в том, что в "Т-Платформах" самостоятельно разрабатывают дизайн шасси, платформ и даже материнских плат и плат расширения (что требует хорошего знания элементной базы и взаимодействия с производителями чипов), а также самостоятельно пишут все управляющее ПО, начиная от микропрограммы для контроллера управления серверной платой (BMC), BIOS-а, плат управления шасси и заканчивая программами для управления ресурсами суперкомпьютеров.
Вычисления повсюду
Несмотря на всю сложность, уникальность и высокую стоимость суперкомпьютеров, все больше частных компаний становятся пользователями подобных систем, и в этом есть экономический смысл. В основе суперкомпьютера лежит довольно простая идея о том, что много одинаковых вычислительных узлов справятся со сложной задачей гораздо быстрее, чем один компьютер. Для этого, правда, большую задачу надо грамотно разделить — обеспечить ее параллельную обработку. Это не всегда возможно, но там, где такой подход реализуем — результаты суперкомпьютерных систем просто фантастические. Дважды в год, в июне и ноябре, независимая организация ТОР500 публикует рейтинг пятисот самых мощных вычислительных систем на планете. В этом списке, который ведется с 1993 года, лидеры постоянно меняются, и на его основе можно проследить, как росла вычислительная мощность суперкомпьютерных систем (их еще называют высокопроизводительными вычислительными кластерами или High Performance Computing Cluster — HPС в англоязычном варианте).
Нынешний лидер ТОР500 — японский суперкомпьютер Fugaku имеет в своем составе 7 630 848 вычислительных ядер и потребляет почти 30 МВт электроэнергии, притом, что он является одной из наиболее энергоэффективных платформ своего класса. Производительность системы составляет более 442 квадриллиона операций с плавающей точкой за секунду (442 петафлопс). Сейчас это лучший показатель в мире, буквально в каждой редакции ТОР500 участники обновляются, появляются новые, а многие системы, которые еще недавно считались передовыми, и вовсе покидают этот престижный рейтинг. Но полутысячей систем суперкомпьютерный мир не ограничивается — в мире сегодня работают десятки тысяч кластеров, не вошедших в рейтинги из-за недостаточности мощности или по иным причинам, созданных для обеспечения максимальной производительности. Многие из них успешно выполняют свои задачи уже много лет подряд.
Нередко суперкомпьютеры воспринимаются как решение, ориентированное на узкий круг научных и государственных задач, обеспечения национальной безопасности. Сегодня HPC-кластер это чаще всего коммерческая система, которая приносит вполне ощутимую пользу компании. Суперкомпьютеры лучше всего справляются с задачами моделирования различных процессов и систем — здесь им попросту нет равных. В прикладной плоскости это означает возможность создания точной цифровой модели чего угодно — от детали двигателя до автомобильного моста, небоскреба, космической ракеты. Возможности здесь безграничны.
Предварительное виртуальное математическое моделирование позволяет существенно ускорить процесс выпуска нового продукта, сократив при этом расходы на его разработку — как минимум, за счет того, что не потребуется создавать много физических прототипов и проводить значительную часть дорогостоящих испытаний. Скажем вместо того, чтобы разбивать в краш-тестах о стену десяток машин на тестовом полигоне в течение недель и месяцев, можно «разбить» сотню виртуальных моделей того же автомобиля за несколько дней при прочностных расчетах, устраняя все выявленные недостатки по мере обнаружения. Физические или «натурные» испытания и эксперименты все равно понадобятся, но в существенно меньшем объеме. Так уже работают все ведущие мировые автопроизводители. Схожая ситуация и в авиационной отрасли. Например, производители самолетов и деталей для них не могут получить доступ на европейский рынок, не предоставив проработанную и детализированную математическую модель своих изделий.
В фармацевтике суперкомпьютеры помогают в сотни раз ускорить процесс поиска действующего вещества, разработки лекарств, поиска побочных эффектов. То, что вакцина от COVID-19 была создана в рекордные сроки — не в последнюю очередь заслуга суперкомпьютерных систем. Используются HPC-кластеры в архитектуре при проектировании зданий, не обойтись без них и в деле разработки двигателей. Иными словами, кроме разгадки тайн мироздания, моделирования погоды и термоядерных реакций синтеза, суперкомпьютеры решают огромный круг вполне прикладных задач, экономя своим владельцам время и деньги. В последнее время HPC-кластеры начали активно использовать для моделирования и обучения искусственного интеллекта. Число таких проектов быстро растет, но пока подавляющее большинство вычислительных машин используется для более традиционных задач. Множество предметов и явлений, которые мы сегодня воспринимаем, как повседневную реальность было создано, прямо или косвенно, с использованием суперкомпьютеров.
5. Piz Daint
Суперкомпьютер Piz Daint достаточно долго (с 2013 до 2018 года) занимал третье место в рейтинге самых мощных вычислительных систем в мире. В то же время он остается самым производительным компьютером Европы. Стоимость проекта составила около 40 млн швейцарских франков.
Модель получила название в честь одноименной территории в Швейцарских Альпах и находится в национальном суперкомпьютерном центре. Оборудование, из которого состоит СуперЭВМ, располагается в 28 стойках. Для работы техники требуется 2,3 МВт электричества, и по этому показателю Piz Daint обеспечивает лучшую удельную производительность – 9,2 Пфлопс/МВт.
В составе ЭВМ есть другой суперкомпьютер Piz Dora, сначала работавший отдельно. После объединения мощностей швейцарские разработчики получили вычислительную систему с 362 тысячами ядер (процессоры Xeon E5-2690v3) номинальной производительностью 21,23 Пфлопс. Максимальная скорость работы – 27 Пфлопс.
Основные задачи суперкомпьютера – расчеты для исследований в области геофизики, метеорологии, физике и климатологии. Одно из приложений для ЭВМ, COSMO, представляет собой метеорологическую модель и используется метеослужбами Германии и Швейцарии для получения высокоточных прогнозов погоды.
Области применения
С точки зрения областей применения суперкомпьютерных систем Россия в целом неоригинальна – так же, как и в остальном мире, у нас суперкомпьютеры работают в основном на благо науки и образования, на подобных системах осуществляют фундаментальные исследования. Правда, в нашей стране на этот сегмент приходится просто львиная доля супермашин – более 40.
Тенденции изменения областей применения суперкомпьютеров в России и странах СНГ за период 2004-2008 гг.
Источник: Научно-исследовательский вычислительный центр МГУ им. М. В. Ломоносова, Межведомственный суперкомпьютерный центр РАН, "Т-Платформы", 2008
Остальные суперкомпьютеры задействованы в промышленности и финансах, а до недавнего времени их применяли еще и в страховании. В то же время, с каждым годом все более очевидным становится тот факт, что в вычислительных системах подобного уровня, так или иначе, нуждаются практически все отрасли.
В серьезных исследованиях и расчетах не обойтись без специальной вычислительной техники, мощность которой во много раз превосходит обычных домашние ПК. Мы расскажем о самых производительных компьютерах, которые выполняют критически важные задачи и служат во благо науки, прогресса и производства.
Модели с огромной производительностью, укомплектованные тысячами процессоров и десятками гигабайт ОЗУ, называются суперкомпьютерами. Самые мощные можно найти в списке TOP500, где первые 5 мест занимают американские модели Summit и Sierra, китайские ЭВМ Sunway TaihuLight и Тяньхэ-2, а также швейцарский Piz Daint.
Поле, полное грабель
Рассказывает Андрей Сысоев, руководитель направления и технический эксперт HPC/AI компании Lenovo в странах Центральной и Восточной Европы.
Многим производственным и инжиниринговым компаниям суперкомпьютеры жизненно необходимы, иначе они попросту потеряют конкурентоспособность на своем рынке. Но есть два важных момента — во-первых, суперкомпьютеры требуют ощутимых финансовых вложений (уникальные решения всегда стоят дорого), а во-вторых, им нужна профессиональная техническая экспертиза и поддержка.
Самый простой путь — приобрести готовый суперкомпьютер. Такие решения для разных задач предлагают некоторые мировые вендоры. Но, подобные системы стоят немалых денег и не всегда подходят для решения каких-то уникальных задач. Второй вариант — в целях экономии сделать суперкомпьютер своими силами, подбирая компоненты из числа доступных на рынке и нанимая внешних специалистов по различным подсистемам (в этой сфере почти нет универсальных экспертов — над созданием машины всегда работает команда). Кому-то методом проб и ошибок удается построить HPC-кластер с нужными характеристиками, но зачастую результат «самодеятельности» далек от ожидаемого, а время реализации проекта увеличивается многократно. Уникальность накладывает свои ограничения. В мире не так уж много специалистов, способных построить настоящий HPC-кластер и обеспечивать его нормальное функционирование.
Типичные ошибки, как правило, начинаются на этапе проектирования. Каждая отрасль, будь то инженерия мостов, фармацевтика или авиапромышленность, имеет свои особенные задачи. Нельзя построить эффективный суперкомпьютер «вообще» — в каждом случае требуется учитывать нюансы конкретного спектра задач (даже в пределах одной отрасли). Проектировщик подобных систем должен разбираться во всех тонкостях создания кластеров и тех задач, которые будет решать машина. Любая ошибка, даже единственный неверно подобранный компонент, может дорого обойтись. Скажем, в одном из проектов от HPC-кластера не удавалось добиться нужных характеристик, оказалось, что причина в соединительных кабелях, на которых решили сэкономить (не уведомив при этом интегратора). Поиск и устранение дефекта заняли полгода, а это прямые потери для бизнеса. Избежать подобной ситуации поможет использование готовых протестированных и сертифицированных референтных (эталонных) архитектур известных мировых производителей. Либо, в случае совсем уж уникальных задач — привлечение специализированных команд глобальных вендоров.
Если проектирование прошло успешно, споткнуться можно на этапе реализации проекта: компоновка и подключение компонентов в суперкомпьютер — это не то же самое, что собрать обычный коммерческий компьютерный комплекс. Здесь нужны специальные навыки, обучение, и огромный практический опыт, не говоря уже о фундаментальных знаниях. Второй момент — программное обеспечение. Для суперкомпьютеров ПО тоже требуется специальное, и в ряде случаев заказчики могут попытаться использовать вместо проверенных и протестированных коммерческих пакетов, продукты c открытым исходным кодом (open source). Это допустимый и даже распространенный вариант. Но он приемлем лишь в том случае, если у компании имеется понимание того, кто будет обеспечивать работоспособность и поддержку платформы на протяжении всего времени эксплуатации HPC-кластера (а это, может быть, десять и более лет). В данном случае наименее рискованным вариантом представляется использование качественного коммерческого ПО с привлечением сертифицированных специалистов для его установки и настройки.
Сложности могут начаться и на этапе эксплуатации кластера и здесь не обойтись без профессиональной технической поддержки. В противном случае заказчик рискует остаться один на один со своими проблемами. Для эффективной эксплуатации необходимы профильные специалисты, которые могут эмулировать нагрузку и умеют работать с прикладным кодом. Суперкомпьютер эффективная, но очень сложная система, на любом этапе проектирования, создания и поддержки которой могут возникнуть технические трудности. Для их преодоления нужны знания и опыт. В то же время, готовых специалистов по HPC на открытом рынке совсем немного (и никто из них не сидит без работы). Так где же их находят?
Рынок суперкомпьютеров - уникальный рынок со своими технологиями, продуктами и решениями
Рынок суперкомпьютеров заметно отличается от рынка серверов общего назначения: здесь используются свои уникальные технологии, свои технические решения, свои серверные платформы и конфигурации, свои виды интерконнекта (связь между серверами) и т.д.
Средний размер системы на этом рынке относительно небольшой: проект в 1000 блейд-систем считается крупным. Но при этом каждый проект имеет свои уникальные особенности, потому что практически везде заказчик выдвигает особые требования: специфические конфигурации, особые виды интерконнекта, своя конструкция стоек, своя конфигурация СХД, особенности помещения и т.д. В результате, каждый проект требует отдельной работы архитекторов и инженеров кластерных решений, которые создают проект с учетом специфики заказчика.
Суперкомпьютер JURECA - один из самых мощных проектов "Т-Платформ".
Кроме того, проекты часто требуют решения различных инженерных задач. В первую очередь это создание инженерных систем для обеспечения работы суперкомпьютера, в первую очередь надежного энергоснабжения и охлаждения. Очень часто требуется адаптировать эти системы (а иногда и вычислительные системы) под особенности помещения.
В "Т-Платформах" есть специалисты, работающие с инженерными системами. Впрочем, они относятся к проектному отделу, а Александр Голуб руководит подразделением разработки. По его словам, он отвечает за создание "кирпичей, из которых строят суперкомпьютеры" - т.е. за разработку и запуск в производство вычислительных серверов и других аппаратных компонентов - плат расширения и пр.
Впрочем, уникальные особенности проекта редко составляют более 15% от общего объема работ. Выбор на рынке все же ограничен, поэтому с подавляющим большинством технологий, продуктов и решений, присутствующих на рынке, специалисты компании уже знакомы, так как сталкивались раньше. Хотя изредка, когда речь идет о совсем экзотических или ультрасовременных технологиях, приходится брать их отдельно и устраивать дополнительное тестирование на своих мощностях, чтобы понять, что это и как оно работает.
На сегодня компанией "Т-Платформы" накоплен огромный объем знаний и опыта, которые позволяют ей оставаться одним из лидеров рынка суперкомпьютеров.
Эти сверхмашины могут выполнять сложнейшие задачи и по своим характеристикам превосходят большинство компьютеров, с которыми мы сталкиваемся в обычной жизни. И хотя суперкомпьютеры до сих пор кажутся чем-то далеким, мы все чаще пользуемся результатами их работы: от поиска в интернете и прогнозов погоды до новейших лекарств и самолетов.
В 2019 году холдинг «Росэлектроника»создал новый суперкомпьютер «Фишер» для Российской академии наук. Разработка Ростеха поможет физикам в решении задач молекулярной динамики. Рассказываем о том, что такое супер-ЭВМ и где они применяются.
Супер-ЭВМ: квадриллион операций в секунду
Точного определения, что такое «суперкомпьютер», не существует. Компьютерная индустрия находится в постоянном развитии, и сегодняшние супермашины завтра уже будут далеко позади. Можно сказать, что суперкомпьютер – это очень мощный компьютер, который способен обрабатывать гигантские объемы данных и производить сложнейшие расчеты. Там, где человеку для вычислений нужны десятки тысяч лет, суперкомпьютер обойдется одной секундой. И если в 1980-х суперкомпьютером в шутку предлагали называть любые ЭВМ, весящие более тонны, то сегодня они чаще всего представляют собой большое количество серверных компьютеров с высокой производительностью, объединенных высокоскоростной сетью.
Современный суперкомпьютер – это огромное устройство, состоящее из модулей памяти, процессоров, плат, объединенных в вычислительные узлы, связанные между собой сетью. Управляющая система распределяет задания, контролирует загрузку и отслеживает выполнение задач. Системы охлаждения и бесперебойного питания обеспечивают беспрерывную работу супер-ЭВМ. Весь комплекс может занимать значительные площади и потреблять огромное количество энергии.
Производительность суперкомпьютеров измеряется во флопсах – количестве операций с плавающей запятой, которые система может выполнять в секунду. Так, например, один из первых суперкомпьютеров, созданный в 1975 году американский Cray-1, мог совершать 133 миллиона операций в секунду, соответственно, его пиковая мощность составляла 133 мегафлопс. А самый мощный на июнь 2019 года суперкомпьютер Summit Ок-Риджской национальной лаборатории обладает вычислительной мощностью 122,3 петафлопс, то есть 122,3 квадриллиона операций в секунду.
Суперкомпьютер «Ломоносов-2». Фото: Т-Платформы
Существует международный рейтинг «Тop-500», который с 1993 года ранжирует самые мощные вычислительные машины мира. Данные рейтинга обновляются два раза в год, в июне и ноябре. В 2019 году в первую десятку входят суперкомпьютеры США, Китая, Швейцарии, Японии и Германии. Единственный отечественный суперкомпьютер в первой сотне рейтинга «Ломоносов-2» из Научно-исследовательского вычислительного центра МГУ производительностью 2,478 терафлопс, занявший в июне 2019 года 93 место.
Чтобы определить мощность суперкомпьютера, или, как его еще называют в английском языке, «числодробилки» (number cruncher), используется специальная тестовая программа, которая предлагает машинам решить одну и ту же задачу и подсчитывает, сколько времени ушло на ее выполнение.
Что могут «числодробилки»
Первые суперкомпьютеры создавались для военных, которые применяли их в разработках ядерного оружия. В современную цифровую эпоху сложные вычисления требуются во многих областях человеческой деятельности. Суперкомпьютеры незаменимы там, где применяется компьютерное моделирование, где в реальном времени обрабатываются большие объемы данных и где задачи решаются методом простого перебора огромного множества значений. «Числодробилки» работают в статистике, криптографии, биологии, физике, помогают предсказывать погоду и глобальные изменения климата.
С развитием информационных технологий и применением их на практике появились новые направления на стыке информатики и прикладных наук – вычислительная биология, вычислительная химия, вычислительная лингвистика и многие другие. Суперкомпьютеры используются для создания искусственных нейросетей и искусственного интеллекта.
Именно сверхмощным компьютерам мы обязаны появлением точных прогнозов погоды. Суперкомпьютеры совершили революцию в медицине, в частности – в диагностике и лечении рака. С их помощью обрабатываются миллионы диагнозов и историй болезней, выявляются новые закономерности развития заболевания и вырабатываются новые способы лечения. Сверхумные машины применяются для расчета химических соединений, на основе которых изготавливаются новые лекарства. Масштабные расчеты помогают в сферах, связанных с проектированием: строительстве, машиностроение, авиастроении и других.
Суперкомпьютер с «бесконечным» масштабированием
В эпоху цифровой экономики и всеобщей цифровизации вычислениям отводится ключевое место. На создание суперкомпьютеров крупнейшие государства выделяют многомиллионные суммы. Эти вложения должны быть постоянными, так как производительность суперкомпьютеров удваивается каждые 1,5 года. Сегодня Россия находится только в начале построения национальной сети сверхмощных машин.
Структуры Ростеха в числе прочих российских предприятий вносят свой вклад в создании отечественной киберинфраструктуры. В сентябре 2019 года холдинг «Росэлектроника» объявил о запуске суперкомпьютера «Фишер» с пиковой производительностью 13,5 Тфлопс и практически неограниченными возможностями для масштабирования. Машина разработана специалистами холдинга для Объединенного института высоких температур Российской академии наук (ОИВТ РАН). Новый суперкомпьютер поможет ученым-физикам в создании цифровых моделей веществ и прогнозе поведения материалов в экстремальных состояниях.
Суперкомпьютер «Фишер» состоит из 24 вычислительных узлов с 16-ядерными процессорами. Для улучшения терморегуляции вычислительного кластера «Фишера» используется иммерсионная (погружная) система охлаждения. Благодаря ей суперкомпьютер не требует специально оборудованных помещений и может работать при температурах от 50 °С до +50 °С. Подобные системы охлаждения применяются сегодня на самых высокопроизводительных машинах мира.
«Фишер» создан на основе коммуникационной сети «Ангара» первого российского интерконнекта, позволяющего объединять группы машин в мощные вычислительные кластеры. С помощью «Ангары» можно соединять тысячи компьютеров разных производителей и с разной архитектурой центральных процессоров. Коммутаторное исполнение «Фишера» позволяет компоновать компьютеры с большей плотностью и в целом облегчает сборку и использование всей системы за счет уменьшения числа кабелей. Модульный характер системы позволяет масштабировать мощность «Фишера» под любые нужды.
Ученые из ОИВТ РАН уже несколько лет используют суперкомпьютер DESMOS мощностью 52,24 Тфлопс, созданный на базе предыдущего поколения сети «Ангара». Его вычислительные мощности оказались настолько востребованы, что было принято решение о создании «младшего брата» этого суперкомпьютера уже на базе нового поколения коммутационной сети.
Что такое суперкомпьютеры и зачем они нужны?
Суперкомпьютер представляет собой систему с чрезвычайно высокой вычислительной производительностью, основная сфера применения этих систем - математическое моделирование физических, биологических и любых других процессов. Переход на использование суперкомпьютеров для задач моделирования - это выход на новый уровень по скорости и эффективности разработки, поэтому количество научных коллективов и частных компаний, использующих в своей работе суперкомпьютеры, постоянно растет.
Моделирование с помощью суперкомпьютеров применяется в самых разных проектах, как чисто научных (моделирование природных процессов, исследования космоса, моделирование ядерных взрывов, исследования в области биологии, включая моделирование работы органов человека, фармакологии, и во многих других областях), так и вполне прикладных - например, обкатка новой модели двигателя для автомобиля, моделирование процессов деформации, температурных режимов и пр. Также суперкомпьютеры значительно ускоряют решение задач численными методами.
Процессоры для суперкомпьютеров
Круг производителей процессоров весьма ограничен. С разной степенью успеха тут традиционно присутствуют 4-5 игроков. При этом, как бы не менялись их рыночные доли, низменно лидирующие позиции всегда оставались за Intel, что характерно как для России, так и для всего мира.
Собственно в России и странах ближнего зарубежья при построении суперкомпьютеров в настоящее время используют процессоры следующих вендоров: Intel, AMD, IBM и HP. В первом полугодии 2005 года были предприняты попытки задействовать в нескольких системах процессоры от Sun Microsystems. Однако на этом практика использования процессоров Sun и ограничилась. Что касается сегодняшнего дня, то подавляющее число российских суперкомпьютерных систем работают на процессорах Intel. Затем со значительным отставанием следуют AMD, IBM и HP.
Компании-производители процессоров суперкомпьютеров в России и странах СНГ за период 2004-2008 гг.
Источник: Научно-исследовательский вычислительный центр МГУ им. М. В. Ломоносова, Межведомственный суперкомпьютерный центр РАН, "Т-Платформы", 2008
С точки зрения типов процессоров, используемых в российских супермашинах, логично доминируют продукты от Intel – целых шесть типов. По одному типу процессора приходится на AMD, IBM и HP.
Типы процессоров в суперкомпьютерах России и стран СНГ за период 2004-2008 гг.
Источник: Научно-исследовательский вычислительный центр МГУ им. М. В. Ломоносова, Межведомственный суперкомпьютерный центр РАН, "Т-Платформы", 2008
Само собой, число применяемых в суперкомпьютерах процессоров с каждым годом неизменно растет. Так, если в 2005 году еще существовали системы, работавшие на 1-8 процессорах, то в середине 2008 года лишь несколько супермашин имели число процессоров от 9 до 16.
Динамика изменения числа процессоров в суперкомпьютерах России и стран СНГ за период 2004-2008 гг.
Источник: Научно-исследовательский вычислительный центр МГУ им. М. В. Ломоносова, Межведомственный суперкомпьютерный центр РАН, "Т-Платформы", 2008
Немногим менее половины систем на тот момент времени были оснащении 129 и более процессорами, все остальные суперкомпьютеры имели от 17 до 128 процессоров.
Что движет миром суперкомпьютеров?
Растущие в цифровой век, как снежный ком, потребности компаний, государства, научных институтов требуют от вычислительных машин все большей мощности. В компьютерах с повышенными способностями, так или иначе, нуждаются практически все отрасли. Прогресс неумолим, и появившиеся суперкомпьютеры с каждым годом становились все более совершенными. На сегодняшний день подобного рода системы имеют производительность уже свыше 100 миллионов операций с плавающей точкой в секунду.
Суперкомпьютер – это, по сути, многомашинный и/или многопроцессорный комплекс, обслуживающий общую совокупность внешних устройств, общую память и иногда распределенный среди разных городов и даже стран мира. Такие аппараты применяются для работы с приложениями, требующими крайне интенсивных вычислений. Отчасти этим суперкомпьютеры отличаются от мэйнфреймов, имеющих высокую производительность и решающих стандартные задачи типа одновременной работы с большим количеством пользователей или обширными базами данных. Подчас супермашины обслуживают всего одно приложение, на которое расходуется мощность всех процессоров и вся память компьютера. Как вариант – они способны поддерживать большое количество небольших приложений.
Что касается России, то исследованием развития суперкомпьютерного сегмента компьютерной техники занимается Научно-исследовательский вычислительный центр МГУ им. М.В. Ломоносова, а также Межведомственный суперкомпьютерный центр РАН. Весной 2004 года эти организации при поддержке российской компании "Т-Платформы" положили начало проекту по созданию списка 50 наиболее производительных компьютеров России и стран СНГ. Список периодически обновляется (два раза в год). По результатам мониторинга в текущий рейтинг попадают машины, продемонстрировавшие на момент сбора информации наибольшую мощность.
Мировой рейтинг суперкомпьютеров
Критерием оценки сегодня служит тест Linpack benchmark. В его основе лежит библиотека, созданная на языке Си (изначально она создавалась с помощью Фортрана) и включающая в себя набор подпрограмм, необходимых для эффективного решения систем линейных алгебраических уравнений. Данный тип библиотеки использовался в суперкомпьютерах периода 1970-х – начала 1980-х годов. После этого эстафету переняла Lapack, ныне работающая на компьютерной технике повышенной производительности. Описываемый тест подсчитывает число операций с плавающей точкой (flops) произведенных за одну секунду и используется при составлении мирового рейтинга, включающего в себя 500 самых мощных суперкомпьютеров планеты.
Время - деньги, или почему ускорение зачастую важнее, чем удешевление
В современном мире время играет не меньшую, а иногда и большую роль, чем деньги. Иногда время вообще становится единственным решающим фактором: если продукт или технология не появились на рынке в нужный срок, то они уже никому не нужны, даже если по остальным направлениям все выглядит неплохо. Математическое моделирование и численные методы стали одним из способов радикально сократить затраты времени и денег на разработку новых технологий и продуктов.
Традиционная физическая модель для продува. Источник
Например, одним из самых сложных и дорогостоящих процессов при создании нового самолета является разработка оптимального планера. Раньше для этого приходилось вручную строить десятки моделей, а потом продувать их в аэродинамической трубе. Компьютерное моделирование позволяет сравнить разные варианты, найти оптимальный и "довести" его, не прибегая постройке моделей и натурным испытаниям. Еще больше выгод компьютерное моделирование предлагает в ситуациях, когда есть несколько вариантов решения и заранее непонятно, какой из них лучше.
Компьютерная модель самолета для анализа внешних воздействий. Источник
К компьютерной модели можно всегда вернуться, чтобы оценить, как она будет вести себя в других условиях эксплуатации. Например, посмотреть, как ракетный двигатель будет работать на другом виде топлива - без создания дорогой и сложной натурной модели.
Пример ПО для расчета аэродинамики. Источник
Наконец, компьютерное моделирование не просто ускоряет разработку отдельного проекта - оно позволяет накапливать новые знания, уточнять параметры взаимодействия моделей и окружающей среды, создавая задел на будущее. Будущие модели будут точнее и лучше, а реализация проектов - быстрее и дешевле.
На сегодня компьютерное моделирование успешно применяется в самых разных отраслях экономики. Например, в геологии суперкомпьютер с помощью специализированного ПО для геологических расчетов позволяет с достаточно высокой точностью оценивать объемы месторождений, планирование добычи и пр. Другой вопрос, что математическое моделирование - это инструмент, а направление и эффективность его использования зависит от тех, кто этим инструментом пользуется. Например, есть общеизвестный пример: использование компьютерного моделирования позволило автопроизводителям более точно рассчитывать износ узлов и агрегатов автомобиля, точно устанавливая срок его службы и вынуждая потребителей покупать новую модель.
Чего один не сделает — сделаем вместе
В странах своего присутствия Lenovo использует как собственных специалистов Professional Services, так и прибегает к помощи глобальных и проверенных партнеров, например, таких как Intel. В частности, поддержку новых сделок и установленных систем по направлению программного обеспечения в России и СНГ со стороны Intel осуществляет сильная команда, которую координирует BDM Ольга Андрианова (с недавнего времени она также сфокусировала усилия на поддержке программной экосистемы ИИ Intel в России).
Компания Lenovo развивает сотрудничество и с ведущими российскими специалистами в области построения и внедрения суперкомпьютерных систем. Например, с Денисом Шагеевым, большинство проектов которого входят в ТОП-50 суперкомпьютеров РФ.
Выбор технического партнера в случае создания и эксплуатации суперкомпьютера — чрезвычайно ответственная задача, определяющая успех всего проекта на долгие годы. Подойти к этому вопросу надо как можно более обстоятельно, как минимум стоит тщательно изучить доступные варианты и проконсультироваться со специалистами в вашем регионе.
Что такое суперкомпьютеры и зачем они нужны?
Суперкомпьютер представляет собой систему с чрезвычайно высокой вычислительной производительностью, основная сфера применения этих систем - математическое моделирование физических, биологических и любых других процессов. Переход на использование суперкомпьютеров для задач моделирования - это выход на новый уровень по скорости и эффективности разработки, поэтому количество научных коллективов и частных компаний, использующих в своей работе суперкомпьютеры, постоянно растет.
Моделирование с помощью суперкомпьютеров применяется в самых разных проектах, как чисто научных (моделирование природных процессов, исследования космоса, моделирование ядерных взрывов, исследования в области биологии, включая моделирование работы органов человека, фармакологии, и во многих других областях), так и вполне прикладных - например, обкатка новой модели двигателя для автомобиля, моделирование процессов деформации, температурных режимов и пр. Также суперкомпьютеры значительно ускоряют решение задач численными методами.
Что такое суперкомпьютер
СуперЭВМ – название, которое получают специализированные вычислительные машины, превосходящие по характеристикам и скорости вычисления большинство обычных компьютеров.
Суперкомпьютер состоит из большого количества многоядерных систем, объединенных в общую систему для получения высокой производительности. Еще одно отличие от обычных ПК – большие размеры. Техника располагается в нескольких помещениях, занимая целые этажи и здания.
Первым настоящим суперкомпьютером считается собранный в 1974 году в США ПК Cray-1. Благодаря поддержке векторных операций модель выполняла до 180 млн вычислений с плавающей точкой в секунду (флопс). Большая часть суперЭВМ по-прежнему собирается и используется в Соединенных Штатах, следующими по количеству такой техники идут Китай и Япония.
4. Тяньхэ-2
Суперкомпьютер Tianhe-2 («Млечный путь»), а, точнее, уже дополненная и модернизированная версия 2А, была разработана сотрудниками компании Inspur и научно-технического университета Народно-освободительной армии Китая. В июле 2013 года модель считалась самой производительной в мире и уступила пальму первенства только другому китайскому компьютеру TaihuLight. На сборку ЭВМ потратили около 200 млн долларов.
Сначала вычислительная система находилась на территории университета, а затем была перемещена в суперкомпьютерный центр в Гуанчжоу. Общая площадь, которую она занимает – около 720 кв. м. Энергопотребление модели составляет 17,8 МВт, что делает ее использование менее выгодным по сравнению с более современными версиями.
Техника построена на базе 80 тысяч ЦПУ Intel Xeon и Xeon Phi. Объем оперативной памяти – 1400 Гбайт, количество вычислительных ядер – больше 3 миллионов. На суперкомпьютере установлена операционная система Kylin Linux. Первые показатели работы системы – 33,8 Пфлопс, современная модификация достигает скорости вычислений 61,4 Пфлопс, максимальная – 100,679 Пфлопс.
СуперЭВМ создали по требованию китайского правительства, его основными задачами являются расчеты для проектов национального масштаба. С помощью системы решаются вопросы безопасности Китая, выполняется моделирование и анализ большого количества научной информации.
Эксплуатация суперкомпьютера — где найти команду
Для начала давайте разберемся, какие специалисты нужны для создания суперкомпьютера. В общем случае требуется несколько особенных специальностей:
- Архитектор-проектировщик,
- Системный администратор — эксперт в области высокопроизводительных вычислений,
- Методолог (один или несколько).
Последняя профессия встречается особенно редко, поскольку методологи должны уметь работать с прикладным кодом, чтобы обеспечить максимальную скорость вычислений кластера.
Существенная проблема заключается в том, что среди «суперкомпьютерщиков» развита узкая специализация. Один — эксперт по файловым системам, другой, досконально знает системы управления аппаратурой или знание сетевых технологий, третий обладает глубоким опытом масштабирования приложений и прикладных задач. Универсальные профессионалы фактически отсутствуют (за исключением небольшого круга уникальных экспертов, которые давно работают в штате мировых производителей).
Итак, какие же варианты существуют, если вы решили эксплуатировать суперкомпьютер своими силами, и нужна соответствующая команда? Если речь идет о крупной компании, можно, например, выращивать собственных специалистов — вкладывать деньги в их обучение, ждать, долгое время мириться с неизбежными ошибками. Но, все равно, нет гарантий того, что такой внутренний эксперт сможет в результате выполнять работу качественно, а если вам удастся воспитать действительно ценного специалиста, то не исключено, что его «перекупят».
Компоновка и подключение компонентов в суперкомпьютер — это не то же самое, что собрать обычный коммерческий компьютерный комплекс
Сергей Плаксунов, руководитель отдела Lenovo Professional Services компании Lenovo: «Наша команда Professional Services состоит из опытных технических консультантов с разнообразными навыками, которые рассредоточены по миру и обеспечивают локальное присутствие службы технической поддержки в разных странах. Специалисты Lenovo обслуживают и развивают множество суперкомпьютерных проектов, сопровождая созданные и настроенные решения даже после внедрения. Если мы говорим о развитии, то с Professional Services расширение возможностей HPC-кластера происходит в разы быстрее, поскольку специалистам знакома инфраструктура заказчика и ее возможности. К тому же большое количество реализованных проектов позволяет специалистам Lenovo использовать огромный накопленный опыт для оптимизации и ускорения новых внедрений с учетом уникальности каждого заказчика».
Такой подход позволяет всегда учитывать последние тенденции индустрии и использовать опыт внедрений со всего мира. Кстати, привлекать можно как готовую команду, так и отдельных экспертов, если, например, у компании уже есть специалисты с некоторыми компетенциями. Сотрудники Professional Services также проводят профессиональное обучение сотрудников заказчика и всегда остаются на связи, сопровождая и поддерживая созданное решение. Кстати, в новейшем рейтинге ТОР500, упомянуты десятки суперкомпьютеров, созданных специалистами Lenovo (184 системы производства Lenovo или каждый третий суперкомпьютер рейтинга), а в целом, силами вендора успешно построены сотни HPC-кластеров по всему миру. Многие из этих систем также обслуживаются специалистами Lenovo.
Конечно, на рынке имеются и другие производители с необходимыми компетенциями. Но, осуществляя выбор, стоит обратить внимание на ряд важных факторов. Скажем, компания должна иметь навыки не только по созданию и запуску суперкомпьютеров, но также обладать опытом их успешной эксплуатации и поддержки. К сожалению, ситуации, когда заказчику построили суперкомпьютер, а потом оставили один на один с проблемами эксплуатации, встречаются нередко. В результате, решая инциденты своими силами, компания неэффективно расходует огромные средства. Не менее важна и кадровая локализация. Важно, чтобы техническая поддержка располагалась в той же стране, где и сам суперкомпьютер. На практике это существенно сказывается на эффективности решения задач заказчика. Специфика страны также играет немаловажную роль. Скажем, в России зарубежные технические специалисты не всегда могут попасть на площадку установки системы, а удаленный доступ запрещен политикой безопасности предприятия.
Спец ПО
На сегодняшний день ранжировать софт по признаку предназначенности для использования на обычных компьютерах или на супермашинах становится все сложнее. Этому способствует, в частности, экспансия технологий многоядерности и параллелизации в процессоры рабочих станций и "персоналок".
Динамика изменения количества вычислительных ядер в суперкомпьютерах России и стран СНГ за период 2004-2008 гг.
Источник: Научно-исследовательский вычислительный центр МГУ им. М. В. Ломоносова, Межведомственный суперкомпьютерный центр РАН, "Т-Платформы", 2008
"Непокоренными" программными средствами, работающими только на суперкомпьютерах отныне можно назвать, пожалуй, лишь неповторимые программные среды, написанные под местные, уникальные конфигурации суперкомпьютерных систем. Сюда же можно отнести и те, что применяются в конкретных сверхмощных машинах для их мониторинга и управления.
1. Summit
Суперкомпьютер Summit, созданный американской компанией IBM для Национальной лаборатории в Окридже. Технику ввели в эксплуатацию летом 2018 года, заменив модель Titan, которая считалась самой производительной американской СуперЭВМ. Разработка лучшего современного суперкомпьютера обошлась американскому правительству в 200 млн долларов.
Устройство потребляет около 15 МВт электроэнергии – столько, сколько вырабатывает небольшая ГЭС. Для охлаждения вычислительной системы используется 15,1 кубометра циркулирующей по трубкам воды. Сервера IBM расположены на площади около 930 кв.м – территория, которую занимают 2 баскетбольные площадки. Для работы суперкомпьютера используется 220 км электрокабелей.
Производительность компьютера обеспечивается 9216 процессорами модели IBM POWER9 и 27648 графическими чипами Tesla V100 от Nvidia. Система получила целых 512 Гбайт оперативной и 250 Пбайт постоянной памяти (интерфейс 2,5 Тбайт/с). Максимальная скорость вычислений – 200 Пфлопс, а номинальная производительность – 143,5 Пфлопс.
По словам американских ученых, запуск в работу модели Summit позволил повысить вычислительные мощности в сфере энергетики, экономическую конкурентоспособность и национальную безопасность страны. Среди задач, которые будут решаться с помощью суперкомпьютера, отмечают поиск связи между раковыми заболеваниями и генами живого организма, исследование причин появления зависимости от наркотиков и климатическое моделирование для составления точных прогнозов погоды.
3. Sunway TaihuLight
Китайская СуперЭВМ удерживала лидирующую позицию в рейтинге TOP500 с 2016 до 2018 года. В соответствии с тестами LINPACK ее считали самым производительным суперкомпьютером, минимум в полтора раза превосходящим ближайшего конкурента и втрое опережающим самую производительную американскую модель Titan. Разработка и строительство вычислительной системы обошлось в 1,8 млрд. юаней или 270 млн долларов. Инвесторами проекта были правительство Китая, администрация китайской провинции Цзянсу и города Уси.
Суперкомпьютер потребляет 15,3 МВт электроэнергии и занимает площадь 605 кв.м. Расположен он на территории города Уси, в национальном суперкомпьютерном центре. Название модели дали в честь расположенного рядом озера Тайху, третьего по величине пресноводного водоема Китая.
Наличие в конструкции ЭВМ 41 тысячи процессоров SW26010 и 10,6 миллиона ядер позволяет ей проводить расчеты со скоростью 93 Пфлопс. Максимальная производительность – 125 Пфлопс. Переход на чипы китайского производства потребовал от разработчиков создания полностью новой системы. До этого предполагалось в 2 раза повысить производительность другой китайской СуперЭВМ Тяньхэ-2, но эти намерения пришлось изменить из-за проблем с поставками процессоров Intel из США.
Модель Sunway TaihuLight применяется для выполнения сложных вычислений в области медицины, горнодобывающей промышленности и производстве. С помощью вычислительной машины прогнозируют погоду, исследуют новые лекарства и анализируют «большие данные» – массивы информации, обработать которые не получится даже у самого мощного серийного компьютера.
Назначение суперкомпьютеров
Суперкомпьютеры решают разнообразные задачи – от сложных математических расчетов и обработки огромных массивов данных до моделирования искусственного интеллекта. Есть модели, воспроизводящие «архитектуру» человеческого мозга. На СуперЭВМ проектируют промышленное оборудование и электронику, синтезируют новые материалы и делают научные открытия.
Автомобилестроительные компании используют суперкомпьютеры для имитации результатов краш-тестов, экономя средства на настоящих испытаниях. Подходит такая мощная техника и для разработки новых двигателей, позволяя моделировать специальный температурный режим и процессы деформации. С ее же помощью можно прогнозировать метеорологические явления и даже землетрясения.
2. Sierra
Второй американский суперкомпьютер Sierra (ATS-2) тоже выпущен в 2018 году и обошелся Соединенным Штатам примерно в 125 миллионов долларов. По производительности он считается вторым, хотя по среднему и максимальному уровню скорости вычислений сравним с китайской моделью Sunway TaihuLight.
Расположена СуперЭВМ на территории Национальной лаборатории имени Э. Лоуренса в Ливерморе. Общая площадь, которую занимает оборудование, составляет около 600 кв.м. Энергопотребление вычислительной системы – 12 МВт. И уже по соотношению производительность к расходу электричества компьютер заметно обогнал конкурента из КНР.
В системе используется 2 вида процессоров – серверные ЦПУ IBM Power 9 и графические Nvidia Volta. Благодаря этим чипам удалось повысить и энергоэффективность, и производительность. 4320 узлов со 190 тысячами ядер обеспечивают вычисления на скорости 94,64 петафлопс. Максимальная производительность – 125,712 Пфлопс или 125 квадриллионов операций с плавающей точкой в секунду.
Новую систему предполагается использовать в научных целях. В первую очередь – для расчетов в области создания ядерного оружия, заменяя вычислениями подземные испытания. Инженерные расчеты с помощью Sierra позволят разобраться и с ключевыми вопросами в области физики, знание которых позволит совершить ряд научных открытий.
Кто использует моделирование с помощью суперкомпьютеров
Компьютерное моделирование широко применяется подавляющим большинством компаний, занимающихся разработкой новых технологий и продуктов, а количество специализированного ПО для моделирования на все случаи жизни достаточно велико. Правда, даже сегодня многие компании не осознают до конца преимуществ высокопроизводительных систем и не исследуют возможности их использования для своих задач. Много где моделирование до сих пор осуществляется на рабочих станциях, из-за чего выполнение проектов занимает довольно много времени.
ПО для моделирования ракет. Источник
Сегодня ресурсы суперкомпьютеров в значительной степени используются для решения научных задач, а главным заказчиком является научное сообщество. Суперкомпьютеры обслуживают научные расчеты в огромном количестве самых разных областей науки, таких как биотехнологии (например, это одно из популярных направлений для суперкомпьютеров в МГУ), фармацевтика, фармакология, аэродинамика и авионика, гидродинамика и кораблестроение, двигателестроение, ракетные двигатели и ракетные технологии, энергетика, добыча полезных ископаемых и огромное количество других направлений.
ПО для работы с генетической информацией ДНК. Источник
Сверхсовременный компьютер "Ломоносов-2", построенный компанией "Т-Платформы" для МГУ, постоянно занят, как и ранее построенный, но остающийся в строю "Ломоносов" - к ним стоит внушительная очередь на расчеты из научных проектов. Примерно та же картина и для других суперкомпьютеров - как у нас, так и в западных странах.
Впрочем, преимущества суперкомпьютера раскрываются в решении крупных прикладных и научных задач. Для распространенных прикладных задач существует специализированное ПО: пакеты ANSYS, Solidworks (эти компании имеют большое количество продуктов под решение разных задач), Abaqus, Deform 3D, Flow Vision, Open FOAM, Autodesk Simulation и многие другие. Разные продукты оптимизированы под решение разных типов задач, некоторые производители поддерживают широкую линейку продуктов, некоторые сосредотачиваются на определенных направлениях.
А вот при решении задач в рамках научных исследований ПО для расчетов часто приходится разрабатывать самостоятельно.
Пример расчета аэродинамики в ПО ANSYS. Источник
Также нужно понимать, что суперкомпьютер - очень дорогая игрушка, и следует трезво оценивать экономическую эффективность его использования. Строить свой собственный суперкомпьютер имеет смысл, если у компании постоянно есть задачи и проекты, требующие значительных вычислительных ресурсов. Например, Росгидромету для моделирования погодных условий постоянно требуются вычислительные ресурсы, и в этом случае вполне логично иметь собственное решение. Если же серьезные вычислительные ресурсы нужны время от времени, то более выгодно брать эти ресурсы в аренду.
Читайте также: