Принципы работы компьютера ломоносова
Использование
Суперкомпьютерные ресурсы МГУ используется, в первую очередь, для выполнения фундаментальных научных исследований, требующих ресурсоемких вычислений. Среди таких задач - масштабные работы по глобальному изменению климата и динамике мирового океана, обработке сейсмических данных, постгеномной медицине, механизмам формирования галактик и другие.
Одной из наиболее известных задач, которая решалась с помощью «Ломоносова», можно назвать запуск на нем модели развития социально-экономической системы России на 50 лет вперед.
Помимо собственных научных коллективов доступ к суперкомпьютеру предоставляется и сторонним исследователям. К примеру, специалисты ИПМ им. М.В. Келдыша РАН использовали суперкомпьютер «Ломоносов» для масштабного моделирования задач аэроакустики, под которое задействовали до 12 800 ядер вычислительной системы.
Коммуникационная и инженерная инфраструктура
Все вычислительные узлы установки и систему хранения данных связывает коммуникационная сеть QDR InfiniBand с пропускной способностью до 40 Гбит/с. В качестве дополнительных сетей используются 10-Gigabit Ethernet и Gigabit Ethernet, а также выделенные фирменные сети поддержки коллективных коммуникаций.
Системная сеть обеспечивает коммуникации между процессами параллельных приложений на вычислительных узлах при использовании протокола MPI, а также доступ служебных серверов и всех вычислительных узлов к параллельной файловой системе. Сеть (топология Клоса), построенная на базе технологии QDR InfiniBand, обеспечивает полную бисекционную пропускную способность.
Сегодня страна покинула задворки индустрии HPC — отечественные высокопроизводительные системы все чаще попадают в рейтинг Top500, а российская суперкомпьютерная отрасль совершила рывок вперед, что породило, вместе с тем, ряд мифов.
Управляющая сеть обеспечивает коммуникации между всеми узлами вычислителя и служебными серверами по протоколам ssh, IPMI и iKVM. Она построена на базе технологий 10-Gigabit Ethernet и Gigabit Ethernet.
Сервисная сеть предоставляет инфраструктуру для управления вычислительными узлами, служебными серверами, коммутаторами управляющей сети, серверами системы хранения, основным хранилищем и хранилищем метаданных, а также серверами и коммутаторами кластера сбора статистики, серверами архивирования и ленточной библиотекой системы архивирования, кондиционерами климатической системы, источниками бесперебойного питания, водоохлаждающей машины. Сеть построена на базе стандартов семейства Ethernet и выполнена в виде независимых от управляющей сети сегментов Ethernet с маршрутизацией между ними.
Сеть барьерной синхронизации предназначена для повышения эффективности операций барьерной синхронизации во время выполнения параллельных приложений. Сеть глобальных прерываний служит для синхронизации прерываний ядра ОС, используемых для работы внутренних таймеров ядра ОС, на всех вычислительных узлах, подключенных к сети. Сети барьерной синхронизации и глобальных прерываний реализованы в виде отдельной коммуникационной инфраструктуры, отличной от системной, управляющей и сервисной сетей.
Система бесперебойного энергоснабжения суперкомпьютера «Ломоносов» состоит из двух модульных источников бесперебойного питания APC Symmetra MW 1600, подключаемых к автоматическим выключателям главного распределительного щита, и выходных распределительных щитов системы бесперебойного энергоснабжения (чистого электропитания). В состав системы энергоснабжения входят свинцово-кислотные необслуживаемые герметичные батареи Exide Marathon L H4 06/165, емкости которых в конце срока службы хватает для обеспечения автономной работы комплекса в течение 10 минут. Общая мощность системы энергоснабжения составляет 2800 кВт при уровне резервирования N+1.
Охлаждение вычислительного комплекса строится с использованием внутрирядных кондиционеров — шкафы с оборудованием размещаются в помещении машинного зала для образования «горячих» и «холодных» коридоров. Кондиционеры забирают нагретый воздух из «горячего» коридора и подают охлажденный в «холодный». В качестве хладоносителя в кондиционерах помещений вычислительного комплекса используется вода, емкость баков для которой рассчитана таким образом, чтобы запаса холодной воды в них было достаточно для охлаждения всего оборудования вычислительного комплекса в течение не менее 10 минут с последующим охлаждением критичного оборудования вычислительного комплекса в течение не менее 20 минут.
2014: Снижение позиции в рейтинге Топ 500
18 ноября 2014 год СМИ сообщили [2] о новом результате кластера «Ломоносов», размещенного в МГУ.
По сравнению с 2013 годом, «Ломоносов» спустился на 16 позиций в рейтинге Топ 500 и занял 58 строку с результатами тестов 1,7 Пфлопс и 0,9 Пфлопс по Linpack, соответственно.
История
Загрузка «Ломоносова»
Каждый день на суперкомпьютере выполняется в среднем около 700 вычислительных задач — очередь пользовательских заданий держится на уровне 150–200 задач. Примерно половина научных групп для выполнения расчетов используют прикладные пакеты, 61% использует технологию MPI, 21% — OpenMP, а 26% — их комбинацию. При этом для 71% пользователей принципиально важны вычисления над вещественными числами с двойной точностью.
![]() |
Рис. 2а. Статистика по суперкомпьютеру «Чебышев» |
![]() |
Рис. 2б. Статистика по суперкомпьютеру «Ломоносов» |
Примечательна статистика по количеству процессоров, используемых приложениями. Если посмотреть на рис. 2а, где показана статистика по суперкомпьютеру «Чебышев», то видно, что большинство пользователей запускают приложения, требующие до 64 процессоров, а по «Ломоносову» картина иная (рис. 2б). Больших задач, требующих серьезных вычислительных ресурсов, действительно много, а появление новых идей и моделей зависит, в частности, от инструментов, которыми располагают исследователи.
Статья подготовлена на основе материалов доклада «Суперкомпьютерный комплекс МГУ: архитектура, пользователи, задачи» (А. С. Антонов, П. А. Брызгалов, Вад. В. Воеводин, Вл. В. Воеводин, С. А. Жуматий, Д. А. Никитенко, С. И. Соболев, К. С. Стефанов), предоставленного авторами оргкомитету III Московского суперкомпьютерного форума (МСКФ-2012, грант Российского фонда фундаментальных исследований 12-07-06085-г).
Суперкомпьютер «Ломоносов» был установлен в МГУ в 2009 г. По состоянию на начало 2013 г. его пиковая производительность составляет 1,7 Пфлопс, а реальная производительность – около 900 Тфлопс. C этой же мощностью в редакции рейтинга Топ-50 мощнейших вычислительных систем России и СНГ за сентябрь 2013 г. эта система занимает первое место. В мировом рейтинге Топ-500 за июнь 2013 г. «Ломоносов» занимает 31-ю строчку.
2013: Суперкомпьютер «Ломоносов» вышел из комы
После почти трехмесячного сбоя работа суперкомпьютера «Ломоносов» восстановлена, сообщили TAdviser в Научно-исследовательском вычислительном центре МГУ (НИВЦ МГУ) в начале октября 2013 г. По словам представителя центра, ввод в строй вычислительных узлов системы велся постепенно с начала сентября, и к концу месяца они стали доступны для пользователей в полном объеме.
«Одна сгорела еще в мае во время счета больших задач, вторая - в июне, когда проходила летняя школа по параллельным вычислениям и была жара в Москве», - говорит сотрудник МГУ.
Перебои возникли и с электроснабжением второго крупнейшего суперкомпьютера МГУ – «Чебышев», однако в середине июля НИВЦ МГУ сообщал о восстановлении работы примерно половины его вычислительных узлов.
Сообщалось также, что на функционирующей электроподстанции работает служебная часть «Ломоносова», к которой пользователям открыли доступ того, чтобы те могли скопировать нужные данные с файловой системы при необходимости. Ожидаемые сроки устранения последствий аварии в НИВЦ МГУ назвать затруднялись, отмечая, что это «технологически очень сложные работы».
В августе недовольные длительной недоступностью «Ломоносова» пользователи организовали сбор подписей для подачи петиции ректору МГУ Виктору Садовничему с просьбой принять срочные меры для восстановления работоспособности суперкомпьютерного комплекса.
«Научная работа сотни ученых фактически полностью встала - как если бы людям просто закрыли доступ в лабораторию! Многие студенты и аспиранты оказались в безвыходной ситуации: для подготовки дипломных и кандидатских работ им необходимо проводить расчеты!», - говорится в петиции и там же отмечается, что сегодня большая часть теоретических работ по физике, химии, биологии, математике и информатике и другим наукам требует детальных компьютерных расчетов.
Стоит отметить, что перебои в электроснабжении суперкомпьютерного комплекса, из-за которых нарушалась его работа, правда, на значительно меньший срок, наблюдались и ранее. Например, в ноябре 2012 г. Тогда в НИВЦ МГУ их связывали с «техническими проблемами в энергосистеме г. Москвы».
ПО и файловая система
Суперкомпьютеры становятся все мощнее, но насколько создаваемые сейчас системы ориентированы на потребности конечного пользователя?
Для централизованного администрирования суперкомпьютера используется набор программных компонентов Clustrx компании «Т-Платформы», обеспечивающих управление ресурсами, мониторинг и функционирование сервисных узлов. Clustrx включает в себя: ОС на базе Linux (CentOS 6.1); ОС вычислительных узлов на базе Linux; набор оптимизированных математических библиотек и комплект средств разработки; систему мониторинга и управления вычислительным комплексом Clustrx Watch; систему автоматического отключения оборудования и систему управления ресурсами.
Сегодня в разных регионах мира активизировались работы по эволюционным и инновационным направлениям развития суперкомпьютеров. О каких решениях идет речь и как обстоит ситуация с их реализацией в России?
Виктор Горбунов, Георгий Елизаров, Леонид Эйсымонт
Для решения широкого спектра прикладных задач на суперкомпьютере установлен ряд программных пакетов, таких как VASP, WIEN2k, Gaussian, CRYSTAL, MOLPRO, Turbomole, Accelrys Materials Studio, MesoProp, MOLCAS. Для разработки собственных приложений программисты могут использовать компиляторы языков Cи/C++/Фортран с поддержкой стандарта OpenMP: GCC, Intel ICC/IFORT, PathScale, PGI. В состав математических библиотек системного ПО вычислительного комплекса входят ScaLAPACK, ATLAS, IMKL, AMCL, BLAS, LAPACK, FFTW, оптимизированные под архитектуру вычислительных узлов на платформе x86, а также cuBLAS, cuFFT, MAGMA, cuSPARSE, CUSP, cuRAND, оптимизированные под GPU. В распоряжении пользователей имеются также средства отладки приложений: Intel VTune, Allinea DDT, RogueWavе TotalView и ThreadSpotter.
Многоуровневая система хранения данных суперкомпьютера состоит из трех частей. Быстрое хранилище (уровень 1) емкостью до 500 Тбайт предназначено для проведения расчетов, оно строится на основе параллельной файловой системы lustre и доступно со всех узлов (вычислительные узлы, узлы доступа и узлы компиляции). Основное хранилище (уровень 2) предназначено для хранения рабочих данных задач пользователей и доступно по NFS с узлов доступа и компиляции. Общий объем этого хранилища — 312 Тбайт. Хранилище архивных данных (уровень 3) размещается на ленте и имеет объем 580 Тбайт.
Основная информация по работе на суперкомпьютере "Ломоносов"
Внимание! Информация здесь может быть устаревшей, более актуальную смотрите здесь .
На суперкомпьютере используется система управления очередями Slurm, информацию об основных командах смотрите ниже. Узлы суперкомпьютера разделены на несколько разделов (очередей). Основная очередь - regular4. Есть раздел test, предназначенный для отладки приложений.
В качестве общей файловой системы на вычислительных узлах используется Lustre, на головных узлах раздел Lustre находится в каталоге ~/_scratch.
На суперкомпьютере используется пакет modules для управления окружением компиляции и запуска. Перед компиляцией Вам необходимо загрузить модули для компилятора, реализации MPI, и, возможно, другие, нужные для вашей программы. Список модулей получается командой module avail. Загрузить модуль можно командой module add ИМЯ_МОДУЛЯ.
Например, для компиляции программы компилятором Intel с OpenMPI и библиотекой выполните команды:
module add openmpi/1.5.5-icc
module add intel/13.1.0
module add mkl/4.0.2.146
Обратите внимание, точные имена модулей могут отличаться.
Получить список активных подулей можно командой module list, выгрузить модуль - командой module rm.
Загруженные модули не сохраняются между сессиями, если вам нужно всегда использовать один набор модулей, допишите нужные команды в файл ~/.bashrc.
Запуск программы осуществляется только из каталога ~/_scratch и его подкаталогов. Только этот каталог будет виден на вычислительном узле и именно он будет считаться домашним каталогм. Поэтому перед запуском вам необходимо скопировать все данные и исполняемые файлы в каталог ~/_scratch. Также перед запуском обязательно нужно загрузить соответствующий модуль для MPI и, если нужно, дополнительные, такие как MKL, CUDA и т.п.
Запуск (точнее, постановка в очередь) осуществляется командой sbatch. Команда sbatch ставит в очередь только скрипты, и запуск MPI-приложений должен осуществляться особым образом (sbatch не "знает" как их правильно запускать), поэтому для IntelMPI-приложений используется скрипт impi, для OpenMPI - ompi. Для запуска не MPI-приложения используйте скрипт run.
Например, запуск IntelMPI-приложения на 1024 ядра:
sbatch -n1024 impi path/to/my/application
Часто используемые ключи команды sbatch:
-n NNN - число требуемых ядер
-N NNN - число требуемых узлов
--ntasks-per-node=NNN - число процессов на узел
-p NAME - имя раздела (очереди)
-t MINS - лимит времени работы задачи в минутах
-o/-e/-i - перенаправление ввода/ошибок/вывода в файл
Например, если вам необходимо запустить задачу гибридную MPI+OpenMP прогпрамму на 512 ядер, но на каждом узле запустить только 2 MPI-процесса, используйте ключи -n512 --ntasks-per-node=2. Не используйте вместе ключи -n и -N, их комбинация не работает. Для запуска в очереди test используйте ключ -p test.
Просмотр задач в очереди - командой squeue, команда sinfo выдаст краткую информацию об очереди (без списка задач). Снять задачу со счёта или из очеред можно командой scancel. Подробнее о командах можно узнать в документации командой man имя_команды.
Иногда высказывается мнение, что, хотя суперкомпьютеры и становятся все мощнее, они не всегда ориентированы на потребности конечного пользователя и используются неэффективно. Опыт эксплуатации суперкомпьютера «Ломоносов» показывает, что это не так.
17.09.2012 Владимир Воеводин, Сергей Жуматий, Сергей Соболев, Александр Антонов, Петр Брызгалов, Дмитрий Никитенко, Константин Стефанов, Вадим Воеводин
- Ключевые слова / keywords:
- Приложения
- Суперкомпьютеры
Иногда высказывается мнение, что, хотя суперкомпьютеры и становятся все мощнее, они не всегда ориентированы на потребности конечного пользователя и используются неэффективно. Опыт эксплуатации суперкомпьютера «Ломоносов» для решения больших задач показывает, что это не так.
Список Graph500 претендует на более адекватное, чем в Top500, отражение рейтинга суперкомпьютеров, способных обрабатывать большие массивы данных. Что побудило создать очередной тест и в чем его суть?
Леонид Эйсымонт, Александр Фролов, Александр Семенов
Суперкомпьютер «Ломоносов» был установлен в МГУ имени М. В. Ломоносова в 2009 году, и на момент запуска его пиковая производительность составляла 420 TFLOPS, что соответствовало тогда первой строке в рейтинге самых мощных компьютеров СНГ и стран Восточной Европы и двенадцатой — в рейтинге Top500 (ноябрь 2009 года). На суперкомпьютере работало 250 пользователей из МГУ, а его ресурсы предоставлялись более чем 50 организациям — подразделениям МГУ, институтам РАН и др. Уже спустя год доступных ресурсов этой системы стало недостаточно — запросы пользователей превысили имеющиеся вычислительные мощности, поэтому была выполнена серия расширений, в результате которых (табл. 1) осенью 2012 года «Ломоносов» оказался на 22-й позиции рейтинга Top500 с пиковой производительностью 1,7 PFLOPS и на 13-м месте в рейтинге Graph500.
Общая схема архитектуры суперкомпьютера представлена на рис. 1. Основу вычислительного комплекса составляет платформа T-Blade 2 от компании «Т-Платформы», представляющая собой шасси 7U для установки в стандартную 19-дюймовую стойку, которая содержит: 16 вычислительных модулей, подключаемых в «горячем» режиме; два интегрированных коммутатора QDR InfiniBand; интегрированный управляющий модуль; блок воздушного охлаждения и блоки питания. В суперкомпьютере используются восемь видов вычислительных узлов и процессоры с различной архитектурой, что позволяет получить необходимую производительность для широкого спектра приложений. Кроме классических многоядерных узлов архитектуры x86 на базе четырехъядерных и шестиядерных процессоров Intel Xeon X5570 Nehalem и X5670 Westmere, в системе имеются гибридные узлы TB2-TL на процессорах Intel Xeon и Nvidia Tesla, а также узлы на процессорах PowerXCell 8i (табл. 2).
![]() |
Рис. 1. Схема архитектуры суперкомпьютера «Ломоносов» |
Процессоры узла | Число процессорных ядер на узел | Объем памяти узла (Гбайт) | Локальные диски | Число узлов |
2 x Xeon 5570/2,93 ГГц | 8 | 12 | нет | 4160 |
2 x Xeon 5570/2,93 ГГц | 8 | 24 | есть | 260 |
2 x Xeon 5670/2,93 ГГц | 12 | 24 | нет | 640 |
2 x Xeon 5670/2,93 ГГц | 12 | 48 | есть | 40 |
2 x PowerXCell 8i/3,2 ГГц | 18 | 16 | нет | 30 |
2 x Xeon E5630/2,53 ГГц, 2 x Tesla X2070 | 8+896 CUDA-ядер | 12 | нет | 777 |
2 x Xeon E5630/2,53 ГГц, 2 x Tesla X2070 | 8+896 CUDA-ядер | 24 | нет | 288 |
Xeon X7560/2,26 ГГц | 128 | 2000 | нет | 1 |
Задачи для «Ломоносова»
Среди задач, решаемых сегодня на суперкомпьютере, можно отметить следующие: проектирование новых материалов, оптимизация нефте- и газодобычи, моделирование полимерных систем нового поколения, проектирование бронежилетов, разработка методов информационной безопасности и др.
Совместной группой мехмата МГУ и ИПМ им. М. В. Келдыша РАН получены уникальные результаты по численному моделированию формирования и развития концевых вихрей на сверхзвуковых режимах. В этой задаче рассматриваются нестационарные течения, содержащие детали различного масштаба, причем счетная область достаточно велика, чтобы в ней «поместилась» вся головная ударная волна, формирующаяся на крыле летательного аппарата. В окрестности крыла необходимо иметь ячейки малого размера, чтобы правильно воспроизвести пограничный слой, толщина которого много меньше характерных размеров задачи в целом. На базе этой модели можно наблюдать процессы разного масштаба по времени: высокочастотные колебания на границе вихря и низкочастотные эволюции области взаимодействия в целом, однако для этого необходимо вести расчет с малым шагом по времени.
С участием специалистов Научно-образовательного центра «Поисков, разведки и разработки месторождений углеводородов» МГУ и российской компании «Геолаб» решается ряд задач обработки сейсмических данных. В частности, методом 3D SRME осуществляется подавление волн-помех, проводится построение глубинного изображения среды при помощи метода миграции в обратном времени — каждый из таких расчетов задействует несколько тысяч процессорных ядер.
На суперкомпьютере проводятся исследования уязвимости криптографических алгоритмов к различным атакам, в частности, ведутся работы по исследованию хеш-функций и разложению больших составных чисел на множители. Заключительные вычисления, приведшие к нахождению коллизии, выполнялись на графической части суперкомпьютера.
Сотрудники НИВЦ МГУ применяли суперкомпьютер для разработки нового противоопухолевого лекарства на основе ингибиторов урокиназы. За время разработки проведен молекулярный докинг (метод, позволяющий предсказать наиболее выгодную для образования устойчивого соединения ориентацию и положение одной молекулы по отношению к другой) около 1 млн молекул (расчеты по одной молекуле проводятся несколько часов на одном процессоре). В результате было отобрано более 100 соединений — кандидатов в новые ингибиторы урокиназы, часть из которых были синтезированы и проверены экспериментально.
Исследования, ведущиеся на химическом факультете МГУ, направлены на установление механизмов процессов релаксации возбужденных электронных состояний биологических хромофоров в фоторецепторных и флуоресцентных белках, лежащих в основе их функционирования. Для этого применяются современные комбинированные методы квантовой и молекулярной механики высокого уровня точности. Интерес к фотоактивным биомолекулярным системам обусловлен не только их несомненно важной биологической функцией, но и возможностью исследовать элементарные физико-химические процессы, такие как перенос электрона, протона, разрыв и образование химической связи, являющиеся скорость-определяющими в данных системах. Вычисления, проводимые на ресурсах «Ломоносова», позволили установить механизмы первичных процессов релаксации в функционировании фотоактивных биосистем.
Одним из направлений разработки препаратов для терапии болезни Альцгеймера сегодня является поиск нековалентных и слабых ковалентных ингибиторов холинэстераз. На поздних стадиях болезни Альцгеймера наблюдается резкое падение концентрации нейромедиатора ацетилхолина, что приводит к когнитивным нарушениям. Частичное ингибирование ацетилхолинэстеразы и бутирилхолинэстеразы позволяет поддержать когнитивную функцию у пациентов. В МГУ совместно с Институтом физиологически активных веществ РАН ведется поиск слабых ковалентных ингибиторов, при этом важной задачей является оценка прочности связи фосфорорганических соединений. Расчеты проводятся с использованием квантово-механических методов высокой точности, требующих больших вычислительных ресурсов.
Численное моделирование световых полей лазерных источников в рассеивающих средах представляет собой сложную и трудоемкую при расчетах задачу. В совместной работе физического факультета МГУ и Института оптики атмосферы (Томск) предложен подход к регуляризации данной задачи — на суперкомпьютере проведено численное моделирование светового поля лазерного маяка в тумане.
В МГТУ им. Баумана совместно с ООО «Тесис» выполнялся проект по исследованию пуска поршневого двигателя с применением перспективного вихревого турбостартера. С помощью комплекса FlowVision HPC на суперкомпьютере было проведено моделирование процессов течения газа и движения ротора в вихревой турбине системы двигатель-стартер. Вихревые турбины характеризуются сложным вихревым течением газа, особенности которого на данный момент еще слабо изучены.
2010-2012: Модернизация
На момент установки в 2009 г. заявленная пиковая мощность суперкомпьютера составляла 414 Тфлопс. В конце 2010 г. ее нарастили до 510 Тфлопс, а в июне 2011 г. сообщалось о завершении модернизации суперкомпьютера до 1,3 Пфлопс. В 2012 г. был завершен проект по увеличению производительности системы до 1,7 Пфлопс.
Суперкомпьютер «Ломоносов», установленный в Московском университете в 2009 году, относится к уникальным системам высшего диапазона производительности. В настоящее время он содержит 6654 вычислительных узла, более 94000 процессорных ядер, обладает пиковой производительностью 1,37 Пфлоп/с. Реальная производительность системы на тесте Linpack равна 674 Тфлоп/с, что позволило ему занять в июне 2011 года 13–ое место в списке Top500 самых мощных компьютеров мира.
Впервые столь мощную вычислительную систему удалось разместить на площади всего 252 квадратных метра: по вычислительной плотности «Ломоносов» сегодня не имеет себе равных в мире, потребляя не более 2,8 МВт электроэнергии. Однако помимо высокой плотности и оптимального энергопотребления вычислитель такого масштаба должен обеспечивать высокую скорость решения реальных прикладных задач. Для этого в суперкомпьютере используется 6 видов вычислительных узлов и процессоры с различной архитектурой, а также специальные сети, что позволяет получать высокую производительность максимально широкого спектра приложений.
Появление суперкомпьютера «Ломоносов» в Московском университете закономерно: с момента появления первых отечественных компьютеров в середине 50–х годов прошлого столетия МГУ всегда был оснащен крупными вычислительными установками. В декабре 1956 года, практически сразу после создания Вычислительного центра МГУ, в нем была установлена ЭВМ «Стрела» — первая отечественная серийная машина. Экземпляр МГУ имел серийный номер 4, что говорит о том исключительно важном значении, которое придавало Московскому университету Правительство страны в развитии передовых вычислительных технологий.
В конце 50–х годов в Вычислительном центре МГУ была спроектирована и запущена в эксплуатацию ЭВМ «Сетунь» — первая в мире вычислительная система, основанная не на двоичной, а на троичной системе счисления. Позже данная машина была запущена в серийное производство.
Одно из самых почетных мест в истории отечественной вычислительной техники по праву принадлежит машине БЭСМ–6. Её разработка была завершена в 1967 году, на следующий год она была запущена в серию, и тогда же одним из первых в Советском Союзе ее получает Вычислительный центр МГУ. Всего было выпущено 355 машин, а экземпляр Московского университета имел порядковый номер 13. Эта машина оказалась исключительно удачной и востребованной, к 1979 году в МГУ работало уже четыре экземпляра БЭСМ–6.
Начало современного этапа развития вычислительной техники в МГУ, которое связано с использованием параллельных вычислений и суперкомпьютерных технологий, было положено в 1999 году. Именно в это время был самостоятельно собран, отлажен и запущен в эксплуатацию первый вычислительный кластер, объединивший высокоскоростной сетью 12 двухпроцессорных компьютеров в единую параллельную вычислительную систему.
В настоящее время суперкомпьютерный комплекс Московского университета является крупнейшим суперкомпьютерным центром России, а флагман суперкомпьютерного комплекса — суперкомпьютер «Ломоносов», безусловно, входит в число наиболее значимых суперкомпьютерных установок мира. С 2000 года производительность суперкомпьютеров комплекса выросла почти в тридцать тысяч раз.
На сегодняшний день ядром суперкомпьютерного комплекса МГУ являются: cуперкомпьютер «Ломоносов» с пиковой производительностью 1,3 Пфлоп/с, суперкомпьютер «Чебышев» с пиковой производительностью 60 Тфлоп/с и суперкомпьютер IBM Blue–Gene/P с пиковой производительностью 27 Тфлоп/с. Суперкомпьютерный комплекс активно развивается, а в его состав включаются вычислительные системы, построенные на новых принципах. Среди них — использование графических процессоров. Сначала это нашло отражение в экспериментальной установке от Hewlett–Packard «ГрафИТ!», объединившей 48 графических процессоров в рамках одной стойки, а затем было реализовано в полном масштабе в виде специального раздела суперкомпьютера «Ломоносов», содержащего 1554 графических процессора от NVidia.
Суперкомпьютер «Ломоносов» — уникальный универсальный инструмент, помогающий ученым практически всех специальностей получать результаты мирового уровня. Возможностями суперкомпьютерного комплекса Московского университета, основу которого составляет суперкомпьютер «Ломоносов», сегодня пользуются более 500 научных групп, представляющих все основные подразделения МГУ, многие институты РАН и другие научные учреждения России.
Среди направлений фундаментальных исследований, требующих использования суперкомпьютерных вычислительных мощностей, — магнитная гидродинамика, гидро– и аэродинамика, квантовая химия, сейсмика, компьютерное моделирование лекарств, геология и науки о материалах, фундаментальные основы нанотехнологий, инженерные науки, криптография и многое другое.
С помощью суперкомпьютера «Ломоносов», который принимает на себя основную вычислительную нагрузку в рамках суперкомпьютерного комплекса МГУ, уже получены уникальные результаты в разных областях науки, например, в исследовании механизмов генерации шума в турбулентной среде или же в создании новых компьютерных методов проектирования лекарственных препаратов.
Совместной группой мехмата МГУ и Института прикладной математики РАН получены важные результаты по численному моделированию формирования и развития концевых вихрей на сверхзвуковых режимах. Эта задача требует огромных вычислительных ресурсов.
Повышение эффективности нефтегазовой отрасли напрямую зависит от мощности применяемых высокопроизводительных вычислительных систем. Это верно как на этапе поисков и разведки месторождений горючих полезных ископаемых, так и на этапе их освоения и эксплуатации. В процессе извлечения информации из сейсмических данных необходимо подавить волны–помехи, оценить глубинно–скоростную модель среды и построить глубинное изображение участка земной коры в районе наблюдений. Особая проблема связана с тем, что объём данных на одном месторождении может достигать десятков и сотен терабайт, что диктует необходимость применения самых мощных суперкомпьютеров.
В настоящее время на суперкомпьютере «Ломоносов» решается ряд важных задач обработки сейсмических данных. В частности, при помощи высокоэффективного метода 3D SRME осуществляется подавление волн–помех, обусловленных переотражением от свободной поверхности в нижнее полупространство, проводится построение глубинного изображения среды при помощи метода миграции в обратном времени — каждый расчет каждой из этих задач требует несколько тысяч процессорных ядер суперкомпьютера «Ломоносов».
Перспективные результаты получены группой ученых ИПМ РАН по моделированию режимов охлаждения современных процессоров. Показано, что радиаторы рассматриваемой конструкции должны иметь не менее 25 ребер для предохранения процессора от перегрева. Оптимальной является конфигурация с количеством ребер более 757–100, при которой процессор с потребляемой мощностью 65 Вт ни в какорежиме не нагревается выше 70°С.
Ввод в строй суперкомпьютера «Ломоносов» позволил решить ряд важных задач для ведущих промышленных отраслей России — аэрокосмической (РКК «Энергия» им. С.П. Королева) и атомной (ОКБМ им. И.И. Африкантова). Для нужд РКК «Энергия» с помощью «Ломоносова» были проведены расчеты обтекания перспективного космического корабля «Русь» при торможении в атмосфере Земли и посадки на ее поверхность. На «Ломоносове» также была решена задача о массотеплообмене в устройстве сепарации окислов натрия в первом контуре перспективного ядерного реактора, разрабатываемого ОКБМ им. И.И. Африкантова.
Реалии сегодняшнего дня требуют изменения основ образования в области вычислительных наук: во главу угла должны быть поставлены идеи параллельной обработки данных. Компьютерный мир изменился, из последовательного он превратился в параллельный, и именно этот факт нужно отразить в современной системе подготовки специалистов. Важно и то, что в силу универсальности вычислительных технологий подобные изменения должны затронуть практически все естественнонаучные и инженерные специальности, что определяет масштабность проекта.
В Московском университете сформирован Научно–образовательный центр «Суперкомпьютерные технологии», объединяющий представителей различных подразделений МГУ для эффективного использования потенциала суперкомпьютерных технологий в подготовке высококвалифицированных специалистов и поддержке фундаментальных научных исследований. НОЦ «Суперкомпьютерные технологии» МГУ стал головным в системе научно–образовательных центров, созданных в различных федеральных округах России в рамках проекта «Суперкомпьютерное образование», координируя их деятельность по распространению и развитию суперкомпьютерных технологий в различных регионах страны.
Интересно, а какая сторона у монетки в тот момент, когда она в воздухе? Орел или решка, горит или не горит, открытое или закрытое, 1 или 0. Все это примеры двоичной системы, то есть системы, которая имеет всего два возможных состояния. Все современные процессоры в своем фундаменте основаны именно на этом!
При правильной организации транзисторов и логических схем можно сделать практически все! Или все-таки нет?
Современные процессоры это произведение технологического искусства, за которым стоят многие десятки, а то и сотни лет фундаментальных исследований. И это одни из самых высокотехнологичных устройств в истории человечества! Мы о них уже не раз рассказывали, вспомните хотя бы процесс их создания!
Процессоры постоянно развиваются, мощности растут, количество данных увеличивается, современные дата-центры ворочают данные сотнями петабайт (10 в 15 степени = 1 000 000 000 000 000 байт). Но что если я скажу что на самом деле все наши компьютеры совсем не всесильны!
Например, если мы говорим о BigData (больших данных) то обычным компьютерам могут потребоваться года, а то и тысячи лет для того, чтобы обработать данные, рассчитать нужный вариант и выдать результат.
И тут на сцену выходят квантовые компьютеры. Но что такое квантовые компьютеры на самом деле? Чем они отличаются от обычных? Действительно ли они такие мощные? Будет ли на них CS:GO идти в 100 тысяч ФПС?
Небольшая затравочка — мы вам расскажем, как любой из вас может уже сегодня попробовать воспользоваться квантовым компьютером!
Устраивайтесь поудобнее, наливайте чай, будет интересно.
Глава 1. Чем плохи обычные компьютеры?
Начнем с очень простого классического примера.
Представим, что у вас есть самый мощный суперкомпьютер в мире. Это компьютер Фугаку. Его производительность составляет 415 ПетаФлопс.
Давайте дадим ему следующую задачку: надо распределить три человека в две машины такси. Сколько у нас есть вариантов? Нетрудно понять что таких вариантов 8, то есть это 2*2*2 или 2 в третьей степени.
Как быстро наш суперкомпьютер справится с этой задачей? Мгновенно! Задачка-то элементарная.
А теперь давайте возьмем 25 человек и рассадим их по двум шикарным лимузинам, получим 2 в 25 степени или 33 554 432 варианта. Поверьте, это число тоже плевое дело для нашего суперкомпьютера.
А теперь 100 человек и 2 автобуса, сколько вариантов?
Считаем: 2 в 100 степени — это примерно 1.27 x 1030 или 1,267,650,600,228,229,401,496,703,205,376 вариантов.
Теперь нашему суперкомпьютеру на перебор всех вариантов понадобится примерно 4.6*10^+35 (4.6 на 10 в 35 степени) лет. А это уже очень и очень много. Такой расчет займет больше времени чем суммарная жизнь сотен вселенных.
Суммарная жизнь нашей вселенной: 14 миллиардов лет или 14 на 10 в 9 степени.
Даже если мы объединим все компьютеры в мире ради решения, казалось бы, такой простой задачки как рассадка 100 человек по 2 автобусам — мы получим решение, практически никогда!
И что же? Все? Выхода нет?
Есть, ведь квантовые компьютеры будут способны решить эту задачку за секунды!
И уж поверьте — использоваться они будут совсем не для рассадки 100 человек по 2 автобусам!
Глава 2. Сравнение. Биты и Кубиты
Давайте разберемся, в чем же принципиальная разница.
Мы знаем, что классический процессор состоит из транзисторов и они могут пропускать или не пропускать ток, то есть быть в состоянии 1 или 0 — это и есть БИТ информации. Кстати, рекомендую посмотреть наше видео о том как работают процессоры.
Вернемся к нашему примеру с двумя такси и тремя людьми. Каждый человек может быть либо в одной, либо в другой машине — 1 или 0.
Вот все состояния:
Для решения процессору надо пройти через абсолютно все варианты один за одним и выбрать те, которые подходят под заданные условия.
В квантовых компьютерах используются тоже биты, только квантовые и они принципиально отличаются от обычных транзисторов.
Они так и называются Quantum Bits, или Кубиты.
Что же такое кубиты?
Кубиты — это специальные квантовые объекты, настолько маленькие, что уже подчиняются законам квантового мира. Их главное свойство — они способны находиться одновременно в 2 состояниях, то есть в особом состоянии — суперпозиции.
Фактически, это и есть принципиальное отличие кубитов от обычных битов, которые могут быть только 1 или 0.
Суперпозиция — это нечто потрясающее. Считайте что кубиты — это одновременно открытая и закрытая дверь, или горящая и не горящая лампочка….
В нашем случае они одновременно 1 и 0!
Но квантовая механика говорит нам, что квантовый объект, то есть кубит, находится в суперпозиции, пока ты его не измеришь. Помните монетку — это идеальный пример суперпозиции — пока она в воздухе она одновременно и орел, и решка, но как только я ее поймал — все: либо орел, либо решка! Состояние определилось.
Надо понять, что эти кубиты и их поведение выбираются совсем не случайно — эти квантовые системы очень строго определены и их поведение известно. Они подчиняются законам квантовой механики!
Квантовый компьютер внутри
Говоря о самом устройстве, если мы привыкли к полупроводникам и кремнию в обычных процессорах, то в случае квантовых компьютеров люди все еще ищут, какие именно квантовые объекты лучше всего использовать для того, чтобы они выступили кубитами. Сейчас вариантов очень много — это могут быть и электроны со своим спином или, например, фотоны и их поляризация. Вариантов множество.
И это далеко не единственная сложность, с которой столкнулись ученые! Дело в том, что квантовые кубиты довольно нестабильны и их надо держать в холодном месте, чтобы можно было контролировать.
И если вы думаете, что для этого будет достаточно водяного охлаждения вашего системника, отчасти вы правы, только если залить туда жидкий Гелий, температура которого ниже минус двухсот семидесяти градусов Цельсия! А для его получения используются вот такие вот здоровые бочки.
Фактически, квантовые компьютеры — это одни из самых холодных мест во вселенной!
Принцип работы квантового компьютера
Давайте вернемся к нашей задачке про трех людей и две машины и рассмотрим ее с точки зрения квантового компьютера:
Для решения подобной системы нам понадобится компьютер с 3 кубитами.
Помните, что классический компьютер должен был пройти все варианты один за одним? Так вот поскольку кубиты одновременно имеют состояния «1» и «0», то и пройти через все варианты он сможет, фактически одновременно!
Знаю, что прозвучит максимально странно, но представьте, что в данной ситуации наши три кубита создают 8 различных параллельных миров, в каждом из которых существует одно решение, а потом они все собираются в один! Реально «Мстители» какие-то!
Но что же получается? Он выдает все варианты сразу, а как получить правильный?
Для этого существуют специальные математические операторы, например оператор Грувера, который позволяет нам определять правильные результаты вычислений квантовых систем! Это специальная функция, которая среди всех возможных вариантов находит нужный нам.
Помните задачку про 100 человек в 2 автобуса, которую не смогли бы решить все современные компьютеры вместе взятые? Для квантового компьютера со 100 кубитами эта задачка все равно что семечку щелкнуть! То есть компьютер находится одновременно в 2 в 100 степени состояний, а именно:
1,267,650,600,228,229,401,496,703,205,376 — вот столько состояний одновременно! Столько параллельных миров!
Думаете, что всё это звучит слишком хорошо, чтобы быть правдой? Да, вы правы. Есть куча нюансов и ограничений. Например, ошибка. Проблема в том, что кубиты, в отличие от обычных битов, не определены строго.
У них есть определенная вероятность нахождения в состоянии 1 или 0. Поэтому есть вероятность ошибки и чем больше кубитов в системе, тем больше суммарная вероятность, что система выдаст неправильный ответ. Поэтому зачастую надо провести несколько расчетов одной и той же задачи, чтобы получить верный ответ.
Ну то есть как верный? Он всегда будет содержать в себе минимальную возможность ошибки вследствие своей сложной квантовой природы, но ее можно сделать ничтожно малой, просто прогнав вычисления множество раз!
Квантовые компьютеры сегодня
Теперь перейдем к самому интересному — какое состояние сейчас у квантового компьютера? А то их пока как-то не наблюдается на полках магазинов!
На самом деле все, что я описал выше, это не такая уж и фантастика. Квантовые компьютеры уже среди нас и уже работают. Их разработкой занимаются GOOGLE, IBM, INTEL, MICROSOFT и другие компании поменьше. Кроме того в каждом большом институте есть исследовательские группы, которые занимаются разработкой и исследованием квантовых компьютеров.
Сундар Пичаи и Дэниэл Сэнк с квантовым компьютером Google. Октябрь 2019
В октябре прошлого года, в журнале Nature, Google выложила статью, которая шарахнула по всему миру огромными заголовками — КВАНТОВОЕ ПРЕВОСХОДСТВО!
В Google создали квантовый компьютер с 53 кубитами и смогли решить задачку, за 200 секунд, на решение которой у обычного компьютера ушло бы 10000 лет!
Конечно IBM было очень обидно и они начали говорить, что задача слишком специальная, и вообще не 10000 лет, а 2.5 дня, но факт остается фактом — квантовое превосходство было достигнуто в определенной степени!
Так что теперь вопрос считанных лет, когда квантовые компьютеры начнут использоваться повсеместно! IBM, например, только что анонсировали что в 2023 году создадут коммерческий квантовый компьютер с 1121 кубитами!
Чтобы вы понимали калькулятор Google даже не считает сколько будет 2 в 1121 степени, а просто говорит — бесконечность! И это совсем не предел.
Уже ведется разработка компьютеров на миллионы кубитов — именно они откроют истинный потенциал квантовых вычислений.
Более того, вы уже сейчас можете попробовать самостоятельно попробовать квантовые вычисления! IBM предлагает облачный доступ к самым современным квантовым компьютерам. Вы можете изучать, разрабатывать и запускать программы с помощью IBM Quantum Experience.
Но зачем вообще нужны квантовые компьютеры и где они будут применяться?
Естественно, не для распихивания людей по автобусам.
Задач множество. Главная — базы данных и поиск по ним, работа с BigData станет невероятно быстрой. Shazam, прокладывание маршрутов, нейронные сети, искусственный интеллект — все это получит невероятный толчок! Кроме того симуляции и моделирование квантовых систем! Зачем это надо — спросите вы?
Это очень важно, так как появится возможность строить модели взаимодействия сложных белковых соединений.
Это станет очень важным шагом для медицины, открывающим просто умопомрачительные просторы для создания будущих лекарств, понимания того как на нас влияют разные вирусы и так далее. Простор огромен!
Чтобы вы примерно понимали какая это сложная задачка, мы вернемся в примеру с монеткой. Представьте что вам надо заранее смоделировать что выпадет — орел или решка.
Надо учесть силу броска, плотность воздуха, температуру и кучу других факторов. Сложно? Ну не так уж!
А теперь представьте, что у вас не один человек, который кидает монетку, а миллион разных людей, в разных местах, по-разному кидают монетки. И вам надо рассчитать что выпадет у всех! Вот примерно настолько сложная эта модель о взаимодействии белков.
Кроме того, вы наверняка слышали о том, что квантовые компьютеры сделают наши пароли просто пшиком, который можно будет подобрать за секунды. Но это уже совсем другая тема…
Вывод
Какой вывод из всего этого мы можем сделать, квантовый компьютер — это принципиально новая система. Она отличается от обычных компьютеров в самом фундаменте, в физических основах на которых работает.
Их на самом деле даже нельзя сравнивать! Это все равно, что сравнивать обычные счеты и современные компьютеры!
И конечно есть большие сомнения, что вы когда-нибудь сможете прийти в магазин и купить свой маленький квантовый процессор. Но они вам и не нужны. Квантовые компьютеры для обычного пользователя станут как современные дата-центры, то есть нашими невидимыми помощниками, которые расположены далеко и которые просто делают нашу жизнь лучше или как минимум другой!
Основные технические характеристики
Суперкомпьютер имеет гибридную архитектуру: помимо вычислительных узлов на базе х86-процессоров в нем также используются графические ускорители. По состоянию на начало 2013 г. система включает 5 104 вычислительных узлов на базе х86-процессоров и 1 065 графических вычислительных узлов. Кроме того, в суперкомпьютере используется 30 вычислительных узлов на базе процессоров Cell от IBM. Оперативная память суперкомпьютера составляет 92 ТБ, а общий объем дисковой памяти вычислителя – 1,75 ПБ.
Вычислительная часть суперкомпьютера «Ломоносов» занимает площадь в 252 кв. м. Обеспечивающие работу «Ломоносова» система бесперебойного электропитания, главный распределительный щит и климатическая система занимают помещения площадью 246 кв. м., 85 кв. м. и 216 кв. м. соответственно. Энергопотребление непосредственно вычислителя составляет 2,6 МВт.
2022: Мишустин выделил МГУ 2,4 млрд рублей на изучение ИИ с помощью суперкомпьютера
В конце марта 2022 года премьер-министр Михаил Мишустин подписал распоряжение о выделении более 2,4 млрд рублей на изучение искусственного интеллекта. Эти средства пойдут на расширение вычислительного потенциала суперкомпьютера «Ломоносов-1», который функционирует на базе МГУ и используется для изучения ИИ-возможностей.
Данная субсидия стала вторым траншем финансирования работ. Ранее на эти цели Правительство РФ выделило более 1,8 млрд рублей.
Специалисты Московского государственного университета имени М. В. Ломоносова давно исследуют возможности искусственного интеллекта. 1 апреля 2022 года ученые сообщили, что анализ типов киберугроз и определение их последствий позволит эффективнее защищать системы машинного обучения. К примеру, так называемые состязательные атаки, которые меняют поведение системы ИИ за счет воздействия на отдельные элементы, могут дать преступникам доступ к параметрам модели, что приведет к краже закрытой информации, отметили авторы исследования. [1]
Читайте также: