Используются ли в наше время в астрономии компьютеры
Актуальность использования новых информационных технологий в астрономии и космонавтике. Международная Виртуальная обсерватория (МВО) – новая структура для эффективного синтеза технологических возможностей. Союз международных виртуальных обсерваторий (IVOA). Архивы и цифровые базы данных IVOA. Национальная виртуальная обсерватория России (RVO)
Современная астрономия и космонавтика ХХ1 века выдвинула ряд чрезвычайно актуальных задач и программ: 1) создаются глобальные и глубокие цифровые обзоры (каталоги) на миллионы и миллиарды небесных обьектов, обьемом до сотен Терабайт, а скоро и Петабайт ; 2) архивы и базы данных на сотни тысяч и миллионы малых тел Солнечной системы, что позволяет определять орбиты и физические параметры (массы, структуру и пр.) и выявлять их неустойчивость путем моделирования задачи многих тел, вести поиск и отождествление новых астероидов по программе кометно-астероидной опасности для Земли; 3) контроль движения десятков тысяч космических аппаратов и сотен тысяч и миллионов их фрагментов, их маневрирование на орбитах, составление баз данных космического мусора техногенного происхождения; 4) системный анализ проблем освоения Луны, который также входит в перечень необходимых задач и многие другие.
Их решение возможно благодаря достижениям в области разработки и создания высокочувствительных мозаичных панорамных приемников излучения, широкого введения автоматизации и программного управления при проведении наблюдений, использования новых информационных технологий при обработке и хранении огромных массивов наблюденных данных при использовании высокопроизводительных вычислительных средств, информационных сетей, лазерных (CD-ROM и др.) хранителей информации и пр. Вследствие ввода в действие новых крупных наземных и спутниковых телескопов темпы потока данных растут по экспоненциальному закону, увеличиваясь ежегодно в два раза.
Использование компьютеров в астрономии чрезвычайно разнообразно. Это и автоматизации наблюдений, и обработка их результатов, и работа с большими каталогами, и небесно-механические расчеты. При этом активно используются глобальные информационные сети. Связь между компьютерными устройствами (информационными центрами, базами, пользователями и т.п.) осуществляется посредством физических линий связи – кабельной, оптоволоконной, радиоканал, спутниковый канал и т.п. От типа линий связи зависит их пропускная способность. В настоящее время пропускная способность линий связи (оптоволоконной и спутниковых) составляет 10-100 Гбит/сек.. Будущие линии связи должны иметь более высокие скорости передачи больших обьемов данных большому количеству потребителей.
Существующие наборы данных когерентных обзоров больших участков неба в нескольких диапазонах, открывают возможности для получения новых знаний (data mining), поиска и открытия редких объектов, поиска переменности и т.п. с помощью сложных алгоритмов распознавания образов, статистических и эвристических методов (discovery tools). Совершенно новые научные результаты могут быть получены из совместного использования данных, накопленных на разных инструментальных комплексах в ходе различных экспериментов. Высокая пропускная способность средств телекоммуникации и быстрый темп накопления данных, как наземными, так и орбитальными инструментами требуют адекватной организации эффективного обмена информацией между большим количеством сайтов, для скорейшего достижения новых научных результатов. В настоящее время очевидно, что не только накопление и анализ, но и организация и распространение данных являются существенным элементом дальнейшего развития науки и технологии.
6.2. Международная Виртуальная обсерватория (МВО) – новая структура для эффективного синтеза технологических возможностей
Международная виртуальная обсерватория (МВО) - это объединение (собрание) интероперируемых архивов данных и программного обеспечения (в виде архивов космических и наземных телескопов, каталогов, баз данных); средства поиска, доступа к данным и их обработки; а также научные приложения результатов работы с данными, которые используют Интернет для формирования научного окружения, в котором могут проводиться астрономические исследования.
Международная виртуальная обсерватория (МВО) – это система, в которой гигантские астрономические архивы и базы данных, распределенные по всему миру, вместе с инструментами их анализа и вычислительным сервисом интегрированы в единую среду. МВО позволит астрономам, находясь в любой точке мира, не ожидать месяцами доступа к телескопу, а загрузить в компьютер оцифрованный участок неба и таким образом решать многие астрофизические задачи, для которых уже достаточно накоплено наблюдательного материала. Все больше астрономических каталогов становятся взаимосвязанными, поисковые машины все более и более усложняются, и результаты исследований он-лайн данных (полученных через Интернет) теперь столь же богаты, как и данных, полученных с реальных телескопов. С появлением высокоскоростных сетей и недорогих технологий хранения данных концепция интероперируемых 1 бесшовных 2 он-лайн данных уже не является надуманной.; где:
1) Интероперируемость системы баз данных позволяет пользователю получать информацию сразу из всех баз данных, хранящих разную информацию об одних и тех же объектах.
Как обычно работают астрономы? Они согласовывают с обсерваторией дату и время использования телескопа, и в назначенный день проводят наблюдения, загружая к себе собранные данные. Но в связи с тем, что телескопы генерируют всё больший объём полезной информации, традиционные методы перестают работать. И учёные нашли выход, задействовав облачные технологии. Cloud4Y рассказывает, как теперь работают «смотрящие за звёздами».
Обсерватория имени Веры Рубин в Чили может собрать 20 терабайт данных за ночь. Во многом это обусловлено её удачным расположением. Исследовательский широкоугольный зеркальный телескоп расположен на высоте 2715 м на пике Эль-Пеньон (это север Чили). Конструкция телескопа уникальна тем, что обладает очень широким полем зрения: 3,5 градуса в диаметре или 9,6 квадратных градуса. Для сравнения, и Солнце, и Луна, видны с Земли как объекты, составляющие 0,5° по горизонтали или 0,2 квадратных градуса. В сочетании с большой апертурой, это позволяет ему иметь исключительно большую собирающую силу. Другими словами, телескоп позволяет получать данные с огромных участков неба одновременно. «Инженерный» первый свет запланировано получить в мае 2021 года, всей системы — в октябре 2021, а в октябре 2022 начать полноценное функционирование
20 терабайт — это примерно столько же, сколько в Слоановском цифровом обзоре неба, который предлагает самые подробные трехмерные карты Вселенной, и в котором собраны все данные за период с 2000 по 2010 год. Но это ещё не всё. Проект Square Kilometer Array, который должен заработать в 2020 году, увеличит этот объём в сто раз, до 2 петабайт в день (при выходе на максимальную мощность в 2028 году). А оборудование следующего поколения (ngVLA), как считают руководители обсерваторий, будет генерировать сотни петабайт.
Такие объёмы данных переработать непросто. Их не получится просто скачать и где-то хранить. А создание поддержка локальных вычислительных ресурсов для работы обходится слишком дорого. По некоторым оценкам, стоимость организации ИТ-инфраструктуры с нуля и содержания персонала, необходимого для поддержки обсерватории имени Веры Рубин, может приблизиться к 150 миллионам долларов США в течение 10 лет. Поэтому астрономы из Чили, как и многие их коллеги, обратились к облаку. И вот какие выводы они уже успели сделать.
Консолидация данных открывает новые горизонты
Ещё одна вещь, которая очень нравится астрономам — это возможность объединить несколько наборов больших данных. Их совокупность может дать какую-то информации, которая была бы неочевидной для каждого набора в отдельности. То есть чем больше информации астрономы собирают вместе, тем более полезной она становится.
Будучи вдохновлёнными проектом Data Commons NIH, в котором учёные хранят и обмениваются биомедицинскими и поведенческими данными и ПО, исследователи планируют создать Astronomy Data Commons. Учёные из Вашингтонского университета уже опубликовали один набор данных под названием Zwicky Transient Facility, который включает 100 млрд наблюдений за примерно 2 млрд небесных объектов. Если эта работа принесёт пользу, их примеру могут последовать и другие астрономы. Тогда будет создана целая астрономическая экосистема, о возможностях которой пока можно только мечтать.
Инвестиции в вычислительные мощности полезны для науки
Недостаточно перенести данные в облако, исследователи должны иметь возможность взаимодействовать с ними. Вместо традиционной модели работы, когда астрономы переносили данные на свои компьютеры, теперь они загружают свой код для работы с имеющимися в облаке данными. Благодаря наличию онлайн-доступа к научной платформе обсерватории (блокнотов Jupyter для программирования на Python, Julia, R, и пр, интерфейсов прикладного программирования (API) для анализа, просмотра и поиска данных) пользователи могут писать и запускать код на Python для удаленного анализа всего набора данных обсерватории на серверах, размещенных в Национальном центре суперкомпьютерных приложений в Урбане, штат Иллинойс. И не надо ничего скачивать на свой компьютер.
В других отраслях науки такой подход весьма эффективен. Например, проект Pangeo, который представляет собой платформу для анализа big data в области наук о Земле, сделал петабайты климатических данных общедоступными и вычислимыми, что упрощает совместную работу исследователей.
Коррекция снимков
О том, что неспокойная земная атмосфера мешает проведению точных астрономических наблюдений, было известно ещё во времена Исаака Ньютона. Но с появлением многометровых телескопов в середине XX века этот вопрос встал особенно остро. В 1950-х годах для решения этой проблемы начал применяться метод удачных экспозиций, предусматривающий проведение серии снимков с короткими экспозициями, с последующим отбором лучших. Такой подход позволял вплотную подойти к теоретическому пределу разрешения существовавших телескопов, но только при съёмке объектов с размерами до 10-20 угловых секунд и при наличии в поле зрения телескопа яркой звезды от 14-й звёздной величины (она служила эталоном для отбора снимков). Кроме того, этот метод не отличался высоким КПД использования наблюдательного времени, поэтому хотя он и является неплохим выбором для любительской астрофотографии, но поиски лучших альтернатив для профессиональной астрономии продолжились.
Слева-направо: снимок Нептуна 8,2-метровым телескопом VLT без адаптивной оптики, снимок 2,4-метрового космического телескопа «Хаббл», снимок телескопа VLT с адаптивной оптикой.
Для решения той же проблемы в 1997 году Джон Тонри , Барри Берко и Пол Шехтер из Массачусетского технологического института предложили использовать специальный тип ПЗЦ-матрицы (OTCCD), также выполняющий коррекцию снимка в процессе съёмки, но уже на уровне считывающих ячеек самой матрицы (эта технология оказалась применима и в паре с адаптивной оптикой, позволяя добиваться лучшего результата в корекции).
Строящийся сейчас 39,3-метровый «Чрезвычайно большой телескоп» (ELT) должен будет вывести технологию адаптивной оптики на новый уровень, используя сразу 798 независимых сегментов главного зеркала, корректирующих своё положение по тысяче раз в секунду.
Мало перейти в облако, надо уметь им пользоваться
Чтобы работать с данными в облаке, пользователям необходимо завести учётную запись, выбрать один из множества вариантов взаимодействия с информацией, установить своё (зачастую самописное или созданное под заказ) ПО. Да ещё и настроить всё так, чтобы программное обеспечение могло работать на нескольких машинах одновременно. Ошибки неизбежны, и они могут дорого обойтись исследователям, отбивая у них всякий интерес к облачным технологиям. Был случай, когда неумелые аспиранты «сожгли» пару тысяч часов процессорного времени впустую. Поэтому учёным рекомендуют сначала тренироваться «на кошках», запуская небольшие пилотные проекты с использованием собственной инфраструктуры.
Также важно не забывать о требованиях безопасности. Хотя конфиденциальность и безопасность в облаке выше, чем у локальных ресурсов, настройка облачной инфраструктуры может оказаться сложной задачей. И ошибка неопытного программиста приведёт к тому, что ваши данные будут доступны всему миру. При использовании собственного ИТ-парка такие проблемы контролируются жёстче. А в облаке, если не прислушиваться к рекомендациям технических специалистов провайдера, легко напортачить.
В целом, понятно желание астрономов использовать облачные ресурсы для изучения звёздных систем, строительства моделей формирования Вселенных и хранения «озёр данных». Тяжёлые вычисления уже давно отданы на откуп оборудованию, стоящему в ЦОДах. Облачные платформы здорово преобразили науку и бизнес, став важным инструментом развития человеческой мысли. Главное — правильно пользоваться этим инструментом.
Что ещё интересного есть в блоге Cloud4Y
Подписывайтесь на наш Telegram-канал, чтобы не пропустить очередную статью. Пишем не чаще двух раз в неделю и только по делу.
Вот и начался новый учебный год. Ученики и студенты хлынули в двери научных заведений. А учителя и преподаватели приготовились их встречать. Но вот, уже прошли первые дни, радость (я ведь не ошибаюсь?) встречи немного поутихла и наступили обыкновенные будни. Преподаватели с одной стороны, студенты и ученики с другой. Цепочкой, которая их объединяет, есть изучаемый предмет, личностный характер как представителей одной, так и другой стороны, их харизматичность, коммуникационные качества и так далее. И если характер, и иные качественные особенности индивидуума разные в зависимости от человека, то предмет служит чем-то обобщающим. И интересно, качественно преподнеся его ученику (студенту), учитель (преподаватель) устанавливает прочную связь с аудиторией. С другой стороны аудитория интересности «кушает» с удовольствием.
Соответственно захотелось остановиться на преподавании интересной и древнейшей науки – астрономии. Вернее, даже не на преподавании, как о таком, а о его разнообразии. А как можно разнообразить преподавание в ХХІ веке? Ну конечно – используя программное обеспечение и современные гаджеты.
Эта публикация будет небольшим обзором программ, которые позволяют облегчить и разнообразить преподавание и изучение столь интересного предмета как астрономия.
SkyChart (Cartes du Ciel)
SkyChart (Cartes du Ciel) – атлас неба, свободная программа-планетарий для ОС MS Windows, Mac OS Х, Linux. Программа позволяет создавать карты звездного неба с использованием многих астрономических каталогов звезд и туманностей, принимая во внимание положения планет, астероидов, комет.
KStars
KStars – программа-планетарий, входящая в образовательный пакет KDE Education Project.
Программа доступна пользователям UNIX-cистем.
Сelestia 1.6.1
Celestia – это 3 D визуализация пространства, в режиме реального времени позволяющая пользователю рассматривать объекты размерами от искусственных спутников до галактик. В этом виртуальном планетарии пользователь может свободно путешествовать по Вселенной.
Программа доступна пользователям платформ MS Windows, Mac OS Х, Linux.
Stellarium 0.13.0
Stellarium это реалистичное 3 D моделирование неба в реальном времени. Он отображает звезды, созвездия, планеты, туманности и другие вещи, как грунта, ландшафты, атмосферы. По сути, это один из лучших планетариев. К тому же бесплатный, и доступный как для платформ MS Windows, Mac OS Х, Linux, так и для Simbian, Android, iOS (Stellarium Mobile).
WorldWibe Telescope (WWT)
WorldWibe Telescope (WWT) – программа-планетарий, работающая под управлением программы-клиента на платформе Windows или кроссплатформенного браузерного клиента, созданного с использованием технологии Silverlight.
Google Планета Земля
Google Планета Земля – кроссплатформенный проект компании Google, в рамках которого в сети были размещены спутниковые изображения всей поверхности Земли. У этой программы есть интересные закладки: «Земля», «Небо», «Марс», «Луна».
Orbiter 2010
Orbiter 2010 – бесплатный симулятор космических полетов с тщательно проработанной реалистичной физикой и широкими возможностями конфигурирования и написания различных расширений. Используются реалистичные физические модели динамики кораблей, атмосферных явлений и движения планет.
Как заметил читатель, в своем обзоре, я рассмотрел только бесплатное программное обеспечение. Оно доступно в сети и каждый желающий может с ним ознакомиться. Надеюсь что этот обзор будет полезен не только учащимся и их преподавателям, но и всем интересующимся астрономией и космонавтикой.
С проведения наблюдений невооружённым глазом Тихо Браге и ручной обработки его данных Иоганном Кеплером на рубеже XVI-XVII веков астрономия прошла гигантский путь. Сейчас ни один из этапов сбора научных данных, их обработки и проверки астрономических моделей не обходится без вычислительной техники. И сегодня я расскажу о том, как компьютеры завоёвывали своё место в астрономии.
Цена — это ещё не всё
Споры о том, дешевле ли облачные сервисы по сравнению с собственной ИТ-инфраструктурой, если и утихнут, то нескоро. Сильные аргументы есть у обеих сторон. Например, в отчете Magellan Министерства энергетики США за 2011 год об облачных вычислениях был вывод, что вычислительные центры департамента обычно дешевле, чем аренда облачных услуг. Однако с того времени немало воды утекло, и технологии изменились кардинально.
Оптимизация работы с облачными сервисами, по мнению Вашингтонского университета, способна нивелировать эти различия. Исследователи смогли доказать, что эксперимент с использованием облачных ресурсов, который обходился в 43 доллара, стоил всего 6 долларов через несколько месяцев работы и оптимизации издержек. Также они посчитали, что выполнение тех же задач в сопоставимое время с использованием собственных ресурсов обошлось бы команде примерно в $75 000 (за железо, электричество и зарплату персонала), при этом серверы должны были быть активными 87% времени в течение трех лет.
Экономия времени часто влияет на принятие решений. Когда для обработки ваших данных вашей ИТ-инфраструктуре требуется девять месяцев, а облаку — всего месяц, и примерно за те же деньги, то эта разница в восемь месяцев становится очень интересной.
Астрономы говорят, что у них нет желания переходить на какую-то одну сторону. Наоборот, использование локальной инфраструктуры для повседневных задач и «облаков» — для сложных вычислений, — это оптимальная модель для многих научных центров.
Компьютерное управление
Для проведения длительных наблюдений телескопы требовалось устанавливать на поворотные механизмы, которые могли позволить компенсировать вращение Земли вокруг своей оси. Ещё в течение XVII века была изобретена экваториальная монтировка с часовым механизмом, что позволило отслеживать звёзды вращением телескопа в единственной плоскости, отцентрированной по полюсу мира. Однако для массивных телескопов намного более подходящей была альт-азимутальная монтировка, в которой одна ось была отцентрирована по горизонту, а другая отвечала за движение телескопа в вертикальной плоскости. Но у подобной монтировки был существенный недостаток: для отслеживания звёзд телескопу необходимо было двигаться сразу в 2 плоскостях, причём это движение должно было происходить с переменной скоростью. Решением данной проблемы стало использование компьютера для управления движением телескопа.
БТА – крупнейший телескоп мира в 1975-1993 годах.
Первый полностью управляемый компьютером телескоп с диаметром 3,9 метра вступил в действие в 1974 году в Австралийской астрономической обсерватории (AAO), но его монтировка оставалась классической экваториальной. Однако уже в 1975 году заработал советский 6-метровый телескоп БТА, который в полной мере использовал преимущества и компьютерного управления, и альт-азимутальной монтировки. Современная профессиональная астрономия пошла ещё дальше, позволив учёным направлять заявки для наблюдений и получать научные данные прямо через Интернет, не приезжая в обсерваторию вовсе.
Некоторые астрономы не без основания указывают на то, что такой подход убивает романтику профессии и дух первооткрывательства. Но в этом есть и свои плюсы: во время текущей пандемии пришлось закрыть более 120 крупнейших телескопов – почти все, которые не были автоматизированы. Таким образом, наш БТА на время поднялся до 2-й строчки в списке крупнейших телескопов, продолжающих свою работу (теперь за процессом его работы может наблюдать любой желающий в Интернете).
Радиоинтерферометрия
Разрешение телескопа прямо пропорционально его диаметру и обратно пропорционально используемой частоте (это называется дифракционным пределом). Поэтому несмотря на то, что радиотелескопы в разы крупнее других видов телескопов, их разрешение долгое время сильно уступало всем остальным. Частичным решением этой проблемы стало объединение нескольких отдельно стоящих радиотелескопов в совместно работающую систему, объединённую кабелями связи. Впервые сконструировать радиоинтерферометр, провести на нём наблюдения и опубликовать полученные данные удалось Мартину Райлу и Дереку Вонбергу ещё в 1946 году. Однако необходимость наличия устойчивого канала связи между антеннами на всей продолжительности наблюдений сильно ограничивало эту технологию.
В 1965 году советские учёные Николай Кардашёв и Леонид Матвеенко предложили обойти эту проблему сбором наблюдательных данных на каждом радиотелескопе в отдельности, с их последующим сбором в одном месте и обработкой на компьютере. Так на свет появилась радиоинтерферометрия со сверхдлинными базами, которая вначале позволила увеличить размеры «виртуальной радиоантенны» вплоть до размеров континентов, а потом и вовсе шагнуть до масштаба системы Земля-Луна в российском проекте «РадиоАстрон». Из «аутсайдера» астрономии по разрешающей способности, в течение XX века радиоастрономия превратилась в лидера. С созданием телескопа «Миллиметрон» это звание может достаться инфракрасному диапазону спектра, так как для него закладывается разрешающая способность сразу в ≈200 раз больше максимально достигнутой к данному моменту, однако из-за высокой технической сложности и недостаточного финансирования этого проекта пока трудно предугадать, когда он сможет вступить в действие.
Сделанный 11 апреля 2017 года снимок сверхмассивной чёрной дыры в галактике M87, расположенной в 55 млн световых лет от нас. Съёмка проводилась кооперацией «Телескопа горизонта событий», включавшей 8 радиотелескопов из США, Чили, Испании, Мексики и Дании, в число которых входил Южный полярный телескоп, расположенный на антарктической станции Амундсена-Скотта. Для получения 4 таких снимков 200 учёным из 13 научных организаций мира пришлось собрать около десятка петабайт данных, на обработку которых ушло 2 года.
Удобно, даже если работать без больших данных
Эвелина Момчева, работающая с космическим телескопом в Балтиморе (штат Мэриленд), рассказывает, что сталкивалась со случаями, когда проекты, использующие только данные среднего размера, получали массу преимуществ от облачных вычислений. Хотя бы потому, что исследователи могли получить доступ к ресурсам, значительно превосходящим производительность их ноутбуков. И, что важно, при относительно небольших затратах. А некоторые поставщики облачных услуг и вовсе предлагают бесплатные ресурсы для образовательных целей.
Фотоприёмники
В конце XIX века фотоэмульсии совершили революцию в астрономии: позволили отойти от привязки к светочувствительности и остроте зрения конкретного наблюдателя, параллельно дав возможность подолгу накапливать сигнал от слабых источников света. Однако свойства фотоэмульсий также варьировались от образца к образцу, поэтому требовалась ручная калибровка снимков. А эффективность накопления ими света составляла лишь около 2%, что ограничивало потенциал существовавших телескопов. На время параллельно с ними стали применяться изобретённые в СССР видиконы (разновидность электронно-лучевых трубок), которые успели поучаствовать во многих наземных наблюдениях и нескольких космических миссиях.
Но уже вскоре места фотоэмульсий и видиконов стали активно занимать изобретённые в 1969 году сотрудниками «Bell Labs» Уиллардом Бойлом и Джорджем Смитом ПЗС-матрицы, которые могли накапливать свет с эффективностью, приближающейся к 100%. Кроме того, при использовании активного охлаждения они позволяли практически полностью избавиться от шумов. В 1976 году инженер JPL Джим Джейнсик и планетолог Университета Аризоны Брэд Смит впервые с помощью ПЗС-матрицы получили снимки с 1,5-метрового телескопа обсерватории «Mt. Bigelow». С тех пор ПЗС-матрицы заменили приёмники практически во всех профессиональных телескопах и космических обсерваториях, но сейчас начали уступать своё место КМОП интегральным схемам в оборудовании астрофотографов и астрономов-любителей, благодаря дешевизне последних, меньшему энергопотреблению и скорости считывания снимков.
Обработка научных данных
В последние десятилетия количество получаемых в астрономии данных испытывает экспоненциальный рост. Астрономы быстро пришли к выводу, что это требует систематического подхода к хранению и обработке данных. И первым шагом на этом пути стало создание в 80-х годах интерактивных баз астрономических статей и документов ADS и ESIS, а также «Универсального пакета программ для обработки и анализа астрономических данных» IRAF с широким функционалом (они соответственно были созданы NASA, Европейским космическим агентством ESA и Национальной обсерваторией оптической астрономии NOAO). А в 1991 году Роберт Немирофф и Джон Валлин создали Астрофизическую библиотеку исходного кода (ASCL), для того чтобы сделать астрономические исследования более прозрачными.
Очередной шаг в систематизации работы с данными состоялся в конце 90-х годов, когда возникла «Виртуальная обсерватория». Её концепция заключалась в хранении в одном месте астрономических архивов и программных пакетов. Доступ учёных 24/7 к этому хранилищу обеспечивался благодаря Интернету.
В 2002 году эта идея привела к созданию Международного альянса виртуальных обсерваторий (IVOA), состоящем сейчас из ESA и организаций из 20 стран. IVOA продвигает идеи по стандартизации массивов данных, созданию стандартных способов доступа к ним и типового инструментария для обработки данных, а также поддерживает обучение астрономов работе с этими инструментами благодаря паре ежегодных конференций и других мероприятий. Подобная работа ведётся и независимо от IVOA, например, на ежегодных событиях вроде конференции «Программное обеспечение и оборудование для анализа астрономических данных» (ADASS) и европейской летней школы «Передовое программное обеспечение для астрофизики и космомикрофизики» (ESCAPE Summer School). Всё это ведёт к развитию в астрономии международного сотрудничества и сокращению параллельных работ над решением однотипных задач, что оставляет астрономам больше времени для выполнения основных задач: проверки существующих теорий и поиска таких закономерностей, которые ведут к открытию новых явлений и возникновению новых теорий.
«Впервые в рамках последовательного обзора у нас будет закаталогизировано больше астрономических объектов, чем людей на Земле», – говорит Саймон Кругхофф , являющийся членом команды управления данными Обсерватории имени Веры Рубин (известной ранее как LSST). Этот $473-миллионный проект предусматривает создание 8,4-метрового телескопа с обзором в 49 раз больше углового размера Луны и 3,2-гигапиксельной камерой, которая должна будет делать по 2 тыс. 15-секундных снимков за ночь и производить тем самым по 30 ТБ научных данных за сутки.
Однако не во всех случаях для обработки наблюдательных данных существуют подходящие алгоритмы или банально выделяется достаточно средств для её проведения. Поэтому с 2000-х годов астрономы в некоторых случаях прибегают к помощи «дополнительных рук» добровольцев, в таких проектах как «Galaxy Zoo» по классификации типов галактик и «CosmoQuest» по картографированию кратеров на Луне и астероиде Веста, а также обращаются к дополнительным вычислительным мощностям, предоставляемым добровольными вычислениями.
Так что хотя сейчас работа астрономов в основном сконцентрировалась на создании эффективных алгоритмов обработки и визуализации данных, но значимость ручного труда и помощи гражданской науки не отпала полностью. Так добровольный проект «Planet Hunters», занимающийся перепроверкой данных телескопов «Кеплер» и «TESS», за 2 года работы второго телескопа успел обнаружить 90 новых кандидатов в планеты, которые пропустили алгоритмы NASA. А с помощью компьютеров 500 тыс. добровольцев проекта Einstein@Home удалось обнаружить 55 новых радиопульсаров и 39 гамма-пульсаров.
Сейчас поучаствовать в астрономических исследованиях может практически любой желающий. Хотя один из самых старых и известных проектов Boinc «SETI@home» был заморожен около года назад для обработки результатов, но на сайте остаётся 5 действующих проектов, посвящённых астрономии и астрофизике. А на сайте Zooniverse собрано сразу 17 проектов, где вы можете попробовать свои силы в обработке астрономических снимков.
Обзор сентябрьского, 2014 г., номера журнала Computer (IEEE Computer Society, V. 47, No 9, сентябрь 2014).
Авторская редакция.
Также обзор опубликован в журнале «Открытые системы»
Сентябрьский номер посвящен применению компьютерных технологий в астрономии. В тематической подборке, приглашенным редактором которой являются Виктор Панкратиус и Крис Мэтмен (Victor Pankratius, MIT, Haystack Observatory, Chris Mattmann, NASA Jet Propulsion Laboratory and University of Southern California), содержатся пять крупных статей и четыре заметки. Вводная редакторская заметка называется «Компьютинг в астрономии: увидеть невиданное» («Computing in Astronomy: To See the Unseen»).
Впечатляющий переход от эпохи дефицита научных данных к эпохе их переизбытка особенно заметен в астрономии. Телескопы и датчики близки к возможности генерировать петабайты данных в секунду. Эти данные происходят от множества наземных астрономических устройств, таких как массив радиотелескопов LOFAR (Low Frequency Array), сверхчувствительный радиотелескоп Jansky Very Large Array и Атакамская большая миллиметровая/субмиллиметровая решётка ALMA (Atacama Large Millimeter/submillimeter Array), а также космических телескопов: Кеплер (Kepler), Хаббл (Hubble), Космический телескоп имени Джеймса Уэбба JWST (James Webb Space Telescope) и Рентгеновская орбитальная обсерватория Чандра (Chandra X-ray Observatory). Данные, собираемые этими устройствами, помогают ученым изучать происхождение и развитие Вселенной, а также искать планеты, пригодные для жизни людей. В настоящее время прогрессу астрономии более всего способствуют компьютерные науки. В частности, развитие аппаратных и программных средств, масштабность производства компьютеров делают их более доступными для астрономов, что обеспечивает новые возможности сбора, анализа и визуализации данных.
Это можно увидеть на примере проекта ALMA. Этот радиотелескоп является одним из мощнейших за всю историю этой технологии. Он находится в Чили на высоте более 5 километров над уровнем моря и включает 66 разных параболических антенн. Примененный в ALMA метод интерферометрии со сверхдлинными базами (very long baseline interferometry, VLBI) позволяет совместно использовать антенны, установленные в разных частях земного шара, так что диаметр виртуального телескопа может сравняться с диаметром Земли. Сигналы становятся битами и байтами, которые должны быть согласованы с точностью атомных часов. Алгоритмы обработки сигналов с интенсивными вычислениями отделяют сигналы от шумов и производят результаты, полезные для астрономов.
Такие устройства невозможно построить без использования компьютеров. В разработке программного обеспечения для ALMA участвуют специалисты с разных континентов: Северной и Южной Америк, Азии и т.д. Будущие проекты обеспечат астрономии новые возможности. Радиотелескоп SKA (Square Kilometre Array), который будет построен в Южной Африке и Австралии, станет крупнейшим в мире и будет производить примерно 700 терабайт данных ежесуточно. Большой обзорный телескоп LSST (Large Synoptic Survey Telescope), который планируется построить в Чили, будет регулярно фотографировать все небо и отслеживать миллионы галактик. Для обеспечения работы этих устройств понадобятся значительные усилия компьютерных специалистов.
При наличии таких огромных объемов данных ученые-астрономы должны использовать в своих исследованиях значительную компьютерную поддержку. Для компьютерных специалистов область астрономии является интересным испытательным стендом по причине наличия особых требований к обработке данных большого объема, скорости вычислений, точности и т.д.
Первая статья тематической подборки называется «Исследование галактики Млечного Пути с использованием ParaHeap-k» («Studying the Milky Way Galaxy Using ParaHeap-k») и представлена Марком Жене, Овеном Бобергом, Хасаном Курбаном и Мехметом Далкиличем (Mark Jenne, Owen Boberg, Hasan Kurban, Mehmet Dalkilic, Indiana University). В статье представлен краткий обзор компьютерных алгоритмов, используемых в астрономии. С использованием параллельного варианта метода кластеризации «k средних» (ParaHeap-k) авторы пытались обнаружить основные компоненты нашей галактики (гало, тонкий и толстый диски) в модельном наборе данных, представляющем около миллиона звезд. Результаты исследования являются начальной точной для будущего интеллектуального анализа крупных наборов данных, которые будут производиться будущими астрономическими устройствами. Статья также позволяет компьютерным специалистам познакомиться с базовой терминологией астрономии.
В статье «Высокопроизводительные вычисления собственного тяготения малых тел Солнечной системы» Даниель Фраскарелли, Серджио Несмачнов, Гонзало Танкреди («High-Performance Computing of Self-Gravity for Small Solar System Bodies») (Daniel Frascarelli, Sergio Nesmachnow, Gonzalo Tancredi, Universidad de la República) заново пересматривают классическую проблему n тел в контексте мелкозернистой многопотоковости. Они анализируют малые тела Солнечной системы, состоящие из подобъектов, которые подвергаются столкновениям, упругим и фрикционным взаимодействиям. В статье также оцениваются возможности параллелизма многоядерных компьютеров и разъясняются основы параллельного программирования.
Авторами статьи «Масштабирование астроинформатики с использованием Pydron: Python + автоматическое распараллеливание» («Scaling Astroinformatics with Pydron: Python + Automatic Parallelization») являются Стефан Мюллер, Густаво Алонсо и Андре Ксиллафи (Stefan C. Müller, ETH Zürich and University of Applied Sciences Northwestern Switzerland, Gustavo Alonso, ETH Zürich, André Csillaghy, University of Applied Sciences Northwestern Switzerland). В статье описывается Pydron – система автоматического распараллеливания кода на языке Python, одним из предназначений которой является анализ данных в астрономии. Pydron распараллеливает части кода на основе графа потока данных, который частично обеспечивается программистами с помощью расширений языка Python – декораторов. Декораторные аннотации, кроме того, упрощают развертывание и параллельное выполнение кода в облачных средах.
Рис. 1. Обычный последовательный код на языке Python с декораторами двух типов, выполняемый системой Pydron параллельно. Pydron «знает», что код, следующий за декоратором @schedule, нужно распараллеливать. Декоратор @functional сообщает Pydron, что у функции measure отсутствуют побочные эффекты.
Статью «Модель сквозных вычислений для SKA» («An End-to-End Computing Model for the Square Kilometre Array») написали Рик Йонгериус, Стефан Вийнхольдс, Рональд Нийбоер и Хенк Карпорал (Rik Jongerius, IBM Research and Eindhoven University of Technology, Stefan Wijnholds, Ronald Nijboer, ASTRON, Henk Corporaal, Eindhoven University of Technology). В статье обсуждается будущее астрономическое устройство SKA. Этот радиотелескоп станет крупнейшим за все время существования радиоастрономии. На первой фазе конструирования будет установлено 250000 дипольных антенн и 350 параболических антенн. В статье детально обсуждаются требования, предъявляемые разработчиками SKA, к средствам компьютерного сбора и обработки данных.
В статье «Антарктические компьютерные приключения: как я научился не беспокоиться и полюбил нейтрино» («Adventures in Antarctic Computing, or How I Learned to Stop Worrying and Love Neutrino») Лиза Герхардт, Хуан Карлос Диаз Велез и Спенсер Клейн (Lisa Gerhardt, Lawrence Berkeley National Laboratory, Juan Carlos Díaz Vélez, University of Wisconsin—Madison, Spencer R. Klein, Lawrence Berkeley National Laboratory and University of California, Berkeley) описывают нейтринный телескоп Ice-Cube, который состоит из 5160 оптических датчиков, погруженных на милю вглубь льда Южного полюса. В статье разъясняется потребность в подобных сложных устройствах, а также обсуждается влияние особенностей антарктической среды на применяемые компьютерные средства.
Рис. 2. Схематическое изображение нейтринной обсерватории IceCube с тысячами оптических датчиков, погруженных глубоко в лед Антарктики. На поверхности ледника находится лаборатория IceCube.
Последний материал тематической подборки называется «Компьютинг в астрономии: приложения и примеры» («Computing in Astronomy: Applications and Examples») и включает четыре небольших заметки. В заметке «Визуализация Вселенной: использование современных графических карт для понимания реального мира» («Visualizing the Universe: Using Modern Graphics Cards to Understand the Physical World») Александер Богерт, Николас Смит и Джон Холденер (F. Alexander Bogert, Nicholas Smith, John Holdener, University of California, Santa Cruz) описывается разрабатываемая в университете Санта Круз свободно доступная система yt, которая предназначается для анализа и визуализации пространственных данных. В модуле визуализации используются возможности графических процессоров.
Заметку «Визуализация больших данных в астрономии: конвейер AMPED» («Visualizing Big Data in Astronomy: The Automated Movie Production Environment Distribution and Display (AMPED) Pipeline») написал Эрик де Йонг (Eric M. De Jong, NASA Jet Propulsion Laboratory). В заметке кратко описывается система визуализации AMPED, используемая в проекте лаборатории ракетных двигателей NASA (Jet Propulsion Laboratory, JPL). Ключевой особенностью AMPED является то, что данные визуализируются в виде «роликов», отражающих темпоральные характеристики данных.
Рис. 3. Кадр из ролика, построенного с использованием AMPED и показывающего полет над кратером Мохаве на Марсе.
Авторами заметки «Поддержка распределенного совместного анализа и классификации быстрых переходных событий» («Supporting Distributed, Collaborative Review and Classification of Fast Transient Events») являются Эндрю Харт, Люка Чинквини, Шейкен Худикян, Дэвид Томпсон, Крис Мэтмен, Кири Вэгстаф, Джозеф Лацио и Дейтон Джонс (Andrew F. Hart, Luca Cinquini, Shakeh E. Khudikyan, David R. Thompson, Chris A. Mattmann, Kiri Wagstaff, Joseph Lazio, Dayton L. Jones, NASA Jet Propulsion Laboratory). Авторы статьи из лаборатории ракетных двигателей NASA сотрудничают с научной группой Национальной радиоастрономической лаборатории (National Radio Astronomy Observatory) в проекте по разработке набора программных компонентов для быстрой оценки, классификации и архивирования данных радиообнаружения. В проекте активно используются доступные программные средства с открытыми исходными текстами (в частности, платформа полнотекстового поиска Apache Solr).
Последнюю заметку «Технологии больших данных в JPL» («Big Data Technologies at JPL») написал Дейтон Джонс (Dayton L. Jones, NASA Jet Propulsion Laboratory). В статье описываются работы, выполняемые в лаборатории ракетных двигателей NASA в четырех областях, связанных с проблематикой «больших» данных: обработка сигналов с низким энергопотреблением, анализ данных в реальном времени с использованием алгоритмов машинного обучения, масштабируемая архивация данных, а также интеллектуальный анализ и визуализация данных. Хотя большая часть этих работ выполняется в связи с потребностями будущих крупных радиотелескопов, аналогичные проблемы возникают во многих других исследовательских областях и в индустрии.
Вне тематической подборки опубликованы две крупные статьи. Статью «Стандарты кибербезопасности: управление рисками и обеспечение жизнестойкости» («Cybersecurity Standards: Managing Risk and Creating Resilience») представили Закари Кольер, Игорь Линьков, Дэниел Димазе, Стив Уолтерс, Марк Техранипур и Джеймс Ламберт (Zachary A. Collier, Igor Linkov, US Army Engineer Research and Development Center, Daniel DiMase, Steve Walters, Society of Automotive Engineers G-19 Test Laboratory Standards Development Committee, Mark (Mohammad) Tehranipoor, University of Connecticut, James H. Lambert, University of Virginia).
Коллективный опыт авторов статьи в области разработки стандартов безопасности аппаратуры и обнаружения контрафактной электроники позволяет им судить о том, что должен делать фреймворк безопасности, основанной на оценке рисков. Комитет по стандартизации G-19 Общества автомобильных инженеров (The Society of Automotive Engineers, SAE), ответственный внутри SAE за разработку стандартов тестовой лаборатории для аэрокосмической промышленности, построил две модели, эффективно связывающие технические данные и анализ выработки решений в адаптивный фреймворк. Эти модели показывают, что стандарты кибербезопасности на основе оценки рисков могут способствовать созданию систем, более устойчивых к динамически возникающим угрозам.
Рис. 4. Сравнение подлинных и контрафактных деталей: (a) верхняя часть дросселя, (b) нижняя часть дросселя, (c) катушка индуктивности. На рис. 4 (a) и (b) у контрафактной детали (слева) наблюдаются неправильная оконечная металлизация и плохое качество изготовления. На рис. 4 (c) в контрафактной катушке неравномерно намотана проволока, и у нее другой калибр.
Последняя крупная статья номера называется «Адаптивные серверные системы, ориентированные на использование новых технологий основной памяти» («Adapting Server Systems for New Memory Technologies») и написана Хиллери Хантер, Луисом Ластрасом-Монтано и Бишвараньяном Бхаттачарья (Hillery Hunter, Luis A. Lastras-Montaño, Bishwaranjan Bhattacharjee, IBM T.J. Watson Research Center). Основной памяти серверов всегда не хватает емкости и пропускной способности, а внешней памяти – достаточно высокой плотности записи. Технологии, которые могли бы устранить разрыв в производительности и плотности между основной и внешней памятью, привели бы к значительному совершенствованию иерархии данных серверов. Технологии основной памяти, такие как магниторезистивная память на основе переноса спинового момента (spin-torque transfer magnetic memory, STT-MRAM), память на основе фазовых переходов (phase-change RAM, PCRAM) и резистивная металл-оксидная память, обладают требуемым потенциалом. Сообщество разработчиков серверов взбудоражено грядущим (в ближайшие годы) появлением на рынке этих энергонезависимых кандидатов в серверные средства долговременного хранения данных. По сравнению с флэш-памятью типа NAND такие технологии могут обеспечивать большую износостойкость по записи и меньшую задержку доступа – характеристики, которые могут преобразить серверные системы.
Для исследования этих возможностей авторы статьи анализировали проблемы, с которыми серверные системы сталкиваются в настоящее время, и которые могут смягчить или даже устранить новые технологии памяти. Авторы также исследовали, какие изменения в аппаратуре и программном обеспечении серверов потребуются, чтобы разработчики серверных систем могли использовать новые виды памяти.
Рис. 5. Серверные иерархии данных. В прежних иерархиях внешняя память находилась далеко от основной памяти по показателю задержки доступа. Флэш-память типа NAND, расположенная в иерархии вслед за основной памятью, помогала уменьшить эту задержку, но обладала плохой износоустойчивостью по записи и несогласованной производительностью. Новые энергонезависимые технологии основной памяти могут обеспечить класс внешней памяти, образующий перемычку между основной памятью и традиционной внешней памятью и устраняющий разрыв между производительностью и плотностью записи.
Читайте также: