Zadrala oracle что это
Программно-аппаратный комплекс Oracle Exadata X8M изменил основополагающие принципы работы бизнеса с базами данных. Заведенные в отрасли на технологическом уровне порядки обработки информации устарели в один день. В отрасли появилась платформа, которая на годы вперед станет основой баз данных Oracle для критически важных приложений для любых бизнес-сценариев как поддержки роста, так и обеспечения непрерывности бизнеса. Ряд ведущих российских компаний уже воспользовались преимуществами новой конфигурации.
Бизнес-решения все чаще принимаются на основе анализа данных, которые поступают из самых разных систем — традиционных транзакционных решений, социальных сетей, устройств интернета вещей. Поток данных стремительно нарастает (90% существующих ныне данных созданы в последние 2-3 года), и становится ясно, что развитие систем работы с данными отстает от потребностей бизнеса в получении информации. Возможности решения Oracle Exadata X8M позволяют «расшить» узкие места процесса обработки данных и резко поднять его скорость, не жертвуя ни безопасностью, ни надежностью, ни корпоративным ИТ-бюджетом.
Oracle Exadata X8M, представленная в сентябре 2019 г., оказалась не просто следующим новым релизом, а отражением новой философии рынка, которую сама Exadata и задала: ИТ-инфраструктура стала основой для инновационного прорыва в компаниях, ее использующих, а скорость, масштабирование и способность к интеграции — ключевыми технологическими инструментами для этого.
В Exadata мы революционно преобразовали традиционную модель, и теперь все запросы отправляются не на уровень вычислений, а сразу в систему хранения данных.
Самым большим препятствием на пути повышения скорости работы СУБД является необходимость передачи данных из системы хранения в систему обработки. Это общепризнанное узкое место стало настолько привычным, что не все догадывались о том, что его можно устранить.
Оптимизированный комплекс Oracle Exadata стал первым, допускающим обработку данных без лишних перемещений по инфраструктуре. Где данные хранятся — там они и обрабатываются. Эти преимущества предлагает и новое поколение X8M. При этом в нем появились уникальные возможности кардинального ускорения доступа к данным в транзакционных OLTP-системах.
В Exadata X8M «просто» поставили мостик к постоянной памяти (в решении использована энергонезависимая Intel Optane DC, имеющая сходство как с DRAM, так и с flash), которым стала технология 100-гигабитного удаленного прямого доступа к оперативной памяти другого компьютера (Remote Direct Memory Access, RDMA) посредством конвергентного Ethernet. Весь фокус в том, что благодаря Optane DC в системе появилось дополнительное интегрированное хранилище данных типа Persistent Memory (PMem), емкостью 1,5 ТБ на каждый сервер хранения данных. Эта память почти такая же быстрая, как DRAM, и намного более быстрая, чем обычная flash. Но, в отличие от DRAM, она способна сохранить информацию даже при отказе питания.
Благодаря всем этим свойствам в названии модели и появилась литера «М», означающая Memory — память, обеспечивающая скорость, и ставшая новым технологическим трендом, изменившим сам подход к обмену информацией. Задержки доступа к данным на общем СХД в сравнении с моделью X8 сократились в 10 раз. А с помощью технологии Ethernet 100 Гбит/с, пришедшей на смену сетевому стандарту Infiniband 40 Гбит/с, обеспечивается объединение всех компонентов системы между собой.
«Сокращение времени отклика на порядок благодаря прямому доступу базы данных к общей энергонезависимой памяти ускоряет любое приложение OLTP. Это прорыв для приложений, которым требуется доступ в реальном времени к большим объемам данных, таким, как задачи выявления мошенничества и персонализированного процесса покупок», — считает Алексей Курочка, директор Oracle Systems в России и СНГ.
Что принципиально для бизнеса, получение описанных технологических преимуществ не требует каких-либо изменений или донастроек в приложениях, они реализуются автономно на уровне внутренних механизмов Oracle Database 19c и Oracle Database 20c.
В каждой стойке Exadata X8M содержится “сырое” дисковое пространство емкостью до 3 ПБ, до 920 ТБ NVMe Flash и до 27 ТБ PMem, в зависимости от наполнения. Это и приносит производительность, в разы превышающую показатели предыдущей версии системы.
Конкретные показатели — увеличение интенсивности проведения операций ввода-вывода в 2,5 раза и в 10 раз меньшая задержка ввода-вывода (до 19 мкс). Это особенно ценно для крупных клиентов корпорации, которые по достоинству оценили преимущества Exadata, расширяют использование, переходят на новую версию. Среди более полутысячи инсталяций — такие гиганты российского рынка, как банки ВТБ, «Открытие», Альфа-Банк, сотовый оператор «Мегафон», торговые сети «Ашан», «Магнит», «Лента», «Подружка» и многие другие.
- Альфа-Банк: консолидировано 60-70% данных, накопленных за 10 лет работы
- ВТБ: ускорена подготовка отчетов в пять раз, а по отдельным видам документов — в 180 раз
- «Лента»: в четыре раза ускорена обработка информации в контуре бизнес-приложений
- «МегаФон»: реализована возможность готовить индивидуальные предложения для 77 млн абонентов
Парадоксально, что перемены в Exadata X8M носят больше технологический характер, но полученные в результате преимущества позволяют бизнесу не думать о технологиях. Высокий уровень производительности СУБД дает менеджменту понимание происходящего в компании, облегчает выработку бизнес-стратегии и повышает операционную гибкость.
Упрощение инфраструктуры и уход от стандартного сценария ее построения также открывают путь к облачной миграции, прямо влияя на рост бизнеса и доходов.
Другой важный аспект использования Exadata — возможность сократить затраты, которые неизбежно возникают при внедрении и эксплуатации мультивендорных решений. Единая инфраструктура традиционно считается более управляемой и простой в обслуживании, а большое количество поставщиков — причиной роста затрат на эксплуатацию и модернизацию.
Компаниям доступны три модели развертывания решения. Exadata может работать на непосредственно на предприятии, в облаке Oracle Cloud или в облаке у потребителя (Exadata Cloud at Customer). В последнем случае оплата идет по подписке, но система функционирует за файерволлом клиента. Модель Exadata Cloud at Customer учитывает требования регуляторов и внутренние политики самих компаний, в том числе особенности работы с персональными данными.
Эта модель достаточно популярна в России, и тому есть явные причины: окупаемость инвестиций при использовании Exadata Cloud at Customer, согласно ряду исследований, наступает всего через полгода эксплуатации при ускорении показателя time-to-market на 40%. Это сопровождается 69-процентным ростом эффективности ИТ-инфраструктуры и 40-процентным сокращением расходов на нее.
«Используя инфраструктуру от нескольких поставщиков, компания может получить медленно работающие приложения или даже дорогостоящие простои. А разрастание базы данных затрудняет защиту конфиденциальных данных из-за несовпадений в стандартах безопасности у разных поставщиков. Слаженная работа аппаратного и программного обеспечения позволяет значительно сократить время простоя системы. Закрытая система, состоящая из одного объекта, более защищена благодаря встроенному шифрованию», — добавляет Алексей Курочка.
Согласно IDC, количество незапланированных простоев при использовании Exadata снижается на 94%. Цена таких простоев может оказаться для бизнеса трагической, но важнее — появление возможности создания новых бизнес-процессов в режиме реального времени, большая доступность глубокой аналитики и шанс получить более быстрые и точные ответы на самые сложные запросы бизнеса.
Быстрая бесперебойная работа X8M позволяет глубже анализировать бизнес, в режиме реального времени получать ответы на важнейшие вопросы.
«По данным Oracle, Exadata X8M при работе с Oracle Database 19c обеспечивает в 2,5 раза более быстрый ввод-вывод и в 10 раз меньшую задержку, чем Exadata X8. Благодаря высокому уровню производительности OLTP, компании могут обрабатывать больше бизнес-транзакций на Exadata X8M без необходимости увеличивать мощность системы. Это важно, учитывая ускоряющиеся темпы роста бизнеса и требования к обработке транзакций, предъявляемые не только к традиционным ERP-системам и инструментам продаж, но и к новым решениям, таким как средства обнаружения вторжений в сеть, системы высокочастотной биржевой торговли, приложения для обработки данных интернета вещей, антифрод-системы, работающие в режиме реального времени, а также различные онлайн- и мобильные приложения для работы с клиентами», — говорится в исследовании IDC. *
Сокращение времени отклика благодаря прямому доступу базы данных к общей энергонезависимой памяти ускоряет любое приложение OLTP.
Традиционная система баз данных имеет три уровня — вычислительный, хранения и сетевой. Проблема в том, что на первых двух уровнях используются решения, которые не могут автоматически масштабироваться под критичные рабочие нагрузки. Гиперконвергентные инфраструктуры, которые объединили эти три уровня, позволили частично решить эту проблему. Но компромисс — это почти всегда что-то, далекое от идеала.
«В Exadata мы революционно преобразовали традиционную модель, и теперь все запросы отправляются не на уровень вычислений, а сразу в систему хранения данных, — объясняет Алексей Курочка. — Фильтрация данных там происходит параллельно на всех серверах хранения, и уже потом отобранные данные уходят на вычисления. Exadata Smart Scan значительно снижает загрузку ЦП на серверах баз данных, ускоряет выполнение запросов, а вдобавок еще и устраняет узкие места в сетевых соединениях между серверами СУБД и СХД».
Для идеальной работы такой системы данные должны быть хорошо проиндексированы. Но чем данных больше, тем длительнее этот процесс. Поэтому умное сканирование в X8M дополняется автоматической индексацией, которую раньше надо было проводить в ручную. Фактически этот инструмент на базе машинного обучения позволяет непрерывно анализировать выполнение SQL-задач и создавать новые индексы, что в конечном итоге улучшает и улучшает производительность.
«В основе автоматического индексирования — те же технологии, благодаря которым существует автономная база данных Oracle. Это открывает новые возможности для транзакционных систем (OLTP), таких как биллинг в телекоме, процессинг в банках, массовые бизнес-приложения , которым теперь доступны совершенно другие скорости», — уверен Алексей Курочка.
Все новое поколение комплексов Exadata X8 совершенно иначе работает с данными. Они получили возможность объединянть в один пул структурированные и неструктурированные данные и работать с ними, как с единым пулом на одном сервере. Oracle добавила в свое решение дополнительный слой хранения для исторических данных, которые обычно отправляются храниться на медленные архивные носители. Поэтому «под рукой» у клиентов X8M находятся и актуальные данных, необходимые для бизнеса «прямо сейчас», и исторические, которые также индексируются и могут быть использованы, как только понадобятся.
При этом в основе процесса не подходы обычных реляционных баз данных, а NoSQL, которая все чаще используется для работы с большими данными. Они более привлекательны из-за другой структуры представления данных, из-за чего скорость работы с ними зачастую увеличивается. Вкупе с балансировкой рабочих нагрузок и высоким ростом производительности в Exadata X8M, это может давать возможности горизонтального масштабирования кластеров и более высокую доступность. Потенциально такие сервера хранения могут вытеснить озера данных, хотя пока говорить об этом рано.
Технологии Exadata X8M лежат в основе комплекса Oracle Zero Data Loss Recovery Appliance X8M (ZDLRA), представленного также в сентябре 2019 г. Для передачи данных на ячейки хранения используется 100-гигабитный удаленный прямой доступ у памяти RoCE (RDMA over Converged Ethernet).
«Существующие защитные решения на самом деле не отвечают требованиям критически важных баз данных, поскольку они рассматривают их как набор файлов. А на самом деле они являются транзакционными системами с конкретными требованиями к целостности данных, производительности и доступности. Поэтому не надо удивляться, что при использовании популярных сегодня решений данные теряются, а работа с ними и управление становятся очень сложными и фрагментированными», — подчеркивает Алексей Курочка.
Комплекс Oracle ZDLRA проводит детальный анализ всех узких мест работы системы, главным из которых, в отсутствие единой точки отказа, стал человеческий фактор. Фактически речь идет о быстром восстановлении после ошибки любой точки состояния базы в любой момент времени. В работе с ZDLRA также доступен весь инструментарий, который используется администратором базы данных для резервного копирования и восстановления.
Журналирование всех операций с базой данных ведется в режиме реального времени, что и дает возможность восстановления базы на любой момент времени. Инструмент Real-Time Redo Transport впервые был опробован еще Oracle Data Guard и за годы использования доказал свою эффективность в работы с тысячами критически важных баз данных.
Бэкапы из локальной версии комплекса можно делать доступными удаленно на случай проблем в филиалах компании в регионах. При этом топология репликации будет автоматически адаптирована к требованиям конкретного дата-центра.
Принцип работы GoldenGate
Рисунок 1. Схема работы GoldenGate
В рамках работ мы должны были установить GoldenGate и на источники, и на приемник данных (в случае невозможности прямой связи источника и приемника обычно выделяется дополнительный промежуточный сервер, после чего проводится настройка нескольких параметров баз систем источников – все!). GoldenGate был быстро установлен и готов к настройке и запуску в эксплуатацию.
После запуска программного обеспечения на источнике стали собираться изменения из redo-log- или archive redo-log-файлов, пересылаться посредством так называемых передаточных trail-файлов на сервер-приемник и применяться в базе аналитической системы.
Вся прелесть GoldenGate заключается в том, что для получения данных он использует журналы повторного выполнения. Никаких запросов к базе, никаких триггеров и т.д. Нагрузка на источники минимальна! Для особо требовательных систем есть режим downstream, снижающий нагрузку на исходную систему практически до нуля.
Немного практики, или с чего все начиналось?
До момента запуска решения процесс обеспечения данными бизнес-аналитиков заказчика выглядел приблизительно так:
- из учетных систем делались ночные выгрузки, загружаемые затем в отчетные базы;
- пользователям предоставлялся доступ к репликам.
Все эти варианты, конечно, работали до некоторого момента роста бизнеса и требований к оперативности построения отчетности. Затем минусы решений стали слишком большим сдерживающим фактором развития.
Начну с минусов второго варианта. Даже если реплика содержит данные с маленьким отставанием по времени, архитектура данных в ней OLTP-шная, не предназначенная для анализа большого объема данных. Специалисту, работающему с программой, хочется иметь возможность добавлять поля в те или иные таблицы: в одну таблицу – секции по дате, в другую – битовый индекс, а в таблицу клиентов – еще несколько полей для денормализации. Но ничего этого сделать нельзя, да и сервер реплики – не всегда шустрая машина.
Ниже мы расскажем о принципах работы GoldenGate и нашем опыте его настройки.
Алексей Курочка, директор Oracle Systems в России и СНГ:
Exadata X8M — это прорыв для приложений, которым требуется доступ в реальном времени к большим объемам данных, таким, как задачи выявления мошенничества и персонализированного процесса покупок.
«Больше процессоров, больше ядер, больше памяти. Все работает быстрее», — так отрекомендовали Exadata X8M на Oracle OpenWorld 2019 в Сан-Франциско. Как уже упоминалось, архитектура в этом решении — горизонтальная, поэтому масштабирование происходит беспроблемно за счет сбалансированного увеличения числа процессоров и других ресурсов.
«В горизонтально масштабируемой архитектуре можно создавать конфигурации для решения задач любого объема, а также наращивать саму конфигурацию от самой небольшой до чрезвычайно крупной. Что важно, при этом не страдает производительность и не возникает единых точек отказа. Все компоненты масштабированной архитектуры связаны с помощью RoCE, что сохраняет пропускную способность в 100 Гбит/с для каждой стойки», — отмечает Алексей Курочка.
С Exadata X8M можно увеличивать не только количество процессоров и памяти базы данных (до 1,5 Тб на узел в конфигурации с двумя сокетами и до 6 Тб — с восемью), но и пропускную способность сетевых соединений с сервером базы данных, для чего предусмотрен отдельный свободный слот PCIe, в который можно вставить карту на 2 или 4 Ethernet-порта.
В горизонтально масштабируемой архитектуре можно создавать конфигурации для решения задач любого объема, а также наращивать саму конфигурацию от самой небольшой до чрезвычайно крупной.
Различные исследования компаний, пришедших к использованию Exadata показали, что решение обеспечивает 429% окупаемости в пятилетней перспективе при попутной экономии в сотни тысяч долларов.
После выхода Exadata X8M свою экспертизу, посвященную конкретно этой модели, провели аналитики сообщества Wikibon. Они сравнили стоимость владения на протяжение четырех лет X8M под управлением Oracle Database Enterprise Edition с традиционной системой (созданной силами заказчика из доступных на рынке компонент), сопоставимой по общим характеристикам производительности всех используемых компонент. Сравнение оказалось не в пользу фанатов собственной разработки: Exadata X8M оказалась на 48% дешевле, а при мультиоблачном подходе еще и ощутимо эффективнее.
* - IDC White Paper, sponsored by Oracle, A Revolution in Data Management: Oracle Exadata X8M, April 2020
Эту статью я хочу начать со ссылки на важное исследование, которое было сделано четыре года назад агентством PAC Consulting для компании Compuware. С результатами исследования можно ознакомиться здесь, касалось оно производительности решений на базе систем SAP. Аналитики проинтервьюировали менеджмент 588 компаний Бельгии, Великобритании, Германии, Испании, Италии, Нидерландов, США и Франции и выяснили, что 43% пользователей веб-портала SAP недовольны его производительностью. Из числа больших компаний (с числом пользователей более 2 тыс.) недовольна треть, а среди остальных — 48%. Многие сказали, что неудовлетворительная производительность приложений является серьезным потенциальным финансовым риском для предприятий.
Только не подумайте, что я пишу это, чтобы бросить тень на компанию SAP. Oracle и SAP сотрудничают на ИТ-рынке более 20 лет, с 1988 года. Самое большое количество инсталляций приложений SAP для крупных заказчиков в мире производится с использованием базы данных Oracle.
Так вот, в первую очередь на производительность приложений SAP влияет технологическая инфраструктура, на которой они выполняются. Compuware отмечает, что ПО SAP адекватно работает на стабильной и надежной ИТ-инфраструктуре — которая включает в себя и компьютеры, и базу данных, и сетевые соединения. А значит исключительно важно, чтобы кто-то производил стабильную и надежную ИТ-инфраструктуру, на которую будут работать приложения.
Компания Oracle постоянно развивала функциональность для повышения быстродействия, безопасности и надежности корпоративных систем. В 1992 году появился первый выпуск SAP R/3 для Oracle, а в 1999 году компании подписали соглашение о коммерческом и сервисном партнерстве, которое было продлено в 2010 году. Когда в 2009 году Oracle приобрела компанию Sun, она перевела свои программно-аппаратные комплексы Exadata, предназначенные для бизнес-аналитики, консолидации баз данных и оперативной обработки транзакций, на платформу Sun. Буквально через два года появилась версия программно-аппаратного комплекса Oracle Exadata для SAP, а затем Oracle Exalogic и Oracle SuperCluster.
На самом-то деле заказчик хочет купить не аппаратное и не программное обеспечение, а решение своих проблем. И если заказчик собирается приобретать программное обеспечение Oracle, то выбор наиболее эффективной аппаратной конфигурации для Oracle и решений на базе Oracle тоже стоит доверить Oracle.
Ваша серверная комната ДО и ПОСЛЕ появления (oracle) engineered systems .
Как разрабатываются (oracle) engineered systems ? Аппаратное обеспечение и программное обеспечение проектируются, тестируются и отлаживаются совместно. А если вы знаете, какие приложения на каком оборудовании будут работать, то вы можете добиться высочайшей производительности, при этом меньше вероятность «сюрпризов» от несовместимости компонентов, и, конечно, проще становится оказание поддержки. Заказчикам не приходится подбирать и оптимизировать компоненты — серверы, диски, процессоры, сетевые компоненты, память и т.п. Устанавливать и настраивать программное обеспечение, тестировать работоспособность каждого сервера, заниматься их последующим обновлением и т.п. тоже не придется. Существенно упрощается обслуживание ИТ-инфраструктуры.
На сегодня все программно-аппаратные комплексы Oracle сертифицированы для работы с приложениями SAP и готовы для облачных вычислений, например, для организации частного облака — а если мы говорим о реализации решений на программно-аппаратной платформе для приложений SAP, то актуально, скорее всего, именно частное облако.
Oracle предлагает полный стек решения, начиная с аппаратного обеспечения виртуализации операционных систем и слоя баз данных для приложений SAP, созданного на основе лучших практик, которые имеет Oracle. За три десятка лет глобальной практики Oracle накопилась большая база знаний, в которой консолидированы все проблемы, которые могут возникать у заказчиков. Проанализировав всю эту огромную базу знаний, Oracle разработала готовое, сбалансированное, преднастроенное, сконфигурированное программно-аппаратное решение, пригодное к эксплуатации для размещения баз данных на платформе от Oracle.
Комплексы Oracle Exadata предназначены для организации сервисов баз данных Oracle. Oracle Exalogic — машина для серверов приложений, включая Oracle Applications, SAP ERP и другие. Комплексы Oracle Database Appliance предназначены для развертывания сервисов баз данных Oracle вместе с приложением — например, с центральной инстанцией SAP ERP. Oracle Virtual Compute Appliance позволяет разворачивать все необходимые сервисы, это программно-аппаратный комплекс сертифицирован, в том числе, компанией SAP. Далее я подробнее остановлюсь на решении Oracle Exadata для SAP.
Наконец, Oracle SuperCluster M6-32 создан на платформе SPARC, и это по всем параметрам одна из мощнейших машин, поставляемых сегодня на рынке — 32 процессора, 384 ядра, 3072 треда; 140 тыс. пользователей SAP, официальный результат тестирования — 793 930 SAPS. Подробности об Oracle SuperCluster — в следующей статье.
Младшая конфигурация решения Oracle Exadata — Oracle Exadata Eights Rack. В нее входит два вычислительных модуля на платформе Intel Х86, два сервера баз данных. Большинство заказчиков использует для коммутации классических систем хранения и классических серверов Fibre Channel со скоростью передачи данных 10 или 16 Гб, но это решение чревато серьезными задержками отклика при масштабировании, поэтому Oracle использует для коммутации высокоскоростную сеть InfiniBand со скоростью 40 Гб. Infiniband обладает минимальной латентностью и обеспечивает минимальное время отклика при большом количестве пользователей.
Система хранения данных, используемая в Oracle Exadata, называется Exadata Storage Server, и существенно отличается от классических решений. Кратко особенность Exadata Storage Server заключается в том, что система «понимает», что работает с базой данных Oracle, оптимизирует передачу блоков с уровня систем хранения на уровень базы данных, и обеспечивает выполнение части операций с базами данных, включая SQL-запросы, на уровне системы хранения. Таким образом Exadata Storage Server обеспечивает уменьшение трафика с уровня систем хранения на уровень базы данных, и обеспечивает наивысшую общую производительность системы в целом.
Exadata Storage Server использует сервер Х4-2, в котором установлены два 6-ядерных процессора, 96 Гбайт памяти, PCI Flash Card для ускорения ввода-вывода и жесткие диски объема 1,2 Тбайт или 4 Тбайт для долговременного хранения данных.
Exadata Database Server имеет два 12-ядерных процессора, объем оперативной памяти — 256 или 512 Гбайт. Все интерфейсы: и сетевые, и InfiniBand — продублированы.
Более высокими конфигурация Oracle Exadata Database Machine, чем Oracle Exadata Eighth, являются Oracle Exadata Quarter, Oracle Exadata Half и Oracle Exadata Full Rack. На начальном этапе клиент может приобрести Eighth или Quarter, а затем по мере необходимости стандартным путем масштабировать конфигурацию до любой более мощной, при этом не нужно задумываться о сетевых мощностях, обеспечении доступа серверов к системе хранения данных и т.д., все это решается заранее, клиенту нужна только классическая сеть Ethernet.
В России самым популярным решением является Oracle Exadata Quarter, в него входят два сервера баз данных (суммарно 48 ядер), оперативная память 512 Гбайт или 1 Тбайт, дублируемый InfiniBand, три системы хранения, PCI Flash Cash объемом 9,6 Тбайт, и хранилище файлов баз данных с полезным объемом от 19 Тбайт (быстрые диски) до 63 Тбайт (диски высокой емкости) с учетом дублирования, реорганизации RAID-групп и т.д.
Производительность — это то, ради чего все затевалось, поэтому она заслуживает отдельного разговора.
Еще раз остановимся на Oracle Exadata Quarter. Давайте представим себе, что у нас есть только обычные диски и нет SSD-дисков и PCI Flash Cash. В этом случае 50 тыс. операций ввода-вывода — это полный шкаф с дисками. PCI Flash Cash обеспечивает 570 тыс. операций чтения и 420 тыс. операций записи в секунду.
Благодаря чему это достигается? Дело в том, что современные базы данных приложений SAP, как правило, не превышают 15 Тбайт по объему. Такая база практически целиком умещается в быстрый кэш. Но даже если база данных занимает 50 Тбайт, то в PCI Flash Cash попадает практически вся ее рабочая часть — потому что средняя система обновляет менее 10% данных, а высоконагруженная, как правило, не более 20% данных.
Таковы самые общие сведения об Oracle Exadata, которыми я хотел с вами поделиться. В следующей статье мы чуть глубже остановимся на том, как работает Exadata, поговорим о сопровождении и технической поддержке Exadata, чуть подробнее расскажем об Oracle SuperCluster и остановимся на реальных внедрениях системы.
В первой части статьи мы рассказали об основных подходах, заложенных в основу engineered systems Oracle Exadata. А теперь копнем глубже.
Что такого умеет Exadata, что не умеет делать классическая база данных? Как вы уже, наверное, догадались, инкрементальное резервирование производятся только на уровне системы хранения, и не влияют на производительность серверов баз данных.
Те операции, которые требуют массивного ввода-вывода, и сильно прогружают уровень баз данных, также перенесены на уровень системы хранения. И если в классической архитектуре массив возвращает в систему набор блоков, с которым работает сервер баз данных, то Exadata Storage Server выдает законченный набор строк и колонок, который и требовался по запросу — так называемый recordset, только те колонки и столбцы, которые требуются. В результате процессорные ресурсы сервера баз данных существенно разгружаются.
База данных Oracle использует классическое сжатие данных, OLTP-компрессию. Exadata осуществляет гибридное колоночное сжатие — это значит, что при использовании Hybrid Columnar Compression данные хранятся в поколоночном формате, что очень эффективно для больших хранилищ данных, поскольку это более компактный формат, который позволяет получать высокие показатели производительности, и очень высокий коэффициент сжатия. На всякий случай Oracle сообщает в маркетинговых материалах, что для приложений SAP достигается 10-кратная компрессия — просто потому, что в более высокие показатели сходу никто не поверит. Но на практике для приложений SAP достигается гораздо более высокий коэффициент сжатия — для реальных данных.
Архитектура PCI Flash повышает производительность системы не только потому, что работает быстрее, чем диски. В решение по умолчанию включена возможность перемещения «горячих» данных с обычных дисков на PCI Flash Cash. Система очень быстро реагирует на изменения нагрузки, и если базе данных активно требуются те или иные блоки данных, они мгновенно перемещаются в быстрый PCI Flash Cash. Но, разумеется, как и другие дополнительные возможности, это можно отключить.
Прежде, чем внедрить ту или иную систему, заказчик всегда вынужден прибегать к сложному и трудоемкому тестированию, которое покажет, насколько корректно и продуктивно решение будет работать на ИТ-инфраструктуре заказчика. Для этого необходимо построить испытательный стенд, разработать методику тестирования, выделить наиболее критичные для бизнеса задачи, продумать генерацию нагрузки и отвлечь ИТ-специалистов от текущих задач, как минимум, на несколько недель. В случае Oracle Exadata для SAP эту проблему решает бесплатный для заказчиков специализированный сервис, который называется Oracle Exadata SAP Acceleration Pre-Check.
Отчет содержит информацию о таких показателях, как общее время реакции системы и время реакции приложения и базы данных. При этом всегда дается самый пессимистический прогноз производительности приложений. На практике же решение работает гораздо быстрее, чем показывает предварительный анализ.
Как работает классический подход к сопровождению и модернизации системы? Вы эксплуатируете систему в течение года, а затем либо сами, либо привлекая ИТ-партнеров, делаете достаточно масштабный аудит решения — насколько загружены сети, насколько загружена система ввода-вывода и серверы, оптимально ли собрана конфигурация, насколько заметна деградация производительности и чем она вызвана. В случае Exadata все гораздо проще — вы запускаете программу Oracle Exadata Exachk, которая выполняет комплексную диагностику всех компонентов системы и выдает полную информацию о конфигурации Exadata — например, программа укажет на то, что дисковые группы в системе размечены не так, как рекомендовано Oracle. Если в системе не установлены очередные обновления, это также будет отражено в отчете.
Не нужно объяснять, что для адекватной работы программно-аппаратных комплексов исключительно важна организация технической поддержки. Для технической поддержки решений Exadata, Exalogic и SuperCluster у Oracle существует специализированная программа. В рамках этой программы клиентские кейсы рассматриваются и на аппаратном, и на программном уровне — этому способствует архитектура программно-аппаратных комплексов.
Процедура обновления системы существенно проще, чем в классических архитектурах — вы просто получаете квартальное обновление, уже протестированное инженерами Oracle. Время, необходимое для обновление систем, как и риски, характерные для таких обновлений, таким образом существенно снижаются.
Принципиально важно, что компания SAP сертифицирует весь комплекс Oracle Exadata целиком — и серверы, сети, кластерно-программное обеспечение, системы хранения, даже кабели. Это гарантирует качество и правильную работу решения, и именно благодаря этому все стадии и сроки запуска системы у заказчика очень четко детерминированы.
Разумеется, для того, чтобы сервис баз данных функционировал на Exadata или SuperCluster, необходимо, чтобы базы данных Oracle были лицензированы. Возможно лицензирование решения как через SAP, так и непосредственно у Oracle.
Самое важное, хотя и очевидное — компания SAP уже подтвердила, что новая версия базы данных Oracle Database 12.1.0.2, будет портирована и протестировано под работы с приложениями SAP. Это будет первый релиз Oracle Database 12, с которым будет работать SAP. Так же остается важным ограничение, что в вашей компании должен использоваться SAP NetWeaver 7 версии и выше, соответственно, миграция таких решений, в которых используется NetWeaver 7 версии и выше, возможна и на 12 версию.
Как вы знаете, версия Oracle Database 12.1.02 поддерживает технологию In-Memory, смысл которой в том, что рядом с нашим привычным буферным кэшем, который хранит строки таблиц и блоки индексов, она создает новый кэш, точнее — новую разделяемую область для данных в оперативной памяти, в которой информация о таблицах хранится в колоночном формате, причем данные одновременно активны и транзакционно согласованы. Все изменения, как обычно, сначала производятся в обычном буферным кэше, после чего отражаются в колоночном, или, как его называют наши англоязычные друзья, «колумнарном» кэше.
В настоящий момент ведутся работы по сертификации этой опции компаний SAP, и это обязательно произойдет — хотя и не с самым первым релизом, который будет сертифицирован SAP.
Окружение приложения SAP в трехзвенной архитектуре состоит из двух компонентов: серверы приложений и сервисы баз данных. Сервисы баз данных можно разворачивать на Oracle Exadata, но где можно развернуть серверы приложений SAP? Это можно сделать на Oracle SuperCluster.
Oracle SuperCluster — самодостаточный программно-аппаратный комплекс, который содержит все необходимое для функционирования сервисов баз данных и серверов приложений — систему хранения, серверы баз данных, систему виртуализации, кластерное решение и серверы приложений.
Oracle SuperCluster поставляется в двух вариантах — Half Rack Supercluster и полный вариант. В Half Rack Supercluster входят два вычислительных модуля с процессорами Oracle T5. База данных выполняется на Exadata Storage Server. Конфигурация полностью дублирована с точки зрения аппаратных средств, приложения защищены с помощью технологии Solaris Cluster, которая также входит в решение. Для защиты географической конфигурации от катастроф используется ZFS SA-репликация с основной площадки на резервную, для защиты сервиса баз данных — технология Oracle Data Guard, для защиты серверов приложений — Oracle Solaris Cluster. Таким образом, Oracle SuperCluster представляет собой комплексное решение, защищенное от любого сбоя, включая полную потерю основного или резервного ЦОДа.
В рамках программы обслуживания Oracle ACS предлагается услуга миграции продуктивной базы данных для SAP на Oracle Exadata или Oracle Supercluster. Проекты миграции выполняются на различных операционных системах: UNIX, Linux, Windows, возможна кросс-платформенная миграция, миграция с обновление версий Oracle Database. Скорость миграции в основном зависит от скорости аппаратной платформы, как правило 0,5–1 Тбайт в час.
Открываем тему — потому что в рамках одной статьи рассказать про восемь различных программно-аппаратных комплексов Oracle можно только в формате «открытия темы». Поэтому сегодня мы «пробежимся» по Exadata, Exalogic, SuperCluster, Exalytics, Database Appliance, Big Data Appliance, Private Cloud Appliance и Zero Data Loss Recovery Appliance, а в других материалах будем обсуждать каждую продуктовую линию отдельно и детально.
На самом деле термин «программно-аппаратные комплексы», которым мы будем пользоваться в этой статье, не вполне корректен, ведь любые вычислительные системы по определению являются программно-аппаратными комплексами. Правильнее говорить об оптимизированных программно-аппаратных комплексах. Потому что каждый программно-аппаратный комплекс — это результат тщательнейшего проектирования, подбора компонентов, настройки программного обеспечения, комплектации решения функциональностью и, конечно, оптимизации.
Аппаратное обеспечение и программное обеспечение проектируются, тестируются и отлаживаются совместно. И если вы знаете, на каком оборудовании будут работать приложения, то вы можете добиться высочайшей производительности, вероятность «сюрпризов» от несовместимости компонентов при этом становится меньше, а оказание поддержки — проще. Заказчикам не приходится подбирать и оптимизировать компоненты — серверы, диски, процессоры, сетевые компоненты, память и т.п. Устанавливать и настраивать программное обеспечение, тестировать работоспособность каждого сервера, заниматься их последующим обновлением и т.п. тоже не нужно. Существенно упрощается обслуживание ИТ-инфраструктуры. Именно в этом заключается идея программно-аппаратных комплексов, которые компания Oracle начала создавать с 2008 г. — самостоятельно разрабатывать программно-аппаратные конфигурации для достижения наивысшей производительности.
Машины Exadata были дебютом Oracle в жанре программно-аппаратных комплексов. Exadata — это машина, предназначенная исключительно для выполнения СУБД Oracle. Она используется для OLTP-нагрузок, для хранилищ данных, для смешанных нагрузок, для консолидации приложений на базе Oracle Database. На аппаратном уровне Exadata в зависимости от конфигурации — это и быстрая дисковая подсистема и 40-гигабитная сеть Infiniband, а также многотерабайтная оперативная память и FLASH-память на десятки терабайт. То есть, с аппаратной точки зрения — это очень быстрые и мощные машины.
Но важнейшей особенностью архитектуры Exadata являются так называемые ячейки (рис. 1). Каждая ячейка Exadata — это самостоятельный сервер с 12 дисками и специальным ПО Exadata Software. Ячейки Exadata — это не просто серверы хранения, они умеют выполнять множество операций самостоятельно. Это операции, которые в традиционной архитектуре делает сама СУБД Oracle — тем самым серверы баз данных разгружаются для других операций. Не всегда очевидный, но очень важный момент — многие ресурсоемкие запросы требуют перекачки больших объемов данных с дисков по сети на сервера СУБД Oracle для обработки. В случае использования ячеек, зачастую удается отфильтровать заведомо ненужные данные прямо на системе хранения, чтобы передавать в СУБД требовалось только ничтожную часть первоначального объема данных. Это позволяет в некоторых случаях увеличивать производитльность запросов в десятки и сотни раз. Ячейки не связаны между собой непосредственно, что позволяет распараллеливать запросы без накладных расходов. Количество ячеек в системе неограниченно, при этом данные «размазаны» между многими ячейками Exadata.
Важно понимать, что даже если самостоятельно собрать похожий аппаратный комплекс на оборудовании Oracle или других производителей, создать на его основе систему, аналогичную Exadata не получится. Дело в том, что программное обеспечение Exadata, которое отвечает за большую часть преимуществ Exadata, включая гибридно-колоночную компрессию, индексы хранения, работа c FLASH-картами и т.д., поставляется только с Exadata. Благодаря оптимизации, которую проходят комплексы Exadata и использованию Exadata Software, система в целом работает в разы быстрее, чем любые аналогичные, но обычные, неоптимизированные конфигурации.
Как вы понимаете, на такой конфигурации могут работать довольно серьезные базы данных, так что малый бизнес для Database Appliance — далеко не предел. С другой стороны, если для вашего бизнеса 72 процессорных ядра много, то не нужно платить сразу за все — можно для начала лицензировать меньшее количество ядер (минимально два ядра), все остальные будут временно заблокированы. Когда с течением времени вашему бизнесу потребуются дополнительные вычислительные мощности, можно приобрести лицензию на необходимое количество ядер — и они будут активизированы. Так Database Appliance оптимизирует затраты клиентов.
Изначально Oracle Database Appliance задумывали, как машину для базы данных Oracle, но затем заказчики получили возможность устанавливать на эту конфигурацию виртуальную машину Oracle и разворачивать на ней полноценные решения — со слоями приложений, базы данных и т.д. А поскольку виртуальная машина Oracle поддерживает частичное лицензирование, можно лицензировать одни процессорные ядра только для виртуальной машины и серверов приложений, другие — только для слоя базы данных и т.д.
Oracle Exalogic — это Exadata «наоборот», аналогичная машина, оптимизированная для выполнения слоя приложений Oracle. Exalogic, построенная на архитектуре Intel, предлагает высочайшую производительность для Oracle Fusion Middleware, приложений Oracle (таких как Oracle E-Business Suite, Utilities, Siebel и т.д.) и виртуальных машин, она оптимизирована для приложений WebLogic.
Exalogic — это очень мощная машина. У нее до 30 вычислительных узлов, до 1080 ядер Xeon, встроенное хранилище для огромных объемов данных — дисковый массив ZFS на 80 ТБ. Конечно, заказчик может создать подобную конфигурацию сам, но тогда у него не будет главного — флажка «Enable Exalogic Optimizations» на панели администратора (рис. 2). А он включает многочисленные оптимизации и специальныое ПО, которое позволяет, как и в случае Exadata, значительно ускорить систему, по сравнению с обычными конфигурациями.
Oracle SuperCluster — это машина, которая сочетает в себе возможности Exadata и Exalogic на платформе SPARC. Фактически это машина для консолидации — на нее можно установить базу данных, слой приложений и настроить все это для совместной работы с использованием всех преимуществ SPARC-платформы, включая виртуализацию, отказоустойчивость и т.д. При этом на SuperCluster используются ячейки Exadata для ускорения работы базы данных. Но самое большое преимущество можно получить, когда на одном SuperCluster разворачивается целиком целая система, например, система Oracle E-Business Suite, или система SAP, которая состоит из серверов приложений и базы данных Oracle.
Сейчас существуют две продуктовые линии SuperCluster: одна на процессоре Т5, вторая — на процессорах М6. На рис. 3 приведено сравнение конфигураций SuperCluster Т5-8 и М6-32. Одно из основных преимуществ SuperCluster М6-32 — это огромный объем оперативной памяти, до 32 ТБ, а также 384 процессорных ядра. Если ваша бизнес-система требовательна к количеству процессоров, к объему оперативной памяти и, возможно, не слишком хорошо приспособлена для работы в кластере, то SuperCluster М6-32 закроет все потребности даже такой «капризной» системы.
Машина Oracle Exalytics предназначена для ускорения слоя бизнес-аналитики. Ее главные возможности — это ускорение работы Oracle Business Intelligence и Oracle Essbase благодаря использованию большого объема оперативной памяти, интеграция с Exadata, ускорение отчетов и задач планирования и бюджетирования, поддержка большого количества пользователей, использование технологий In-Memory технологий: Oracle TimesTen или Oracle Database с опцией ln-Memory.
Exalytics версии X5-4 имеет до 3 ТБ оперативной памяти, 72 процессорных ядра Intel, FLASH-хранилище объемом 4,8 ТБ и жесткие диски суммарным объемом 7,2 ТБ. Exalytics версии T5-8 — еще более «богатая» машина, у нее 4 ТБ оперативной памяти, 128 процессорных ядер SPARC T5 и 3,2 ТБ FLASH-памяти. Эту огромную вычислительную мощь имеет смысл использовать с огромным количеством одновременно работающих пользователей аналитической системы, в том числе для поддержки хранилищ данных, работающих на альтернативных платформах, и испытывающих проблемы с производительностью.
Oracle Private Cloud Appliance — это инфраструктура для быстрого развертывания виртуальных машин на базе Oracle VM. Это удобный в использовании комплекс, который позволяет вам очень быстро развертывать виртуальные машины и управлять ими. Виртуальные машины создаются вручную из ISO-образов или из шаблонов Oracle VM. В Private Cloud Appliance, можно, например, создать простую виртуальную машину вроде Oracle Linux VM или Solaris VM за одну минуту, а 16-узловой кластер Oracle RAC — примерно за 45 минут. Кроме того, в OPCA используется относительно недавно приобретенная Oracle система SDN (Software Define Network) для быстрого создания и управления виртуальными сетями.
Инфраструктура предназначена для работы с Intel-ориентированными виртуальными машинами (Linux, Solaris, Windows). Можно приобрести минимальную двухузловую конфигурацию и наращивать ее до 25 узлов. Число процессорных ядер в такой максимальной конфигурации составит 900 (по 36 на узел), объем памяти — 6,4 ТБ (по 256 ГБ на узел). У системы есть небольшое собственное хранилище (ZFS Storage), но предполагается, что виртуальные машины будут использовать системы хранения, которыми располагает заказчик.
Oracle Zero Data Loss Recovery Appliance — это первый в мире программно-аппаратный комплекс, созданный специально для защиты баз данных Oracle. Recovery Appliance обеспечивает непрерывную защиту бизнес-критичных баз данных, выполняя всю обработку процессов резервного копирования, чтобы минимизировать нагрузку на производственные сервера. Оно исключает риск потери данных и резко снижает накладные расходы, связанные с защитой данных на производственных серверах. Кроме того, Recovery Appliance масштабируется для защиты тысяч баз данных, гарантирует сквозную проверку достоверности данных, а также реализует полный жизненный цикл защиты данных, включая резервное копирование на диск, резервное копирование на магнитную ленту и дистанционную репликацию.
Новые возможности Oracle Zero Data Loss Recovery Appliance тесно интегрируются с функциями СУБД Oracle и утилитой Recovery Manager (RMAN) для резервного копирования. Recovery Appliance реализует архитектуру только инкрементного (incremental forever) резервного копирования, чтобы минимизировать нагрузку на производственные системы.
Основная цель Recovery Appliance — исключить потери критически важной информации в базе данных. Передача журналов транзакций Redo в режиме реального времени на резервную БД была впервые реализована в технологии Oracle Data Guard. Recovery Appliance распространяет эту технологию на все базы данных простым и экономически эффективным способом. Recovery Appliance предлагает такой же уровень защиты данных, как и Data Guard, для баз данных, где не требуется быстрое переключение на резервную БД.
Система Recovery Appliance «понимает» внутренние форматы блоков СУБД Oracle, что позволяет производить проверку целостности данных на глубоком уровне. Целостность данных во всех резервных копиях и блоках Redo автоматически проверяется при их получении системой Recovery Appliance.
Recovery Appliance автоматизирует и принимает на себя управление всеми процессами полного и инкрементного резервного копирования на ленты. В качестве опции в программно-аппаратном комплексе Recovery Appliance могут быть установлены адаптеры Fibre Channel 16 Гбит/с для пересылки данных непосредственно из Recovery Appliance на ленточные библиотеки с использованием входящего в комплект поставки высоко интегрированного ПО Oracle Secure Backup для управления.
Сегодня с потребностью обработки гигантских объемов данных сталкиваются многие компании, которые должны заниматься глубоким анализом поведения клиентов, планировать высокоточную рекламу, объединять и анализировать данные из многих источников, в том числе неструктурированных, бороться с мошенничествами и т.д.
И последнее на сегодня. Пожалуйста, не пользуйтесь калькой с английского, и не называйте программно-аппаратные комплексы «инженерными системами». Это неправильно, потому что в русском языке под инженерными системами понимают совсем другое — системы электро-, тепло- и газоснабжения, водоснабжения и канализации, вентиляции и кондиционирования, освещения и связи. Вот почему наши оптимизированные программно-аппаратные комплексы достойны того, чтобы называть их своим именем — ведь они могут управлять целыми городами инженерных систем.
Современные темпы развития бизнеса диктуют свои условия получения данных. Бизнесу для принятия оперативных решений требуется самая актуальная информация по текущему состоянию компании практически в режиме онлайн (в зависимости от отрасли: retail – количество продаж за день, service – количество обращений клиентов за день и т.д.). Для решения таких задач (построение онлайн-баз данных для анализа) корпорация Oracle выпустила и достаточно активно развивает продукт GoldenGate, который мы подробно изучили. К сожалению, мы не можем в данной статье называть имена наших заказчиков, но хотим описать свой практический опыт использования GoldenGate на нескольких проектах.
Oracle GoldenGate – это не просто решение по репликации данных, а решение для создания real-time-приложений. GoldenGate обеспечивает сбор, маршрутизацию, преобразование и доставку транзакционных данных между гетерогенными средами в реальном времени c минимальной дополнительной нагрузкой. Данное решение можно использовать для построения сложной отчетности или как исходную систему для ETL (система выгрузки, загрузки и преобразования данных). При этом GoldenGate имеет широкие возможности интеграции c Oracle Data Integrator, расширяя функциональность последнего.
Хранилище данных
Следующая потребность, сформулированная представителями заказчика, заключалась в обеспечении возможности выполнения анализа данных во временном разрезе. И тут перед нами встал вопрос построения хранилища данных.
Но как получать данные для хранилища, да еще в режиме реального времени? Триггеры отпадают сразу же. Включать штатное логирование изменений на источнике не всегда возможно, да и накладно это по ресурсам – это могут позволить не все системы.
И в данном случае нам на выручку опять пришел GoldenGate. Это решение позволяет получать все изменения данных в режиме онлайн и привязывать их к дате и времени, когда эти изменения произошли в базе данных.
Для загрузки изменений мы обычно рекомендуем использовать, например, Oracle Data Integrator, тогда на выходе получится онлайн-хранилище данных. Конечно, для его реализации потребуются определенные навыки работы с GoldenGate и Oracle Data Integrator, а также сервер соответствующей мощности. Часто заказчики не готовы к такому повороту событий, они продолжают по старинке загружать информацию, используя для этого регламентные окна и пакетный режим загрузки.
В нашем случае после внедрения GoldenGate бизнес-заказчик получил хранилище данных с детальным ведением истории изменений, без доработки систем-источников. Созданное хранилище данных позволяет отслеживать историю поведения клиентов – заинтересованность в разных продуктах компании и т.д.
Хранилище данных есть, онлайн-отчетность есть!
Авторы
Другие статьи автора
Отчетность
Несмотря на то что GoldenGate отлично реплицирует данные, когда структуры источника и приемника различаются, нужно учитывать, что это все же не ETL/ELT-инструмент, хотя на нем можно решать некоторые подобные задачи. И здесь нам на помощь пришла интеграция с полноценным и мощным ELT-инструментом все того же производителя – Oracle Data Integrator. Связка этих двух «монстров» позволила нам решить задачи по формированию любых форматов отчетности.
Итогом стало то, что бизнес получил обновляемую в режиме реального времени отчетно-ориентированную базу данных (с дополнительными индексами, секциями, денормализованными сущностями), которую можно использовать для быстрого выполнения запросов аналитиков и формирования отчетов.
Обратная связь от представителей заказчика показывает, что, поработав некоторое время с новой отчетностью, бизнес определил для себя следующие шаги повышения эффективности своей работы.
Алексей Курочка, директор Oracle Systems в России и СНГ:
Exadata X8M — это прорыв для приложений, которым требуется доступ в реальном времени к большим объемам данных, таким, как задачи выявления мошенничества и персонализированного процесса покупок.
«Больше процессоров, больше ядер, больше памяти. Все работает быстрее», — так отрекомендовали Exadata X8M на Oracle OpenWorld 2019 в Сан-Франциско. Как уже упоминалось, архитектура в этом решении — горизонтальная, поэтому масштабирование происходит беспроблемно за счет сбалансированного увеличения числа процессоров и других ресурсов.
«В горизонтально масштабируемой архитектуре можно создавать конфигурации для решения задач любого объема, а также наращивать саму конфигурацию от самой небольшой до чрезвычайно крупной. Что важно, при этом не страдает производительность и не возникает единых точек отказа. Все компоненты масштабированной архитектуры связаны с помощью RoCE, что сохраняет пропускную способность в 100 Гбит/с для каждой стойки», — отмечает Алексей Курочка.
С Exadata X8M можно увеличивать не только количество процессоров и памяти базы данных (до 1,5 Тб на узел в конфигурации с двумя сокетами и до 6 Тб — с восемью), но и пропускную способность сетевых соединений с сервером базы данных, для чего предусмотрен отдельный свободный слот PCIe, в который можно вставить карту на 2 или 4 Ethernet-порта.
В горизонтально масштабируемой архитектуре можно создавать конфигурации для решения задач любого объема, а также наращивать саму конфигурацию от самой небольшой до чрезвычайно крупной.
Различные исследования компаний, пришедших к использованию Exadata показали, что решение обеспечивает 429% окупаемости в пятилетней перспективе при попутной экономии в сотни тысяч долларов.
После выхода Exadata X8M свою экспертизу, посвященную конкретно этой модели, провели аналитики сообщества Wikibon. Они сравнили стоимость владения на протяжение четырех лет X8M под управлением Oracle Database Enterprise Edition с традиционной системой (созданной силами заказчика из доступных на рынке компонент), сопоставимой по общим характеристикам производительности всех используемых компонент. Сравнение оказалось не в пользу фанатов собственной разработки: Exadata X8M оказалась на 48% дешевле, а при мультиоблачном подходе еще и ощутимо эффективнее.
* - IDC White Paper, sponsored by Oracle, A Revolution in Data Management: Oracle Exadata X8M, April 2020
Эту статью я хочу начать со ссылки на важное исследование, которое было сделано четыре года назад агентством PAC Consulting для компании Compuware. С результатами исследования можно ознакомиться здесь, касалось оно производительности решений на базе систем SAP. Аналитики проинтервьюировали менеджмент 588 компаний Бельгии, Великобритании, Германии, Испании, Италии, Нидерландов, США и Франции и выяснили, что 43% пользователей веб-портала SAP недовольны его производительностью. Из числа больших компаний (с числом пользователей более 2 тыс.) недовольна треть, а среди остальных — 48%. Многие сказали, что неудовлетворительная производительность приложений является серьезным потенциальным финансовым риском для предприятий.
Только не подумайте, что я пишу это, чтобы бросить тень на компанию SAP. Oracle и SAP сотрудничают на ИТ-рынке более 20 лет, с 1988 года. Самое большое количество инсталляций приложений SAP для крупных заказчиков в мире производится с использованием базы данных Oracle.
Так вот, в первую очередь на производительность приложений SAP влияет технологическая инфраструктура, на которой они выполняются. Compuware отмечает, что ПО SAP адекватно работает на стабильной и надежной ИТ-инфраструктуре — которая включает в себя и компьютеры, и базу данных, и сетевые соединения. А значит исключительно важно, чтобы кто-то производил стабильную и надежную ИТ-инфраструктуру, на которую будут работать приложения.
Компания Oracle постоянно развивала функциональность для повышения быстродействия, безопасности и надежности корпоративных систем. В 1992 году появился первый выпуск SAP R/3 для Oracle, а в 1999 году компании подписали соглашение о коммерческом и сервисном партнерстве, которое было продлено в 2010 году. Когда в 2009 году Oracle приобрела компанию Sun, она перевела свои программно-аппаратные комплексы Exadata, предназначенные для бизнес-аналитики, консолидации баз данных и оперативной обработки транзакций, на платформу Sun. Буквально через два года появилась версия программно-аппаратного комплекса Oracle Exadata для SAP, а затем Oracle Exalogic и Oracle SuperCluster.
На самом-то деле заказчик хочет купить не аппаратное и не программное обеспечение, а решение своих проблем. И если заказчик собирается приобретать программное обеспечение Oracle, то выбор наиболее эффективной аппаратной конфигурации для Oracle и решений на базе Oracle тоже стоит доверить Oracle.
Ваша серверная комната ДО и ПОСЛЕ появления (oracle) engineered systems .
Как разрабатываются (oracle) engineered systems ? Аппаратное обеспечение и программное обеспечение проектируются, тестируются и отлаживаются совместно. А если вы знаете, какие приложения на каком оборудовании будут работать, то вы можете добиться высочайшей производительности, при этом меньше вероятность «сюрпризов» от несовместимости компонентов, и, конечно, проще становится оказание поддержки. Заказчикам не приходится подбирать и оптимизировать компоненты — серверы, диски, процессоры, сетевые компоненты, память и т.п. Устанавливать и настраивать программное обеспечение, тестировать работоспособность каждого сервера, заниматься их последующим обновлением и т.п. тоже не придется. Существенно упрощается обслуживание ИТ-инфраструктуры.
На сегодня все программно-аппаратные комплексы Oracle сертифицированы для работы с приложениями SAP и готовы для облачных вычислений, например, для организации частного облака — а если мы говорим о реализации решений на программно-аппаратной платформе для приложений SAP, то актуально, скорее всего, именно частное облако.
Oracle предлагает полный стек решения, начиная с аппаратного обеспечения виртуализации операционных систем и слоя баз данных для приложений SAP, созданного на основе лучших практик, которые имеет Oracle. За три десятка лет глобальной практики Oracle накопилась большая база знаний, в которой консолидированы все проблемы, которые могут возникать у заказчиков. Проанализировав всю эту огромную базу знаний, Oracle разработала готовое, сбалансированное, преднастроенное, сконфигурированное программно-аппаратное решение, пригодное к эксплуатации для размещения баз данных на платформе от Oracle.
Комплексы Oracle Exadata предназначены для организации сервисов баз данных Oracle. Oracle Exalogic — машина для серверов приложений, включая Oracle Applications, SAP ERP и другие. Комплексы Oracle Database Appliance предназначены для развертывания сервисов баз данных Oracle вместе с приложением — например, с центральной инстанцией SAP ERP. Oracle Virtual Compute Appliance позволяет разворачивать все необходимые сервисы, это программно-аппаратный комплекс сертифицирован, в том числе, компанией SAP. Далее я подробнее остановлюсь на решении Oracle Exadata для SAP.
Наконец, Oracle SuperCluster M6-32 создан на платформе SPARC, и это по всем параметрам одна из мощнейших машин, поставляемых сегодня на рынке — 32 процессора, 384 ядра, 3072 треда; 140 тыс. пользователей SAP, официальный результат тестирования — 793 930 SAPS. Подробности об Oracle SuperCluster — в следующей статье.
Младшая конфигурация решения Oracle Exadata — Oracle Exadata Eights Rack. В нее входит два вычислительных модуля на платформе Intel Х86, два сервера баз данных. Большинство заказчиков использует для коммутации классических систем хранения и классических серверов Fibre Channel со скоростью передачи данных 10 или 16 Гб, но это решение чревато серьезными задержками отклика при масштабировании, поэтому Oracle использует для коммутации высокоскоростную сеть InfiniBand со скоростью 40 Гб. Infiniband обладает минимальной латентностью и обеспечивает минимальное время отклика при большом количестве пользователей.
Система хранения данных, используемая в Oracle Exadata, называется Exadata Storage Server, и существенно отличается от классических решений. Кратко особенность Exadata Storage Server заключается в том, что система «понимает», что работает с базой данных Oracle, оптимизирует передачу блоков с уровня систем хранения на уровень базы данных, и обеспечивает выполнение части операций с базами данных, включая SQL-запросы, на уровне системы хранения. Таким образом Exadata Storage Server обеспечивает уменьшение трафика с уровня систем хранения на уровень базы данных, и обеспечивает наивысшую общую производительность системы в целом.
Exadata Storage Server использует сервер Х4-2, в котором установлены два 6-ядерных процессора, 96 Гбайт памяти, PCI Flash Card для ускорения ввода-вывода и жесткие диски объема 1,2 Тбайт или 4 Тбайт для долговременного хранения данных.
Exadata Database Server имеет два 12-ядерных процессора, объем оперативной памяти — 256 или 512 Гбайт. Все интерфейсы: и сетевые, и InfiniBand — продублированы.
Более высокими конфигурация Oracle Exadata Database Machine, чем Oracle Exadata Eighth, являются Oracle Exadata Quarter, Oracle Exadata Half и Oracle Exadata Full Rack. На начальном этапе клиент может приобрести Eighth или Quarter, а затем по мере необходимости стандартным путем масштабировать конфигурацию до любой более мощной, при этом не нужно задумываться о сетевых мощностях, обеспечении доступа серверов к системе хранения данных и т.д., все это решается заранее, клиенту нужна только классическая сеть Ethernet.
В России самым популярным решением является Oracle Exadata Quarter, в него входят два сервера баз данных (суммарно 48 ядер), оперативная память 512 Гбайт или 1 Тбайт, дублируемый InfiniBand, три системы хранения, PCI Flash Cash объемом 9,6 Тбайт, и хранилище файлов баз данных с полезным объемом от 19 Тбайт (быстрые диски) до 63 Тбайт (диски высокой емкости) с учетом дублирования, реорганизации RAID-групп и т.д.
Производительность — это то, ради чего все затевалось, поэтому она заслуживает отдельного разговора.
Еще раз остановимся на Oracle Exadata Quarter. Давайте представим себе, что у нас есть только обычные диски и нет SSD-дисков и PCI Flash Cash. В этом случае 50 тыс. операций ввода-вывода — это полный шкаф с дисками. PCI Flash Cash обеспечивает 570 тыс. операций чтения и 420 тыс. операций записи в секунду.
Благодаря чему это достигается? Дело в том, что современные базы данных приложений SAP, как правило, не превышают 15 Тбайт по объему. Такая база практически целиком умещается в быстрый кэш. Но даже если база данных занимает 50 Тбайт, то в PCI Flash Cash попадает практически вся ее рабочая часть — потому что средняя система обновляет менее 10% данных, а высоконагруженная, как правило, не более 20% данных.
Таковы самые общие сведения об Oracle Exadata, которыми я хотел с вами поделиться. В следующей статье мы чуть глубже остановимся на том, как работает Exadata, поговорим о сопровождении и технической поддержке Exadata, чуть подробнее расскажем об Oracle SuperCluster и остановимся на реальных внедрениях системы.
В первой части статьи мы рассказали об основных подходах, заложенных в основу engineered systems Oracle Exadata. А теперь копнем глубже.
Что такого умеет Exadata, что не умеет делать классическая база данных? Как вы уже, наверное, догадались, инкрементальное резервирование производятся только на уровне системы хранения, и не влияют на производительность серверов баз данных.
Те операции, которые требуют массивного ввода-вывода, и сильно прогружают уровень баз данных, также перенесены на уровень системы хранения. И если в классической архитектуре массив возвращает в систему набор блоков, с которым работает сервер баз данных, то Exadata Storage Server выдает законченный набор строк и колонок, который и требовался по запросу — так называемый recordset, только те колонки и столбцы, которые требуются. В результате процессорные ресурсы сервера баз данных существенно разгружаются.
База данных Oracle использует классическое сжатие данных, OLTP-компрессию. Exadata осуществляет гибридное колоночное сжатие — это значит, что при использовании Hybrid Columnar Compression данные хранятся в поколоночном формате, что очень эффективно для больших хранилищ данных, поскольку это более компактный формат, который позволяет получать высокие показатели производительности, и очень высокий коэффициент сжатия. На всякий случай Oracle сообщает в маркетинговых материалах, что для приложений SAP достигается 10-кратная компрессия — просто потому, что в более высокие показатели сходу никто не поверит. Но на практике для приложений SAP достигается гораздо более высокий коэффициент сжатия — для реальных данных.
Архитектура PCI Flash повышает производительность системы не только потому, что работает быстрее, чем диски. В решение по умолчанию включена возможность перемещения «горячих» данных с обычных дисков на PCI Flash Cash. Система очень быстро реагирует на изменения нагрузки, и если базе данных активно требуются те или иные блоки данных, они мгновенно перемещаются в быстрый PCI Flash Cash. Но, разумеется, как и другие дополнительные возможности, это можно отключить.
Прежде, чем внедрить ту или иную систему, заказчик всегда вынужден прибегать к сложному и трудоемкому тестированию, которое покажет, насколько корректно и продуктивно решение будет работать на ИТ-инфраструктуре заказчика. Для этого необходимо построить испытательный стенд, разработать методику тестирования, выделить наиболее критичные для бизнеса задачи, продумать генерацию нагрузки и отвлечь ИТ-специалистов от текущих задач, как минимум, на несколько недель. В случае Oracle Exadata для SAP эту проблему решает бесплатный для заказчиков специализированный сервис, который называется Oracle Exadata SAP Acceleration Pre-Check.
Отчет содержит информацию о таких показателях, как общее время реакции системы и время реакции приложения и базы данных. При этом всегда дается самый пессимистический прогноз производительности приложений. На практике же решение работает гораздо быстрее, чем показывает предварительный анализ.
Как работает классический подход к сопровождению и модернизации системы? Вы эксплуатируете систему в течение года, а затем либо сами, либо привлекая ИТ-партнеров, делаете достаточно масштабный аудит решения — насколько загружены сети, насколько загружена система ввода-вывода и серверы, оптимально ли собрана конфигурация, насколько заметна деградация производительности и чем она вызвана. В случае Exadata все гораздо проще — вы запускаете программу Oracle Exadata Exachk, которая выполняет комплексную диагностику всех компонентов системы и выдает полную информацию о конфигурации Exadata — например, программа укажет на то, что дисковые группы в системе размечены не так, как рекомендовано Oracle. Если в системе не установлены очередные обновления, это также будет отражено в отчете.
Не нужно объяснять, что для адекватной работы программно-аппаратных комплексов исключительно важна организация технической поддержки. Для технической поддержки решений Exadata, Exalogic и SuperCluster у Oracle существует специализированная программа. В рамках этой программы клиентские кейсы рассматриваются и на аппаратном, и на программном уровне — этому способствует архитектура программно-аппаратных комплексов.
Процедура обновления системы существенно проще, чем в классических архитектурах — вы просто получаете квартальное обновление, уже протестированное инженерами Oracle. Время, необходимое для обновление систем, как и риски, характерные для таких обновлений, таким образом существенно снижаются.
Принципиально важно, что компания SAP сертифицирует весь комплекс Oracle Exadata целиком — и серверы, сети, кластерно-программное обеспечение, системы хранения, даже кабели. Это гарантирует качество и правильную работу решения, и именно благодаря этому все стадии и сроки запуска системы у заказчика очень четко детерминированы.
Разумеется, для того, чтобы сервис баз данных функционировал на Exadata или SuperCluster, необходимо, чтобы базы данных Oracle были лицензированы. Возможно лицензирование решения как через SAP, так и непосредственно у Oracle.
Самое важное, хотя и очевидное — компания SAP уже подтвердила, что новая версия базы данных Oracle Database 12.1.0.2, будет портирована и протестировано под работы с приложениями SAP. Это будет первый релиз Oracle Database 12, с которым будет работать SAP. Так же остается важным ограничение, что в вашей компании должен использоваться SAP NetWeaver 7 версии и выше, соответственно, миграция таких решений, в которых используется NetWeaver 7 версии и выше, возможна и на 12 версию.
Как вы знаете, версия Oracle Database 12.1.02 поддерживает технологию In-Memory, смысл которой в том, что рядом с нашим привычным буферным кэшем, который хранит строки таблиц и блоки индексов, она создает новый кэш, точнее — новую разделяемую область для данных в оперативной памяти, в которой информация о таблицах хранится в колоночном формате, причем данные одновременно активны и транзакционно согласованы. Все изменения, как обычно, сначала производятся в обычном буферным кэше, после чего отражаются в колоночном, или, как его называют наши англоязычные друзья, «колумнарном» кэше.
В настоящий момент ведутся работы по сертификации этой опции компаний SAP, и это обязательно произойдет — хотя и не с самым первым релизом, который будет сертифицирован SAP.
Окружение приложения SAP в трехзвенной архитектуре состоит из двух компонентов: серверы приложений и сервисы баз данных. Сервисы баз данных можно разворачивать на Oracle Exadata, но где можно развернуть серверы приложений SAP? Это можно сделать на Oracle SuperCluster.
Oracle SuperCluster — самодостаточный программно-аппаратный комплекс, который содержит все необходимое для функционирования сервисов баз данных и серверов приложений — систему хранения, серверы баз данных, систему виртуализации, кластерное решение и серверы приложений.
Oracle SuperCluster поставляется в двух вариантах — Half Rack Supercluster и полный вариант. В Half Rack Supercluster входят два вычислительных модуля с процессорами Oracle T5. База данных выполняется на Exadata Storage Server. Конфигурация полностью дублирована с точки зрения аппаратных средств, приложения защищены с помощью технологии Solaris Cluster, которая также входит в решение. Для защиты географической конфигурации от катастроф используется ZFS SA-репликация с основной площадки на резервную, для защиты сервиса баз данных — технология Oracle Data Guard, для защиты серверов приложений — Oracle Solaris Cluster. Таким образом, Oracle SuperCluster представляет собой комплексное решение, защищенное от любого сбоя, включая полную потерю основного или резервного ЦОДа.
В рамках программы обслуживания Oracle ACS предлагается услуга миграции продуктивной базы данных для SAP на Oracle Exadata или Oracle Supercluster. Проекты миграции выполняются на различных операционных системах: UNIX, Linux, Windows, возможна кросс-платформенная миграция, миграция с обновление версий Oracle Database. Скорость миграции в основном зависит от скорости аппаратной платформы, как правило 0,5–1 Тбайт в час.
Открываем тему — потому что в рамках одной статьи рассказать про восемь различных программно-аппаратных комплексов Oracle можно только в формате «открытия темы». Поэтому сегодня мы «пробежимся» по Exadata, Exalogic, SuperCluster, Exalytics, Database Appliance, Big Data Appliance, Private Cloud Appliance и Zero Data Loss Recovery Appliance, а в других материалах будем обсуждать каждую продуктовую линию отдельно и детально.
На самом деле термин «программно-аппаратные комплексы», которым мы будем пользоваться в этой статье, не вполне корректен, ведь любые вычислительные системы по определению являются программно-аппаратными комплексами. Правильнее говорить об оптимизированных программно-аппаратных комплексах. Потому что каждый программно-аппаратный комплекс — это результат тщательнейшего проектирования, подбора компонентов, настройки программного обеспечения, комплектации решения функциональностью и, конечно, оптимизации.
Аппаратное обеспечение и программное обеспечение проектируются, тестируются и отлаживаются совместно. И если вы знаете, на каком оборудовании будут работать приложения, то вы можете добиться высочайшей производительности, вероятность «сюрпризов» от несовместимости компонентов при этом становится меньше, а оказание поддержки — проще. Заказчикам не приходится подбирать и оптимизировать компоненты — серверы, диски, процессоры, сетевые компоненты, память и т.п. Устанавливать и настраивать программное обеспечение, тестировать работоспособность каждого сервера, заниматься их последующим обновлением и т.п. тоже не нужно. Существенно упрощается обслуживание ИТ-инфраструктуры. Именно в этом заключается идея программно-аппаратных комплексов, которые компания Oracle начала создавать с 2008 г. — самостоятельно разрабатывать программно-аппаратные конфигурации для достижения наивысшей производительности.
Машины Exadata были дебютом Oracle в жанре программно-аппаратных комплексов. Exadata — это машина, предназначенная исключительно для выполнения СУБД Oracle. Она используется для OLTP-нагрузок, для хранилищ данных, для смешанных нагрузок, для консолидации приложений на базе Oracle Database. На аппаратном уровне Exadata в зависимости от конфигурации — это и быстрая дисковая подсистема и 40-гигабитная сеть Infiniband, а также многотерабайтная оперативная память и FLASH-память на десятки терабайт. То есть, с аппаратной точки зрения — это очень быстрые и мощные машины.
Но важнейшей особенностью архитектуры Exadata являются так называемые ячейки (рис. 1). Каждая ячейка Exadata — это самостоятельный сервер с 12 дисками и специальным ПО Exadata Software. Ячейки Exadata — это не просто серверы хранения, они умеют выполнять множество операций самостоятельно. Это операции, которые в традиционной архитектуре делает сама СУБД Oracle — тем самым серверы баз данных разгружаются для других операций. Не всегда очевидный, но очень важный момент — многие ресурсоемкие запросы требуют перекачки больших объемов данных с дисков по сети на сервера СУБД Oracle для обработки. В случае использования ячеек, зачастую удается отфильтровать заведомо ненужные данные прямо на системе хранения, чтобы передавать в СУБД требовалось только ничтожную часть первоначального объема данных. Это позволяет в некоторых случаях увеличивать производитльность запросов в десятки и сотни раз. Ячейки не связаны между собой непосредственно, что позволяет распараллеливать запросы без накладных расходов. Количество ячеек в системе неограниченно, при этом данные «размазаны» между многими ячейками Exadata.
Важно понимать, что даже если самостоятельно собрать похожий аппаратный комплекс на оборудовании Oracle или других производителей, создать на его основе систему, аналогичную Exadata не получится. Дело в том, что программное обеспечение Exadata, которое отвечает за большую часть преимуществ Exadata, включая гибридно-колоночную компрессию, индексы хранения, работа c FLASH-картами и т.д., поставляется только с Exadata. Благодаря оптимизации, которую проходят комплексы Exadata и использованию Exadata Software, система в целом работает в разы быстрее, чем любые аналогичные, но обычные, неоптимизированные конфигурации.
Как вы понимаете, на такой конфигурации могут работать довольно серьезные базы данных, так что малый бизнес для Database Appliance — далеко не предел. С другой стороны, если для вашего бизнеса 72 процессорных ядра много, то не нужно платить сразу за все — можно для начала лицензировать меньшее количество ядер (минимально два ядра), все остальные будут временно заблокированы. Когда с течением времени вашему бизнесу потребуются дополнительные вычислительные мощности, можно приобрести лицензию на необходимое количество ядер — и они будут активизированы. Так Database Appliance оптимизирует затраты клиентов.
Изначально Oracle Database Appliance задумывали, как машину для базы данных Oracle, но затем заказчики получили возможность устанавливать на эту конфигурацию виртуальную машину Oracle и разворачивать на ней полноценные решения — со слоями приложений, базы данных и т.д. А поскольку виртуальная машина Oracle поддерживает частичное лицензирование, можно лицензировать одни процессорные ядра только для виртуальной машины и серверов приложений, другие — только для слоя базы данных и т.д.
Oracle Exalogic — это Exadata «наоборот», аналогичная машина, оптимизированная для выполнения слоя приложений Oracle. Exalogic, построенная на архитектуре Intel, предлагает высочайшую производительность для Oracle Fusion Middleware, приложений Oracle (таких как Oracle E-Business Suite, Utilities, Siebel и т.д.) и виртуальных машин, она оптимизирована для приложений WebLogic.
Exalogic — это очень мощная машина. У нее до 30 вычислительных узлов, до 1080 ядер Xeon, встроенное хранилище для огромных объемов данных — дисковый массив ZFS на 80 ТБ. Конечно, заказчик может создать подобную конфигурацию сам, но тогда у него не будет главного — флажка «Enable Exalogic Optimizations» на панели администратора (рис. 2). А он включает многочисленные оптимизации и специальныое ПО, которое позволяет, как и в случае Exadata, значительно ускорить систему, по сравнению с обычными конфигурациями.
Oracle SuperCluster — это машина, которая сочетает в себе возможности Exadata и Exalogic на платформе SPARC. Фактически это машина для консолидации — на нее можно установить базу данных, слой приложений и настроить все это для совместной работы с использованием всех преимуществ SPARC-платформы, включая виртуализацию, отказоустойчивость и т.д. При этом на SuperCluster используются ячейки Exadata для ускорения работы базы данных. Но самое большое преимущество можно получить, когда на одном SuperCluster разворачивается целиком целая система, например, система Oracle E-Business Suite, или система SAP, которая состоит из серверов приложений и базы данных Oracle.
Сейчас существуют две продуктовые линии SuperCluster: одна на процессоре Т5, вторая — на процессорах М6. На рис. 3 приведено сравнение конфигураций SuperCluster Т5-8 и М6-32. Одно из основных преимуществ SuperCluster М6-32 — это огромный объем оперативной памяти, до 32 ТБ, а также 384 процессорных ядра. Если ваша бизнес-система требовательна к количеству процессоров, к объему оперативной памяти и, возможно, не слишком хорошо приспособлена для работы в кластере, то SuperCluster М6-32 закроет все потребности даже такой «капризной» системы.
Машина Oracle Exalytics предназначена для ускорения слоя бизнес-аналитики. Ее главные возможности — это ускорение работы Oracle Business Intelligence и Oracle Essbase благодаря использованию большого объема оперативной памяти, интеграция с Exadata, ускорение отчетов и задач планирования и бюджетирования, поддержка большого количества пользователей, использование технологий In-Memory технологий: Oracle TimesTen или Oracle Database с опцией ln-Memory.
Exalytics версии X5-4 имеет до 3 ТБ оперативной памяти, 72 процессорных ядра Intel, FLASH-хранилище объемом 4,8 ТБ и жесткие диски суммарным объемом 7,2 ТБ. Exalytics версии T5-8 — еще более «богатая» машина, у нее 4 ТБ оперативной памяти, 128 процессорных ядер SPARC T5 и 3,2 ТБ FLASH-памяти. Эту огромную вычислительную мощь имеет смысл использовать с огромным количеством одновременно работающих пользователей аналитической системы, в том числе для поддержки хранилищ данных, работающих на альтернативных платформах, и испытывающих проблемы с производительностью.
Oracle Private Cloud Appliance — это инфраструктура для быстрого развертывания виртуальных машин на базе Oracle VM. Это удобный в использовании комплекс, который позволяет вам очень быстро развертывать виртуальные машины и управлять ими. Виртуальные машины создаются вручную из ISO-образов или из шаблонов Oracle VM. В Private Cloud Appliance, можно, например, создать простую виртуальную машину вроде Oracle Linux VM или Solaris VM за одну минуту, а 16-узловой кластер Oracle RAC — примерно за 45 минут. Кроме того, в OPCA используется относительно недавно приобретенная Oracle система SDN (Software Define Network) для быстрого создания и управления виртуальными сетями.
Инфраструктура предназначена для работы с Intel-ориентированными виртуальными машинами (Linux, Solaris, Windows). Можно приобрести минимальную двухузловую конфигурацию и наращивать ее до 25 узлов. Число процессорных ядер в такой максимальной конфигурации составит 900 (по 36 на узел), объем памяти — 6,4 ТБ (по 256 ГБ на узел). У системы есть небольшое собственное хранилище (ZFS Storage), но предполагается, что виртуальные машины будут использовать системы хранения, которыми располагает заказчик.
Oracle Zero Data Loss Recovery Appliance — это первый в мире программно-аппаратный комплекс, созданный специально для защиты баз данных Oracle. Recovery Appliance обеспечивает непрерывную защиту бизнес-критичных баз данных, выполняя всю обработку процессов резервного копирования, чтобы минимизировать нагрузку на производственные сервера. Оно исключает риск потери данных и резко снижает накладные расходы, связанные с защитой данных на производственных серверах. Кроме того, Recovery Appliance масштабируется для защиты тысяч баз данных, гарантирует сквозную проверку достоверности данных, а также реализует полный жизненный цикл защиты данных, включая резервное копирование на диск, резервное копирование на магнитную ленту и дистанционную репликацию.
Новые возможности Oracle Zero Data Loss Recovery Appliance тесно интегрируются с функциями СУБД Oracle и утилитой Recovery Manager (RMAN) для резервного копирования. Recovery Appliance реализует архитектуру только инкрементного (incremental forever) резервного копирования, чтобы минимизировать нагрузку на производственные системы.
Основная цель Recovery Appliance — исключить потери критически важной информации в базе данных. Передача журналов транзакций Redo в режиме реального времени на резервную БД была впервые реализована в технологии Oracle Data Guard. Recovery Appliance распространяет эту технологию на все базы данных простым и экономически эффективным способом. Recovery Appliance предлагает такой же уровень защиты данных, как и Data Guard, для баз данных, где не требуется быстрое переключение на резервную БД.
Система Recovery Appliance «понимает» внутренние форматы блоков СУБД Oracle, что позволяет производить проверку целостности данных на глубоком уровне. Целостность данных во всех резервных копиях и блоках Redo автоматически проверяется при их получении системой Recovery Appliance.
Recovery Appliance автоматизирует и принимает на себя управление всеми процессами полного и инкрементного резервного копирования на ленты. В качестве опции в программно-аппаратном комплексе Recovery Appliance могут быть установлены адаптеры Fibre Channel 16 Гбит/с для пересылки данных непосредственно из Recovery Appliance на ленточные библиотеки с использованием входящего в комплект поставки высоко интегрированного ПО Oracle Secure Backup для управления.
Сегодня с потребностью обработки гигантских объемов данных сталкиваются многие компании, которые должны заниматься глубоким анализом поведения клиентов, планировать высокоточную рекламу, объединять и анализировать данные из многих источников, в том числе неструктурированных, бороться с мошенничествами и т.д.
И последнее на сегодня. Пожалуйста, не пользуйтесь калькой с английского, и не называйте программно-аппаратные комплексы «инженерными системами». Это неправильно, потому что в русском языке под инженерными системами понимают совсем другое — системы электро-, тепло- и газоснабжения, водоснабжения и канализации, вентиляции и кондиционирования, освещения и связи. Вот почему наши оптимизированные программно-аппаратные комплексы достойны того, чтобы называть их своим именем — ведь они могут управлять целыми городами инженерных систем.
Современные темпы развития бизнеса диктуют свои условия получения данных. Бизнесу для принятия оперативных решений требуется самая актуальная информация по текущему состоянию компании практически в режиме онлайн (в зависимости от отрасли: retail – количество продаж за день, service – количество обращений клиентов за день и т.д.). Для решения таких задач (построение онлайн-баз данных для анализа) корпорация Oracle выпустила и достаточно активно развивает продукт GoldenGate, который мы подробно изучили. К сожалению, мы не можем в данной статье называть имена наших заказчиков, но хотим описать свой практический опыт использования GoldenGate на нескольких проектах.
Oracle GoldenGate – это не просто решение по репликации данных, а решение для создания real-time-приложений. GoldenGate обеспечивает сбор, маршрутизацию, преобразование и доставку транзакционных данных между гетерогенными средами в реальном времени c минимальной дополнительной нагрузкой. Данное решение можно использовать для построения сложной отчетности или как исходную систему для ETL (система выгрузки, загрузки и преобразования данных). При этом GoldenGate имеет широкие возможности интеграции c Oracle Data Integrator, расширяя функциональность последнего.
Этапы использования GoldenGate
Статьи по теме
Данные времени выполнения
Но как быть, спросите вы, если представители заказчика хотят получать данные о времени выполнения определенных действий? В нашем случае это касалось, в частности, заявок на кредиты. Сотрудник заказчика работал с информацией по заявке на кредиты, момент работы фиксировался в одном из полей USER_ID, но информации о дате начала и окончании работы не было. Иногда поле USER_ID дополнялось полем «дата модификации» UPD_DT. Но данная ситуация приводила к тому, что нельзя было однозначно рассчитать KPI работы сотрудников и выявить причины зависания заявок на определенных шагах и/или этапах прохождения заявки.
Рисунок 2. Прием работы с заявкой
Кроме этого, заявки время от времени передавались другим сотрудникам. Значения полей USER_ID, UPD_DT менялось на нового сотрудника и дату изменения, без сохранения истории о предыдущем сотруднике. Казалось бы, дата изменения была, сотрудник тоже был указан, все можно получить. Дело в том, что между интервалами загрузки данных в BI может происходить несколько изменений, и тогда промежуточные изменения будут потеряны. Уменьшение интервалов загрузки тоже не помогало, так как заявка могла переходить от сотрудника к сотруднику несколько раз в течение нескольких секунд.
Не буду утверждать, что во всех системах был реализован такой алгоритм сохранения информации по заявкам, но с большой долей вероятности можно предположить, что в любой системе есть информация по действиям сотрудников, для которых не хранится история изменений, так как все-таки это OLTP-система, а не хранилище данных.
Вернемся к заявке… той, дополнительно полученной информацией было время работы сотрудника с заявкой, его напрямую можно было использовать при расчете KPI сотрудников и для выявления причин длительных интервалов в работе с заявкой. Не этого ли добивался бизнес? Уменьшения времени обслуживания и устранения неэффективных этапов…
Бывалые знатоки репликации вспомнят еще один инструмент от Oracle – Oracle Streams. Конечно, определенный функционал GoldenGate можно повторить на Oracle Streams, но Oracle перестал развивать этот продукт, сделав ставку на GoldenGate, перенеся наработки Streams в ядро GoldenGate.
Описанные выше показатели времени выполнения есть не только у заявок. У многих других сущностей также можно найти такие нюансы сохранения информации (работа выездной бригады по устранению неполадок, работа менеджера продаж по заявкам) опять-таки по причине того, что архитектура OLTP-системы не всегда подразумевает сохранение истории изменений.
Рисунок 3.Работа сотрудников с заявками через GoldenGate
После внедрения GoldenGate бизнес заказчика получил дополнительную информацию для расчета эффективности сотрудников и выявления узких мест обслуживания клиентов. Для конкурентной работы финансовой организации это очень важные показатели.
С помощью решения GoldenGate мы смогли не только решить технологическую задачу онлайн-репликации, но и обеспечили реализацию крайне актуальной потребности для бизнеса – предоставили быстрый и мощный инструмент для обработки данных и дополнительной аналитики. Конкурирующих продуктов по производительности, особенно при работе с базами данных Oracle, у него практически нет.
Читайте также: