Что можно сделать с помощью облачных хранилищ обеспечить доступ к файлам с другого
Облачные хранилища данных подарили нам немало приятных возможностей — доступ к нужным файлам можно получить с любого девайса, подключенного к интернету, а редактировать их можно одновременно нескольким людям, кроме того, такие технологии позволяют рассчитывать на сохранность важной информации в случае сбоя на локальном хранилище. Однако не все так радужно — как и во всякой передовой технологии, при столкновении с реальностью в облачных сервисах выявляется целый ряд различных проблем. Одна из важнейших — безопасность. Именно ориентируясь на безопасность предоставляемого сервиса, аналитический центр Falcongaze составил рейтинг самых популярных облачных хранилищ данных.
Как и большая часть конкурентов, Dropbox шифрует данные клиентов на стороне сервера, однако отказывается от шифрования в клиентской части программы. Также потоковая передача файлов с серверов компании не всегда зашифрована. Таким образом становится возможной компрометация данных в ходе загрузки и выгрузки файлов на сервера. Кроме того, у Dropbox внушительная история инцидентов безопасности. Самый вопиющий из них произошел в июне 2011 года (справедливости ради стоит сказать, что в то время большей части конкурентов просто не существовало): тогда в течение четырех часов любой желающий мог получить доступ к любому аккаунту на сервисе. Случившееся стало возможным из-за ошибки в обновленном программном обеспечении сервера. Из-за вышеперечисленных проблем Dropbox оказался на последнем месте в рейтинге популярных облачных хранилищ. Помимо базовой версии, у Dropbox существует тарифный план для бизнеса. В нем обеспечено дополнительное шифрование при передаче данных и в приложениях, хранение содержимых файлов в виде зашифрованных блоков, а также раздельное хранение метаданных и блоков данных.
Один из самых популярных отечественных конкурентов Dropbox и Google Drive — облачный сервис Яндекс.Диск , занявший в рейтинге Falcongaze четвертое место. В него встроена интеграция с другими сервисами Яндекса, кроме того, присутствует двухфакторная аутентификация, в том числе с использованием пин-кода, QR-кода и TouchID. При загрузке файлы проверяются на вирусы, а данные передаются по шифрованному каналу. В 2013 году в связи с облачным сервисом от Яндекса произошел большой скандал — в очередном обновлении присутствовала критическая ошибка, из-за которой установщик клиентской программы пытался удалить системный раздел операционной системы. Вследствие этого у части пользователей, установивших обновление, переставал запускаться ряд программ, а также деактивировалась регистрация Windows. Всем пострадавшим от инцидента Яндекс предоставил в бессрочное пользование 200Гб бесплатного пространства на Яндекс.Диске.
На третьем месте рейтинга оказался Google Drive . В нем присутствует двухфакторная аутентификация, восстановление аккаунта осуществляется с помощью секретного вопроса, сам сервис проверяет придуманный пользователем пароль на надежность и не разрешает использовать легковзламываемые пароли. Сервис предоставляет пользователем от 15Гб места на сервере в бесплатное пользование. На 2014 год Google Drive насчитывал более 240 млн пользователей. Данные шифруются при передаче, что исключает их компрометацию в ходе загрузки, однако для шифрования данных на сервере понадобятся сторонние программы. Кроме того, у Google Drive существует версия для бизнес-аккаунтов, которая позволяет обеспечивать более высокий уровень защиты файлов. В ней, например, отсутствует анализ передаваемой информации для показа рекламы и присутствуют система единого входа, правила защиты электронной почты, например, принудительное включение протокола TLS, а также технологии IRM и DLP.
Для пользователей яблочной экосистемы существует облачное хранилище от Apple — iCloud drive . С этим сервисом связан, наверное, самый крупный скандал в истории облачных хранилищ. Речь идет об инциденте, имевшем место в 2014 году. Тогда произошел массовый взлом аккаунтов в iCloud, в результате которого в сеть попало множество персональных данных пользователей. Широкому распространению скандала способствовало то, что в утекших данных присутствовали личные фото ряда знаменитостей, таких как Дженнифер Лоуренс, Кейли Куоко и Дженни Маккарти. После инцидента Apple серьезно взялась за улучшение безопасности сервиса — сейчас данные в iCloud Drive шифруются и при передаче, и на сервере, пароль проверяется на надежность, присутствует двухфакторная аутентификация. С учетом вышеперечисленного облачное хранилище от Apple попало на вторую строчку рейтинга.
Благодаря популярности офисных продуктов от корпорации Microsoft обрел немалую известность и облачный сервис от этой компании — OneDrive . OneDrive предоставляет в пользование до 5 Гб бесплатного пространства на сервере, а также поддерживает интеграцию с продуктами Microsoft Office и Outlook. Базовая версия продукта обеспечивает шифрование передаваемых между клиентом и сервером данных, а также двухфакторную авторизацию, кроме того пароль от аккаунта Microsoft проверяется на надежность. Помимо базовой, у OneDrive существует и бизнес-версия с улучшенными функциями безопасности. В бизнес-версии OneDrive обеспечивает «физическую безопасность центра обработки данных, сетевую безопасность, безопасность доступа, безопасность приложений и данных». Типы хранилищ, применяемые в бизнес-версии OneDrive, — хранилище шифрованного контента, база данных контента и хранилище ключей — физически разделены, благодаря чему при взломе любого из них нельзя скомпрометировать информацию. Все это привело OneDrive на первое место в рейтинге облачных сервисов по степени защищенности.
Один хакер может причинить столько же вреда, сколько 10 000 солдат! Подпишись на наш Телеграм канал, чтобы узнать первым, как выжить в цифровом кошмаре!
Все большее количество организаций используют облачные хранилища для обмена большими документами, файлами или для совместной работы над документом. Поднимать свой FTP сервере или медиа сервис уже не модно. Даже в корпоративной среде часто используются google disk , yandex disk , microsoft onedrive . А в малом бизнесе и небольших государственных учреждениях эти облачные сервисы используются повсеместно.
В облачных сервисах могут быть разные настройки доступности документа, которым мы хотим поделиться. Но наибольшую популярность получил так способ поделиться файлом как “доступ по ссылке”. В таком случае, чтобы поделиться с коллегами документом, достаточно передать им уникальную ссылку на документ. При этом доступ к файлу ограничен и предоставляется только тем, у кого есть специальная ссылка.
Но данный способ поделиться документом влечет за собой серьезные угрозы безопасности. После того как вы отправили ссылку на файл коллегам или партнерам, далее вы теряете контроль над информацией. Эти лица, могут также пересылать ссылку своим друзьям, знакомым, а также публиковать её в соц. сетях, в чатах, на форумах; а могут скопировать файл себе в хранилище и делиться ссылками уже на свою копию файла. Ссылка, попав в общедоступные источники будет проиндексирована поисковиками и информация фактически становится общедоступной. Также из-за сбоев в работе некоторых сервисов, связанных с поисковыми системами, ссылка может быть проиндексирована, например, из вашей переписки.
Сравните документы, которые доступны на Google Docs через поисковые системы Yandex и Google : разница в 2000 документов говорит о том, что недавняя шумиха про утечку документов через yandex была не спроста.
Сомневаюсь, что в указанных случаях есть законные основания для публикации персональных данных (фактически оператор сделал их общедоступными – доступ по ссылке + публикация или утечка ссылки).
ПДн собранные с помощью форм консолидируются в таблицы, к которым также открывают доступ по ссылке для того чтобы работать совместно с коллегами.
· Внимательно оценивайте информацию и документы, которыми планируете поделиться через облачный сервис
· Собирать ПДн через google формы не рекомендую в любом случае – это нарушает требования законодательства о хранении БД ПДн на территории РФ
· Если нужно поделиться с коллегами ценной информацией – делайте это не через доступ по ссылке, а открывайте доступ пользователям поименно (в яндекс диске персональный доступ можно давать только для Папок)
· Там, где достаточно права на просмотр, ограничивайте возможность скачивания и копирования на другие облачные диски
· Для владельцев G Suite – запретите возможность делиться файлами с несотрудниками организации или разрешите делится только с пользователями из белого списка доменов (партнеры, постоянные контрагенты).
На главной странице консоли администратора выберите Приложения -> G Suite -> Google Диск и Документы -> Настройки доступа
· Если у вас крупная компания или гос. орган: сделайте для пользователей инструкцию, какие типы документов можно выкладывать в облачные хранилища и как лучше открывать доступ к таким файлам. Назначьте ответственных за публикацию файлов в интернете (в общий доступ), которые понимают ценность информации и возможность её опубликования. Давайте доступ на публикацию материалов только для этих сотрудников
· Проведите ревизию ранее опубликованных файлов. В персональном аккаунте, обратите внимание на значок рабочей группы, сигнализирующий что кому-то был предоставлен доступ к файлу (по ссылке или персонально)
· В корпоративных аккаунтах, от учетки администратора G Suite проверьте файлы переданные доступные не сотрудникам
· Если обнаружите, что ранее с кем-то делились ценной информацией / персональными данными “по ссылке”, проверьте не доступны ли аналогичные файлы с вашими данными через поисковые системы
Один хакер может причинить столько же вреда, сколько 10 000 солдат! Подпишись на наш Телеграм канал, чтобы узнать первым, как выжить в цифровом кошмаре!
Общий доступ к файлам и обмен файлами является важной частью любого современного бизнеса, и с растущим переходом к удаленной работе своих сотрудников предприятия и организации должны иметь возможность обмениваться большими файлами как можно быстрее и безопаснее. Большая часть современных данных передается с помощью онлайн-инструментов, поэтому выбор безопасного сервиса обмена файлами имеет решающее значение для предотвращения угроз безопасности и обеспечения защиты конфиденциальных данных. В нашей статье мы расскажем о том, как правильно выбрать сервис обмена файлами для вашей организации.
Обмен файлами или общий доступ к файлам (File Sharing) – это практика обмена или совместного использования в сети общедоступных или личных компьютерных файлов . В зависимости от разрешений на доступ, общий доступ к файлам позволяет определенному числу людей читать, просматривать или редактировать файл в зависимости от уровня полномочий, предоставленных файлообменником (сервис общего доступа к файлам и обмена файлами). Сервисы общего доступа к файлам обычно выделяют определенный объем в хранилище файлов на каждого пользователя для каждого аккаунта.
Общий доступ к файлам и обмен файлами является необходимым в работе любого предприятия компонентом, который обеспечивает эффективность синхронизации данных и совместной работы между сотрудниками и подразделениями. Однако важно знать об угрозах безопасности, связанных с любым типом обмена файлами.
- Раскрытие конфиденциальных данных. Одним из самых больших рисков, связанных с общим доступом к файлам, является потенциальная возможность раскрытия конфиденциальных данных сотрудником предприятия, будь то случайно или намеренно инсайдером (внутренним злоумышленником). Если у сотрудников нет надлежащего образования в области информационной безопасности или отсутствуют корпоративные политики безопасности, риск утечки данных намного выше.
- Уязвимость к кибер-атакам. Некоторые сервисы обмена файлами требуют, чтобы вы обходили или отключали корпоративные файерволы, чтобы спокойно загружать или скачивать файлы, но это открывает широкие возможности для злоумышленников.
- Загрузка вредоносного программного обеспечения. Если в используемый вами сервис обмена файлами помещен вредоносный файл, сотрудник может непреднамеренно открыть или загрузить этот файл и подвергнуть вашу систему воздействию вирусов, шпионских программ или любого другого вредоносного программного обеспечения.
- Повышение эффективности. Сервис обмена файлами является отличным инструментом повышения эффективности работы предприятия, поскольку он позволяет сотрудникам быстро получать доступ к важным файлам и данным тогда, когда им это нужно.
- Централизует доступ к файлам для обеспечения согласованности. Достаточно трудно вручную синхронизировать различные версии одного и того же файла между всеми заинтересованными сотрудниками. А сервис обмена файлами позволяет вам решить эту задачу и предоставлять своим сотрудникам всегда самую последнюю и актуальную версию файла.
- Защита от потери данных. Многие сервисы обмена файлами позволяют легко обновлять и создавать резервные копии всех ваших файлов в режиме реального времени, смягчая последствия потенциального сбоя компьютера или утечки данных.
Существует множество различных типов общего доступа и обмена файлами, и выбранный вами метод будет зависеть от типов файлов, которыми вы делитесь, и от того, кому вы их отправляете. Вот некоторые из наиболее распространенных методов хранения и распространения файлов в Интернете.
Наиболее распространенная система передачи файлов в Интернете на сегодняшний день известна как протокол передачи файлов (FTP). FTP - это сетевой протокол, используемый для передачи файлов между двумя компьютерами, один из которых действует как сервер. FTP позволяет пользователям с помощью специального пароля получать доступ к файлам или программам, совместно используемым с сайта FTP-сервера. Многие FTP-сайты предлагают общий доступ к файлам или позволяют пользователям просматривать или загружать файлы с помощью общедоступного пароля .
Пиринговый (или одноранговый) обмен файлами (P2P) использует программное обеспечение (а не ваш веб-браузер) для передачи файлов без необходимости использования центрального сервера. Отдельные пользователи в сети этого типа называются «пирами» (peer), т.е. одноранговыми узлами – каждый одноранговый узел является компьютером конечного пользователя, который подключается к другому одноранговому узлу, где находятся файлы, которые затем можно передавать через Интернет.
Для чего лучше всего подходит: Обмен файлами между небольшими группами людей. Обмен медиа-файлами (фотографии, книги, фильмы).
С помощью облачных сервисов обмена файлы хранятся в онлайн-хранилище. Когда пользователь загружает свои данные в онлайн-хранилище или платформу, генерируется уникальный URL-адрес. Когда владелец файла делится этим URL-адресом с другими пользователями, он предоставляет им доступ для загрузки и совместного использования файлов на этой платформе.
Даже если вы не знакомы с различными типами обмена файлами, вы, вероятно, уже использовали обмен файлами через провайдеров электронной почты. Каждый раз, когда вы прикрепляете файл или документ к своему электронному письму, вы передаете данные через открытый Интернет.
Съемные запоминающие устройства использует физический или внешний жесткий диск для передачи файлов. Такой обмен файлами подразумевает копирование данных на флэш-накопитель (USB) или другое внешнее запоминающее устройство, которое конечный пользователь подключает к своему компьютеру для извлечения информации.
Как только вы определитесь с типом сервиса обмена файлами, который соответствует вашим потребностям, вам нужно будет выбрать конкретный сервис или продукт. С таким количеством доступных вариантов полезно понимать конкретные функции, которые наиболее важны для вас при выборе сервиса обмена файлами. Вот некоторые условия, которые помогут принять правильное решение.
- Безопасность. Уровень безопасности, необходимый в сервисе обмена файлами, будет варьироваться в зависимости от вашего предприятия и степени конфиденциальности передаваемых данных. Внимательно изучите, как каждый сервис защищает информацию, и решите, достаточно ли он надежен, чтобы соответствовать вашим потребностям.
- Совместимость. Обязательно изучите, с какими типами устройств и операционных систем работает сервис, чтобы обеспечить совместимость с системами, используемыми вашей компанией.
- Ограничения. Прежде чем инвестировать в сервис обмена файлами, обратите внимание на любые действующие ограничения, ограничивающие количество общих файлов или объем данных, которые могут храниться.
Хотя конкретный сервис, который вы выберете, будет зависеть от уникальных потребностей вашей организации, наш обзор лучших сервисов обмена файлами – это отличный совет для начала выбора.
Box – это облачный сервис совместного доступа и использования файлов, предназначенный для компаний и предприятий. Он позволяет организациям централизовать свои данные и взаимодействовать с другими подключенными пользователями. Пользователи могут приглашать других пользователей просматривать или редактировать общие файлы, или пользователи могут загружать файлы в общую папку, доступ к которой имеют другие пользователи. Box предлагает широкий спектр платных корпоративных тарифов, а также бесплатную опцию для частных пользователей.
Плюсы: Гибкая интеграция для корпоративных инфраструктур безопасности, управление ключами шифрования, расширенные средства контроля безопасности
Dropbox – это популярный сервис размещения файлов, который включает в себя облачное хранилище, синхронизацию файлов, персональные и профессиональные облачные программные решения. Пользователи могут на серверах Dropbox создавать папки с файлами, которые затем синхронизируются на всех подключенных устройствах пользователей для удобства поиска. Dropbox Basic предлагает 2 ГБ бесплатного места для хранения файлов, в то время как Dropbox Plus предлагает 1 ТБ.
Плюсы: Автоматическое шифрование, позволяет обмениваться файлами с пользователями, у которых нет учетной записи.
Egnyte – это кросс-платформенный сервис, который представляет собой гибрид облачного и локального хранилища. Он ориентирован на предприятия, которым требуются расширенные функции безопасности для файлов, совместно используемых в организации или за ее пределами. Файлы передаются с использованием расширенного стандарта шифрования (AES), что делает любые скомпрометированные данные бесполезными в случае утечки данных.
Плюсы: Автоматическая синхронизация изменений файлов во всех копиях, автоматическое сохранение дополнительных резервных копий файлов, расширенные стандарты шифрования и безопасности.
Являясь одним из первых крупных игроков в сфере облачного общего доступа к файлам и их совместном использовании, Google Drive является надежным сервисом обмена файлами как для личного, так и для корпоративного использования. Google Drive позволяет пользователям хранить файлы и синхронизировать цифровой контент на всех подключенных устройствах, а также предлагает набор инструментов, интегрированных в веб-браузер (документы Google Docs, презентации Google Slides и таблицы Google Sheets). Все данные, которыми обмениваются на Google Drive, зашифрованы с помощью стандарта TLS – того же стандарта, который используется для шифрования соединений между веб-страницами в Интернете.
iCloud Drive – это облачный сервис хранения данных, который интегрируется с операционными системами Apple. Возможности синхронизации файлов и хранения iCloud Drive полезны, если вы уже работаете в экосистеме Apple, а iCloud уже установлен на новых компьютерах Mac и устройствах iOS для удобной синхронизации.
MediaFire - это небольшой игрок в сфере облачных хранилищ, который на протяжении многих лет демонстрирует устойчивый рост. Он предназначен для пользователей, нуждающихся в простом решении для обмена файлами без каких-либо сложных или расширенных функций.
Минусы: Ограниченная функциональность совместной работы, показ рекламы при использовании в рамках базового
Благодаря неуклонному движению Microsoft к облачным операционным системам, OneDrive стал основным продуктом в новейших системах Windows. После проверки подлинности пользовательской учетной записи Microsoft, данные могут быть синхронизированы в нескольких папках внутри организации. Пользователям бесплатно предоставляется до 5 ГБ дискового пространства для хранения файлов или 50 ГБ по цене 1,99 доллара США в месяц (цены в разных странах могут отличаться). OneDrive – это самый простой вариант для пользователей Windows и Office 365.
SecureDocs обеспечивает безопасный общий доступ к файлам для организаций, которые осуществляют слияния и поглощения других компаний. Благодаря модели фиксированных ежемесячных цен SecureDocs позволяет неограниченному числу пользователей работать в системе.
Плюсы: Модель фиксированной цены предоставляет неограниченное количество учетных записей пользователей.
SugarSync – это облачная платформа для обмена файлами, которая работает как для операционных систем Mac, так и для Windows. Как и Egnyte, SugarSync обеспечивает безопасный обмен файлами с помощью шифрования AES. Пользователи могут устанавливать разрешения в зависимости от того, какой объем доступа предоставляется получателям общих файлов, и это позволяет пользователям обмениваться файлами без предоставления прямого доступа к вашей учетной записи. В организациях к общим папкам можно получить доступ из любого места, а файлами можно легко делиться с клиентами или другими внешними получателями с помощью общедоступной ссылки для доступа к конкретным файлам.
Плюсы: Конфиденциальные данные могут быть удаленно удалены с устройств в случае утечки данных, простое восстановление файлов.
WeTransfer – это простой и понятный сервис обмена файлами, который не требует от вас регистрации на сервис, если вы этого не хотите. WeTransfer позволяет вам делиться одним или несколькими файлами с помощью пользовательской ссылки. Если вы решите создать учетную запись, учетная запись Pro стоит 12 долларов в месяц и предлагает дополнительные функции, такие как создание защищенных паролем ссылок для загрузки и расширение дискового пространства до 20 ГБ (в отличие от 2 ГБ, предоставляемых в рамках бесплатного тарифа).
Resilio передает файлы с использованием протокола BitTorrent, который предлагает возможности пирингового обмена данными. Это означает, что вместо обмена файлами с помощью облачного сервиса, ими можно обмениваться в режиме реального времени между двумя устройствами, пока они оба находятся в сети. BitTorrent также позволяет легко обмениваться большими файлами. Resilio предлагает множество уровней одноразовых платежей без ограничения объема хранилища файлов.
Tresorit выделяется благодаря своим расширенным возможностям обмена файлами, оставаясь при этом бесплатной в использовании платформой. Предлагает ряд функций безопасности, включая сквозное шифрование, соответствие европейским требованиям по защите персональных данных (GDPR) и защиту паролем, а пользователи могут обмениваться файлами объемом до 5 ГБ.
Плюсы: Обеспечивает более высокий уровень контроля над вашими файлами после обмена ими и надежную защиту безопасности.
pCloud – это облачная платформа хранения данных, которая обеспечивает дополнительную безопасность благодаря сквозному шифрованию, добавленному ко всем резервным копиям файлов. Размер файлов, которыми вы можете поделиться, не ограничен, что упрощает обмен большими файлами. pCloud поддерживает широкий спектр устройств, включая Android, Linux, iOS и Windows, что делает его доступным для различных пользователей или организаций независимо от используемой операционной системы.
Данные любой организации, возможно, являются одним из наиболее важных активов, которыми они владеют, и поиск надежного способа обмена, синхронизации и сохранения конфиденциальных данных имеет решающее значение для обеспечения бесперебойной и безопасной работы бизнеса. Хотя одни сервисы являются более безопасными, нежели другие, в любом случае стоит убедиться, что вы используете надежное антивирусное программное обеспечение для защиты ваших данных.
Привет, Хабр! Сегодня речь пойдет о сервисах синхронизации и обмена файлами и объектные облачных хранилищах. Облачные хранилища, представленные такими сервисами как SkyDrive или Dropbox, хорошо знакомы пользователям мобильных устройств и компьютеров. В последние годы они появляются во все большем количестве. Эти сервисы пользователям позволяют легко, быстро и в любое время получить авторизованный доступ к файлам через интернет.
По данным отчета Statista, в 2017 году личное облачное хранилище в мире использовали более 1,8 миллиарда человек. Очевидное преимущество хранения данных в облаке — независимость от устройств, доступ из любого места и с любой системы. Облачное хранилище — отличный способ защитить себя от чрезвычайных ситуаций. Оно позволяет получать доступ к своим данным с другого устройства, если основное было потеряно или украдено.
AWS и совместимые с ним российские облачные хранилища для бизнеса
Хранилище данных — лишь часть Amazon Web Services (AWS), куда входят также средства управления, разработки, обеспечения безопасности и многое другое. AWS ориентирован на корпоративный сектор, но облачное хранилище файлов Amazon Glacier предоставляет пользователям бесплатно 10 Гб.
AWS характеризуют повышенная надежность, соответствие стандартам усиленной защиты данных,
неограниченная емкость (расширение за доплату), простота использования и гибкость настроек, интеграция с другими сервисами Amazon Web Services. Есть и отечественные аналоги.
«Российские» объектные хранилища, как правило, создаются на базе решений Ceph или Swift с коннекторами для S3 API. Не все они обеспечивают полную поддержку S3 API. Для пользователей это может означать проблему совместимости приложений, которые написаны с учетом полного набора команд S3, или ограниченную функциональность. S3 API поддерживается большим количеством приложений, в частности, практически всеми системами резервного копирования и системами управления контентом (CMS).
Есть и 100% совместимые с S3 сервисы. Например, объектное облачное хранилище Техносерв Cloud построено с использованием технологий S3 и поддерживает полный спектр команд S3 API, включая расширенные: управление правами доступа, аутентификацию, управление версиями, многопоточную загрузку и др. На серверах «Техносерва» развернуто программно-определяемое объектное хранилище на базе ПО Cloudian. В SDS нет единой точки отказа, резервируются все компоненты. Заявленный уровень надежности физической платформы — 99,999999%. Для доступа к облачному хранилищу используется интернет или защищенный VPN-канал, соединяющий облако провайдера с офисом или дата-центром клиента.
Преимущества облачного хранения для бизнеса
Экономия затрат на ИТ | Собственные СХД требуют постоянного обслуживания, а это означает, что компания должна иметь ИТ-персонал. Благодаря облачному хранилищу компании могут сэкономить много денег на обслуживании, так как их серверы и СХД находятся под контролем сторонних поставщиков. Благодаря аутсорсингу хранилищ данных компании экономят на капитальных и эксплуатационных расходах. Эти деньги можно использовать для развития и расширения бизнеса. |
Гибкость бизнес-процессов | Согласно недавним опросам опросу, 79% респондентов уже частично работают вне своего офиса, а еще 60% перейдут на удаленную работу, если получат такую возможность. Облачные сервисы хранения обеспечивают такую гибкость для сотрудников. |
Расширенные возможности коллективной работы | Сотрудникам часто приходится совместно работать над проектами и общаться с коллегами по всему миру. Облачные инструменты облегчают сотрудничество и управление документами. Они позволяют пользователям получать доступ к последним версиям любого документа. |
Защита данных | Данные хранятся в нескольких местах и остаются доступными в случае аварий и сбоев. |
Для чего используется объектное облачное хранилище?
Возможны самые разнообразные сценарии применения данного облачного хранилища. Например, архивирование, хранение файлов и совместная работа с ними. Задачи могут быть самые разные: основное хранилище для облачных приложений, хранилище больших данных, репозиторий данных для аналитики и, конечно, их удобно применять для резервного копирования и аварийного восстановления.
Объектное хранилище можно использовать, например, в следующих сценариях: хранение резервных копий, размещение контента веб-сайтов и писем (фото, видео, файлы для скачивания), хранение записей видеонаблюдения, архивов, хранение и распространение медиа-контента (видео, музыка), а также как хранилище для систем документооборота, игрового контента, больших данных и данных IoT. Для доступа к хранилищу и загрузки данных поддерживается широкий спектр устройств.
Популярный сегодня сервис – резервное копирование в облако. Большинство систем резервного копирования можно подключать к нашему облачному хранилищу по S3 API. Поддерживается и работа со встроенными средствами резервного копирования приложений.
Еще одна типовая задача — хостинг статического контента веб-сайта. В принципе, подобное хранилище можно использовать для любых данных, которые обычно сохраняются один раз и, возможно, потребуются в будущем, будь то юридические документы, медицинские записи, цифровые активы и медиа файлы, различные документы. Например, вещательным и медиа-компаниям необходимы большие хранилища для медиа-материалов.
Организация параллелизма в сервисе хранилища очередей
Для операций обновления, таких как SetQueueServiceProperties, SetQueueMetaData, SetQueueACL и UpdateMessage используется стратегия «выигрывает последний».
Организация параллелизма в сервисе хранилища файлов
Доступ к файловому сервису может быть осуществлён с помощью двух различных протоколов: SMB и REST. Сервис REST не поддерживает оптимистичную или пессимистичную блокировку, и все обновления будут производиться на основании стратегии «выигрывает последний».
Клиенты, использующие SMB, могут применять механизм блокировки на уровне файловой системы для управления доступом к разделяемым (shared) файлам, включая возможность пессимистичной блокировки.
Когда SMB-клиент открывает файл, он определяет параметр доступа к файлу и режим разделяемого доступа. В результате установки опции доступа к файлу в значение «Write» или «Read/Write» и режима разделяемого доступа в значение «None», файл будет заблокирован SMB-клиентом до его закрытия.
Если операция REST производится на файле, заблокированном SMB-клиентом, то REST сервис вернет ошибку 409 с кодом «Sharing Violation».
Когда SMB-клиент открывает файл для удаления, он помечает файл как «ожидающий удаления» до тех пор, пока все другие SMB-клиенты не закроют его. Пока файл отмечен как ожидающий удаления, любые REST-операции на этом файле будут возвращать ошибку 409 с кодом SMBDeletePending. Код ошибки 404 (Not Found) не будет возвращаться, так как существует возможность, что SMB-клиент уберет флаг ожидания удаления перед тем как закрыть файл. Другими словами, код ошибки 404 вернется только тогда, когда файл будет действительно удален.
Обратите внимание, что пока файл находится в состоянии ожидании удаления SMB-клиентом, он не будет включен в результаты выдачи List Files.
надо еще учитывать, что операции REST Delete File и Delete Directory исполняются атомарно и не приводят к установке состояния «ожидающий удаления».
Сервисы синхронизации и обмена файлами
Большая часть таких облачных сервисов имеет дополнительные функции — средства просмотра файлов, встроенные редакторы документов, инструменты создания скриншотов и т. п. Наряду с предоставляемой бесплатно или платно емкостью хранения они и составляют их главные отличия. Объединяет эти сервисы то, что многие из них хранят файлы в известных мощных и масштабируемых объектных хранилищах.
Azure Storage – упрощает облачную разработку
Azure Storage поддерживает все три стратегии одновременного доступа к данным, хотя и существуют некоторые особенности поддержки оптимистичного и пессимистичного параллелизма, так как изначально хранилища были спроектированы для модели строгого параллелизма, гарантирующей, что в момент, когда сервис хранилища завершает операции добавления и редактирования данных, все последующие обращения к этим данным обнаружат последнее обновление.
Платформы хранилищ, использующие модель согласованности, содержат лаг – задержку между периодом, когда осуществляется запись одним пользователем и периодом, когда обновленные данные видны другим пользователям, что приводит к усложнению разработки клиентских приложений из-за необходимости предотвращать несоответствия в данных для конечных пользователей.
В дополнение к выбору подходящей стратегии доступа к данным, разработчики должны обратить внимание на то, как платформа хранилища организует изоляцию изменений – частичные изменения одних и тех же объектов в транзакциях.
Сервис Azure Storage использует изоляцию снэпшотами для обеспечения возможности одновременного чтения и записи в пределах одного раздела.
В отличие от других уровней изоляции, изоляция снэпшотами гарантирует, что все операции чтения видят согласующийся снэпшот данных даже в момент происходящих обновлений, особенно при возвращении последних сохраненных значений во время исполнения транзакции обновления.
Объектные облачные хранилища
Другую категорию сервисов представляют объектные хранилища, например, Amazon S3, Google Cloud Storage, Microsoft Blobs Storage. Эти высоконадежные хранилища предназначены для хранения большого количества файлов и сотен петабайт данных. Именно их используют многие сервисы синхронизации и обмена файлами. Оба вида сервисов пользуются растущим спросом.
Файлы в объектном хранилище сопровождаются мета-данными, которые позволяют обрабатывать эти файлы как объекты: документы, видеозаписи, проекты, фотографии и т. п. Это востребованная услуга, применяемая в самых разных приложениях. Для взаимодействия с облачным объектным хранилищем используется программный интерфейс (API).
Согласно оценкам, в мире в объектных хранилищах сейчас содержится до половины контента интернета. И до 50% сервисов синхронизации и обмена файлами хранят данные в Amazon S3 — объектном хранилище неограниченной емкости с простым Web-интерфейсом. Основной протокол доступа к нему — S3 API, созданный Amazon Web Services для сервиса AWS S3 (Simple Storage Service).
Организация параллелизма в сервисе Tables
Сервис таблиц во время работы с сущностями по умолчанию использует оптимистичную стратегию одновременного доступа к данным, в отличие от сервиса блобов, где надо явно выбрать использование оптимистичного параллелизма.
Другое различие сервисов таблиц и блобов заключается в том, что с таблицами вы можете управлять поведением при параллельном доступе только для сущностей, в то время как для сервиса блобов вы можете управлять параллелизмом, как при доступе к контейнерам, так и к блобам.
Чтобы использовать оптимистичный параллелизм и проверить, была ли модифицирована сущность другим процессом с момента ее выборки из сервиса таблиц, вы можете использовать полученное во время выборки значение ETag.
План этого процесса представлен ниже:
- Извлечение сущности из сервиса хранилища таблиц. Ответ включает значение ETag — текущий идентификатор связанный с сущностью в хранилище.
- Когда вы обновляете сущность, включите полученный параметр ETag из предыдущего шага в условный заголовок запроса If-Match, который вы отправляете сервису.
- Сервис сравнивает значение ETag в запросе с текущим значением ETag сущности.
- Если текущее значение ETag сущности отличается от ETag в заголовке запроса If-Match, то сервис возвращает клиенту ошибку 412. Это указывает клиенту на то, что другой процесс обновил сущность, с тех пор, как клиент ее запрашивал.
- Если текущее значение ETag не отличается от значения ETag в заголовке запроса If-Match или If-Match заголовок содержит символ (*), то сервис выполнит запрошенную операцию и обновит текущее значение ETag сущности, чтобы показать, что произошло обновление данных.
Полный пример доступен здесь
Для явной блокировки проверки одновременного доступа, вы должны установить свойство ETag объекта employee в значение «*» перед проведением операции обновления.
customer.ETag = “*”;
В таблице показано как табличные операции используют значения ETag:
Операции | Возвращает значение ETag | Требует условные заголовки |
Query Entities | Yes | No |
Insert Entity | Yes | No |
Update Entity | Yes | Yes |
Merge Entity | Yes | Yes |
Delete Entity | No | Yes |
Insert or Replace Entity | Yes | No |
Insert or Merge Entity | Yes | No |
Обратите внимание, что операции InsertorReplaceEntity и InsertorMergeEntityне выполняют никаких проверок одновременного доступа, потому что они не отправляют значение ETag в сервис таблиц.
Как правило, разработчики, использующие таблицы, должны полагаться на оптимистичную стратегию одновременного доступа к данным при разработке масштабируемых приложений.
Если возникла необходимость в пессимистичной блокировке, то подходящим вариантом доступа к таблицам для разработчиков может стать выделение специального блоба для каждой таблицы и попытка его лизинга перед каждой операцией на таблице.
Этот подход требует чтобы приложение следило за тем, чтобы любой доступ к таблицам осуществлялся через предварительную попытку лизинга блоба.
Обратите внимание так же, что минимальная продолжительность лизинга составляет 15 секунд, что требует особого внимания при разработке масштабируемых решений.
Все ли так «безоблачно»?
Аналитики предсказывают, что к 2020 году рынок облачного хранения вырастет до 3,5 млрд. долл. при ежегодном росте в 31%. Пользователи и компании выбирают онлайн-хранилища, потому что это удобно, удобно, безопасно и экономично. Они хранят свои файлы в таких облаках как Amazon S3, Google Cloud Storage и Dropbox — зависимости от их потребностей. Хотя Amazon лидирует по популярности, Azure и Dropbox опережают его по темпам роста.
Облачные хранилища становится все дешевле по мере снижения цен на оборудование хранения данных в сочетании с экономией на масштабе платформы. Более 75% коммерческих компаний используют публичные облачные сервисы для передачи и хранения важной коммерческой информации (по данным исследования Symantec). При этом 40% из них столкнулись с раскрытием данных компании, содержащих конфиденциальную информацию. Еще 40% сообщили о потере данных, хранимых в облаке, и вынуждены были восстанавливать их из резервных копий.
Между тем, согласно отчету DN Capital, лишь за последние два года было создано 90% мировых данных. С ростом мобильного и пользовательского контента, развитием широкополосного доступа (включая 4G/5G) нет причин ожидать, что эти темпы будут замедляться. А значит – у облачных хранилищ большое будущее.
В современных веб-приложениях часто возникают ситуации, когда несколько пользователей одновременно работают с одними и теми же данными.
Чтобы обеспечить успешное выполнение действий каждого из пользователей, разработчикам приложений необходимо тщательно продумывать обработку и реализацию таких сценариев, особенно в тех случаях, когда действительно необходима одновременная обработка данных группой пользователей.
-
Оптимистичный параллелизм (Optimistic concurrency)
Приложение обновит данные только после того, как проверит их на наличие изменений с момента последнего обращения к ним.
Например, два пользователя просматривают одну и ту же wiki-страницу, а затем одновременно решают ее обновить.
В этом случае вики-платформа должна обеспечить процесс, при котором обновление второго пользователя не заместит обновление первого, и оба пользователя поймут было ли произведено действие каждого из них.
Эта стратегия используется в веб-приложениях чаще всего.
Например, в master/slave сценариях репликации данных, где только мастер выполняет обновления, как правило, только он может установить долговременную блокировку данных, для предотвращения редактирования данных кем-либо еще.
Такой подход позволяет выполнять любые операции с данными, без поверки данных на обновление с момента последнего обращения приложения к ним.
Эта стратегия (или отсутствие формальной стратегии), как правило, применяется там, где данные распределены таким образом, что вероятность доступа нескольких пользователей к одному и тому же разделу исключена.
Облачные хранилища для бизнеса
Публичные облачные сервисы хранения привлекают сегодня внимание не только малого и среднего бизнеса, но и крупных компаний. Конечно, к таким хранилищам предъявляются особые требования. Ключевые факторы облачного хранения корпоративного класса — не только стоимость сервиса, но и его надежность, безопасность, управляемость и удобство администрирования, скорость доступа к данным в облаке.
Такое хранилище предполагает размещение данных на распределенных серверах. Данные резервируются, хранятся на нескольких серверах в защищенных ЦОД с высоким уровнем надежности и на нескольких площадках. Высокая надежность достигается, например, за счет автоматического создания нескольких реплик данных на отдельных независимых серверах. Надежность на уровне Tier III означает, что SLA гарантирует доступность 99,98% времени.
Таким образом, облачные хранилища для бизнеса позволяют достаточно надежно и недорого хранить данные, обеспечивать доступ к ним вне зависимости от местонахождения, легко масштабировать ресурсы. Сокращаются затраты на создание и техническое обслуживание ИТ-инфраструктуры, сервис помогает повысить гибкость бизнес-процессов.
Нет необходимости приобретать собственные СХД и прочее инфраструктурное оборудование, нести расходы по его администрированию, обновлению, обеспечению безопасности. Постоянный доступ к облачному хранилищу означает, что с данными и файлами можно работать в любое время и из любого места. Сотрудники могут быстрее и проще получать необходимую информацию, обмениваться данными при совместной деятельности, работать с общими документами. Предусматривается шифрование при передаче и хранении данных, настройка прав доступа, регистрация операций с файлами, мониторинг, защита от угроз.
В настоящее время сервисы облачного хранилища предлагают крупнейшие российские хостинг-провайдеры, системные интеграторы и операторы связи. Внешне они мало отличается друг от друга: настраиваемая пользователем структура папок и файлов, возможность настройки доступа, схожий интерфейс. Однако их внутренняя архитектура и предлагаемые возможности различаются.
Тарифицируются подобные сервисы по принципу фактического использования или по доступной емкости хранения. Как правило, скачивание данных у российских сервисов обходится в разы выгоднее предложений зарубежных поставщиков. Кроме того, у них более низкая задержка при доступе к данным, которые находятся ближе к клиенту. Еще одно преимущество отечественных сервисов облачного хранения — соблюдение требований хранения данных на территории России. В соответствии с 152-ФЗ «О персональных данных» некоторые данные должны храниться на территории РФ.
Организация одновременного доступа к BLOB-объектам
Вы можете выбрать, какую стратегию параллелизма использовать для управления доступом к блоб-объектам и контейнерам в сервисе блобов.
Если вы не укажете стратегию явно, то по умолчанию будет использоваться стратегия «Выигрывает последний».
Оптимистичный параллелизм для блобов и контейнеров
Ниже в общих чертах представлен план этого процесса:
Затем это условие использует объект AccessCondition во время обновления блоба: объект AccessCondition добавляет заголовок If-Match в запрос.
Полный пример можно скачать здесь.
Сервис хранилища также поддерживает и другие условные заголовки, такие как If-Modified-Since, If-Unmodified-Since и If-None-Match.
В таблице приведены операции над контейнерами, принимающие условные заголовки, такие как If-Match,в запросе и возвращающие ETag в ответе:
Операция | Возвращает значение ETag | Принимает условные заголовки |
Create Container | Yes | No |
Get Container Properties | Yes | No |
Get Container Metadata | Yes | No |
Set Container Metadata | Yes | Yes |
Get Container ACL | Yes | No |
Set Container ACL | Yes | Yes (*) |
Delete Container | No | Yes |
Lease Container | Yes | Yes |
List Blobs | No | No |
(*) Разрешения, определяемые SetContainerACL кэшируются, а их обновление занимает 30 секунд, в течение которых не гарантируется согласованность обновлений.
В таблице приведены операции блобов, принимающие в запросе условные заголовки, такие как If-Match, и возвращающие значение ETag:
Операция | Возвращает значение ETag | Принимает условные заголовки |
Put Blob | Yes | Yes |
Get Blob | Yes | Yes |
Get Blob Properties | Yes | Yes |
Set Blob Properties | Yes | Yes |
Get Blob Metadata | Yes | Yes |
Set Blob Metadata | Yes | Yes |
Lease Blob (*) | Yes | Yes |
Snapshot Blob | Yes | Yes |
Copy Blob | Yes | Yes (for source and destination blob) |
Abort Copy Blob | No | No |
Delete Blob | No | Yes |
Put Block | No | No |
Put Block List | Yes | Yes |
Get Block List | Yes | No |
Put Page | Yes | Yes |
Get Page Ranges | Yes | Yes |
(*) Лизинг блоба не меняет его Etag.
Пессимистичный параллелизм в блобах
Чтобы заблокировать блоб для исключительного использования, применяется механизм лизинга. При использовании лизинга вы указываете его продолжительность: 15 — 60 секунд, либо без окончания, что означает исключительную блокировку. Еще вы можете продлить блокировку, либо разблокировать блоб после завершения работы с ним. Сервис блобов автоматически отключает лизинг, если срок его действия на блобе истек.
Лизинг позволяет использовать различные стратегии синхронизации, включая эксклюзивную запись/ разделенное чтение, эксклюзивную запись / эксклюзивное чтение, разделенную запись / эксклюзивное чтение.
Там, где существует лизинг, сервис хранилища упорядочивает эксклюзивную запись (операции put, set, delete). Для обеспечения эксклюзивности операций чтения, разработчику требуется предусмотреть, чтобы все клиентские приложения использовали идентификатор лизинга, и только один клиент в один момент времени имел подходящий идентификатор лизинга. Операции чтения, которые не включают в себя идентификатор лизинга происходят в разделенном чтении.
При создании запроса на обновление блоба в службе хранилища, в коде, для информации о лизинге, используется объект AccessCondition.
Полный пример можно скачать здесь.
Если произвести операцию записи на блобе с лизингом без передачи идентификатора лизинга, то запрос упадет с ошибкой 412. Обратите внимание — если срок лизинга истечет перед вызовом метода UploadText, а вы все еще передаете идентификатор лизинга, запрос опять же упадет с ошибкой 412.
Для получения информации об управлении продолжительностью лизинга и идентификатором лизинга, посмотрите документацию.
- Put Blob
- Get Blob
- Get Blob Properties
- Set Blob Properties
- Get Blob Metadata
- Set Blob Metadata
- Delete Blob
- Put Block
- Put Block List
- Get Block List
- Put Page
- Get Page Ranges
- Snapshot Blob – идентификатор лизинга не требуется
- Copy Blob – идентификатор требуется, если на блобе установлен лизинг
- Abort Copy Blob – идентификатор требуется, если на блобе установлен не ограниченный лизинг
- Lease Blob
Пессимистичный параллелизм для контейнеров
Лизинг на контейнерах предоставляет поддержку той же стратегии синхронизации, что и на блобах (эксклюзивная запись / разделенное чтение, эксклюзивная запись / эксклюзивное чтение и разделенная запись / эксклюзивное чтение), однако, в отличие от блобов, сервис хранилища применяет стратегию эксклюзивности для операций удаления.
Для удаления контейнера с активным лизингом клиент должен включить идентификатор активного лизинга в запрос удаления.
Другие операции над лизинг-контейнером не должны обязательно содержать идентификатор лизинга, и такие операции называются разделяемыми.
Если требуются операции эксклюзивного обновления (put или set) или чтения, то разработчикам нужно, чтобы каждый клиент использовал идентификатор лизинга и только один клиент использовал подходящий на данный момент идентификатор.
- Delete Container
- Get Container Properties
- Get Container Metadata
- Set Container Metadata
- Get Container ACL
- Set Container ACL
- Lease Container
Заключение
Облачное хранилище Microsoft Azure было спроектировано для удовлетворения потребностей сложных веб-приложений. При этом, от разработчиков не требуется жертвовать или переосмысливать ключевые шаблоны проектирования, такие как одновременный доступ к данным или обеспечение корректного состояния данных. Механизмы их обеспечения включены в само хранилище.
Читайте также: