Datalore jetbrains что это
Мы довольно давно начали работу над этим проектом и хотим напомнить, что такое Datalore и как он поможет вам в путешествии по миру Data Science.
Datalore — это онлайн-блокнот для Data Science c функциями умного редактора кода.
А теперь по порядку.
Инструмент для Data Science
Datalore был создан для того, чтобы помогать аналитикам и специалистам Data Science в решении повседневных задач.
- собирать и исследовать данные,
- создавать модели машинного и глубокого обучения,
- визуализировать результаты и делиться ими с другими.
Что дальше?
Регистрируйтесь на datalore.io и подгружайте первый датасет!
Жаждем услышать мнение о Datalore от всех, кто часто и придирчиво работает с задачами машинного обучения: аналитиков, data scientists, исследователей и студентов. Мы хотим сделать самый удобный инструмент для интеллектуального анализа данных и с нетерпением ждем ваши отзывы. Пишите на наш форум, чтобы оставить комментарий о продукте и связаться с нами и другими пользователями.
Datalore — это мощная онлайн-среда для Jupyter-ноутбуков, разработанная в JetBrains. Здесь мы собрали описание самых важных обновлений Datalore за прошедший год.
Поддержка workspace-файлов и S3-бакетов
В декабре мы реализовали поддержку workspace-файлов, что позволяет обмениваться файлами данных между несколькими ноутбуками.
Для тех, кто работает с большим объемом данных, мы также добавили поддержку подключения S3-бакетов. Подробности читайте в этом блогпосте.
Реактивный режим для воспроизводимых вычислений
В течение последних трех лет мы экспериментировали с решением проблемы воспроизводимости ноутбуков. Сегодня мы рады представить новый реактивный режим!
При включении реактивного режима Datalore вычисляет ячейки кода сверху вниз, а при изменении ячейки автоматически пересчитывает все ячейки ниже. Подробнее о проблеме воспроизводимости кода и о новом реактивном режиме читайте здесь.
Реактивный режим в Datalore
Функции умного редактора кода
Пожалуй, лучшей из возможностей Datalore является функциональность IDE, унаследованная от PyCharm.
Автодополнение кода, быстрые исправления, автоимпорты, возможности переименования и переформатирования помогут вам писать код более эффективно. Попробуйте их и поделитесь с нами своими впечатлениями!
И еще одна важная вещь: Datalore создан не только для самостоятельной, но и для командной работы.
Поддержка Kotlin
Kotlin — это язык программирования с открытым исходным кодом, разработанный в JetBrains. Он хорошо подходит для анализа данных и разработки мультиплатформенных приложений. В Datalore мы добавили поддержку Kotlin в ноутбуки IPython. Попробуйте! Просто выберите Kotlin в качестве языка при создании ноутбука.
Боковая панель для быстрых действий
Чтобы вы могли быстрее работать с файлами и перемещаться по содержимому ноутбуков, мы добавили вкладку боковой панели внутри редактора. С этой панели есть прямой доступ к прикрепленным файлам, включая файлы ноутбука и workspace-файлы. Кроме того, вы можете использовать оглавление и обозреватель переменных. Окно быстрых команд (Shortcuts) также появится на боковой панели при открытии из меню Help.
Улучшения пользовательского интерфейса
Онлайн-инструмент
Темный режим
В прошлом году мы представили темный режим. Вы можете изменить тему ноутбука в меню View в редакторе, где также можно включить режим Distraction free и опцию разделенного просмотра Split view.
Исследования и уроки:
В прошлом году мы сделали несколько интересных исследовательских и обучающих проектов:
Вот и все, что касается основных обновлений, представленных в 2020 году. Следите за нашим блогом, чтобы узнавать о новых возможностях Datalore.
Datalore Enterprise — это data science платформа для совместной работы с Jupyter-ноутбуками. Ее можно установить в частное облако или на приватный сервер компании.
Новая версия 2021.3 позволяет специалистам по анализу и обработке данных работать с базами данных и SQL-кодом внутри Jupyter-ноутбуков, а также легко делиться результатами работы с коллегами. Также мы интегрировали поддержку ноутбуков R и Scala, добавили новый реактивный режим, реализовали конструкторы графиков и множество других функций.
Читайте дальше, чтобы узнать о новых возможностях Datalore Enterprise 2021.3!
Если вы не знакомы с продуктом Datalore Enterprise, рекомендуем посмотреть короткий видеообзор платформы.
Сотрудничество с Anaconda
У JetBrains долгая история сотрудничества с Anaconda, а PyCharm — IDE для Python, рекомендованная в установщике Anaconda. С октября 2020 года и Datalore, и PyCharm представлены в новом Anaconda Navigator! Обновите Anaconda Navigator до последней версии и запускайте Datalore прямо оттуда.
Попробуйте бесплатно!
Вы можете попробовать Datalore Enterprise бесплатно в течение 30 дней. Чтобы запросить пробную версию или задать какие-либо вопросы, свяжитесь с нами или назначьте встречу с нашей командой. Все компании, которые пробуют Datalore Enterprise, могут общаться с нами через специальный канал в Slack или тред Zendesk.
Запросить пробную версию или забронировать демо можно на нашем сайте.
Чтобы оставаться в курсе новостей от Datalore, подпишитесь на наш блог и Twitter!
Улучшения в редакторе кода
Превращение Jupyter-ноутбуков в интерактивные отчеты
Чтобы наглядно представить результаты своей работы с данными, порой приходится сильно постараться. Просто делиться Jupyter-ноутбуком не всегда удобно, так как в нем бывает слишком много кода, в том числе для промежуточных этапов анализа. Сборка дашборда в Tableau занимает слишком много времени, а слайды Powerpoint требуют ручного обновления при любых изменениях результатов анализа.
Datalore Enterprise предлагает выход — публиковать интерактивные отчеты!
Публикация интерактивных отчетов
Теперь вы можете быстро превратить ноутбук в интерактивный отчет. Делиться интерактивными отчетами можно по ссылке. При этом вы можете скрыть ячейки кода, которые не нужны для презентации.
Каждый, кто получит ссылку на отчет, сможет также работать с ним — изменять элементы управления и запускать соответствующий ноутбук.
Интерактивные отчеты в Datalore
Хотите узнать больше о возможностях Datalore? Запланируйте демо с нашей командой.
Конструкторы графиков, раскрывающиеся списки и другие интерактивные элементы
Чтобы сделать ваши ноутбуки и отчеты более интерактивными, мы добавили новые типы ячеек:
Вы можете добавлять в ноутбуки раскрывающиеся списки, слайдеры и текстовые поля, а также присваивать входные значения переменным.
Вы можете легко создавать визуализации при помощи конструкторов графиков в ячейках диаграмм. При этом состояние ячеек обновится и у других пользователей, редактирующих ваш ноутбук, а значит, вы сможете работать над визуализацией вместе.
Настройка параметров видимости ячеек
Предоставляя доступ к ноутбукам или отчетам, вы можете скрыть определенные данные, чтобы не перегружать пользователя информацией. В новой версии Datalore можно скрыть любую ячейку, а также выборочные входные и выходные данные.
Лицензирование
В режиме public beta Datalore доступен по бесплатному коммьюнити-плану. В дальнейшем плата за использование будет зависеть от объема загруженных данных и использованных мощностей.
Командная работа в Datalore
Datalore предлагает несколько способов организации командной работы:
- Работайте над notebook-файлами вместе с командой в реальном времени.
- Публикуйте notebook-файлы, делитесь ими при помощи ссылок и получайте обратную связь.
- Делитесь рабочими средами с любым количеством notebook-файлов и наборов данных.
- Предоставляйте удаленный доступ к notebook-файлам PyCharm, публикуя их при помощи плагина Datalore.
Готовы начать работу с Datalore? Предлагаем вам посмотреть небольшой видеоурок для знакомства с инструментом:
Регистрируйтесь в Datalore!
Подробнее о возможностях Datalore читайте в нашем блоге. Как и всегда, мы рассчитываем на вашу обратную связь. Пишите нам в комментариях либо на нашем форуме.
В рядах инструментов JetBrains пополнение. Мы запускаем открытую бета-версию Datalore — умной веб-среды для анализа и визуализации данных на языке Python.
Машинное обучение уверенно захватывает мир: алгоритмы интеллектуального анализа данных стоят за современными коммерческими разработками и исследованиями. Мы разработали приложение, с которым решать задачи машинного обучения легко и приятно: все необходимые инструменты data science доступны из коробки, а умный редактор кода на Python облегчает процесс анализа данных.
Datalore is a data exploration tool right from JetBrains!
JetBrains Datalore could be your next alternative to Google Colab or Jupyter 😌. Currently, in beta stage, Datalore is a data analysis web application offered by JetBrains. Today, we’ll be discussing some features of Datalore and explore its capabilities.
Go to Datalore.io and complete the signup process. Next, you’ll see a Home page on which we can keep of our workbooks ( notebooks 😕 ).
With the three buttons up there, we can create, import workbooks for our projects.
We’ll be creating a simple workbook to try out Datalore. We’ll write down a snippet of TensorFlow code ✌️ to check out the working.
We can select different Kernels for our workbook. Here’s where Datalore has something different from Jupyter. We can have a Datalore Kernel which enables live execution of our code 😳.
You may find our issues with the Datalore Kernel feature. For our discussion, we’ll use the IPython kernel. As seen in the image above, we have multiple instances based on RAM size.
We can manage all the various packages available in Datalore. To install a new package, we can follow the normal procedure as we do for a Jupyter notebook. Like !pip install pillow .
For any machine learning project, our next requirement is the ability to upload files to the workbook. This can be done by selecting Tools -> File Uploader option. Upload all your files and we can access them in the workbook.
This is a nice feature of Datalore. Go File -> Publish. Datalore creates a neat presentation of your workbook which you could share with others 😎. We can view our published workbooks on view.datalore.io. If you have worked with Kaggle Kernels, then you may notice some similarity.
You can include graphs, visualizations and then publish the notebook. Developers can easily connect themselves with the workbooks and data visualizations.
Создание R и Scala ноутбуков
Мы добавили поддержку языков R и Scala. Теперь для них можно пользоваться умным автодополнением. Для R также доступен менеджер пакетов conda.
Поддержка R и Scala в Datalore Enterprise
Другие улучшения
Скрипты инициализации
Помимо возможности настройки базовых сред и установки библиотек через менеджер пакетов, теперь вы можете добавлять специальные настройки в скрипт, который запускается перед стартом ноутбука. Внутри init.sh вы можете указать все инструменты сборки и зависимости, необходимые для вашего ноутбука.
Поддержка версий Python 3.6+
В Datalore Enterprise 2021.3 вы можете выбрать из множества версий Python (3.6 и более поздние) и пользоваться умными возможностями анализа-кода Datalore для любой из них. Достаточно предварительно настроить несколько базовых сред, и ваша команда сможет переключаться между различными версиями Python буквально в несколько кликов.
Новые графики на вкладке Visualize
Если результатом выполнения кода является pandas DataFrame, Datalore автоматически покажет полученные графики на вкладке Visualize. Мы добавили поддержку:
Кроме того, теперь вы можете настроить цвет графика на основе определенных значений столбца.
Монтирование бакетов GCS
Помимо бакетов AWS S3, теперь вы также можете монтировать в ноутбук бакеты Google Cloud Storage. Для этого просто укажите имя бакета и содержимое файла аутентификации .json — смонтированный бакет отобразится в виде отдельной папки.
Информация о последнем запуске ячейки
Наведя указатель мыши на время выполнения ячейки, вы увидите полную дату последнего выполнения.
Сворачивание ячеек
Чтобы сосредоточиться на написании кода, теперь вы можете сворачивать любые входные и выходные данные.
Профессиональный план Datalore
В ноябре мы запустили Datalore Professional. Этот план был разработан для решения сложных задач с большими наборами данных, которым требуется мощное вычислительное оборудование.
Вот сравнительная таблица параметров Datalore Community и Datalore Professional.
Community | Professional | |
---|---|---|
Базовый CPU-процессор (4 ГБ RAM, имя AWS: t3.medium) | 120 часов | ♾️ |
Мощный CPU-процессор (16 ГБ RAM, 2 ядра vCPUs, на 400% быстрее базового CPU-процессора, имя AWS: r5.large) | – | 120 часов |
GPU-процессор (1 NVIDIA T4 GPU, 16 ГБ RAM GPU, 4 ядра vCPU, имя AWS: g4dn.xlarge) | - | 20 часов |
Хранилище | 10 ГБ | 20 ГБ |
Цена | Бесплатно | 19,90$ в месяц |
Подключение к БД из редактора и запуск нативного SQL-кода
Подключение к БД из ноутбуков
Новая версия Datalore Enterprise позволяет напрямую подключать Jupyter-ноутбуки к базам данных всего за нескольких кликов. Создав подключение, вы сможете просматривать схему таблиц и получать данные с помощью SQL-ячеек, при этом пароль подключения не будет передан в среду.
Подключение Jupyter-ноутбуков к базам данных
Datalore Enterprise поддерживает аутентификацию через user/password для баз данных Amazon Redshift, Azure SQL Database, MariaDB, MySQL, Oracle, PostgreSQL, Snowflake и др. Если у вас появятся вопросы по подключению к базам данных, вы всегда можете задать их нам.
SQL-ячейки
Для выгрузки данных из базы данных можно использовать нативные SQL-ячейки. В них поддерживается подсветка синтаксиса и автодополнение кода на основе интроспекции таблиц базы данных. Результат запроса автоматически передается в pandas DataFrame, после чего вы сможете продолжить анализ данных с помощью Python.
SQL ячейки в Datalore
Запросить 30-дневную пробную версию Datalore Enterprise для своей команды можно на нашем сайте.
Анализ кода из PyCharm
В начале года мы интегрировали анализ кода из PyCharm, добавив автодополнение кода, рефакторинги, быстрые исправления и навигацию в Datalore. Теперь вы можете пользоваться такой же первоклассной помощью при написании кода, как в PyCharm, в своих онлайновых Jupyter-ноутбуках.
Работа с блокнотами
Вы можете импортировать и экспортировать файлы формата .ipynb, а также notebook-файлы формата .datalore. Для запуска кода используется ядро Ipython, экспериментальное ядро Datalore либо ядро Zeppelin.
Редактор кода поддерживает Markdown и LaTex, которые позволяют записывать текст и формулы в удобном формате.
Также мы дополнили интерфейс. Теперь в работе с notebook-файлами вы можете использовать:
- режим погружения и возможность разделения окна редактора;
- панель инструментов для ячеек (быстрое добавление Markdown и новых ячеек кода);
- контекстное меню ячеек (создание оглавлений, доступ к вкладке Variable и др.)
Возможности Datalore
Во-первых, как и все продукты JetBrains, Datalore — это умный редактор кода: с автодополнениями, подсветкой синтаксиса и инспекциями.
Самая классная фича редактора кода — интеншны (intentions). В зависимости от задачи, внизу окна редактирования появляется релевантный интеншн — “load dataset”, “train test split” “select model” и т.д. Выберите нужное действие, и код для подгрузки датасета или модели автоматически сгенерируется в ячейке редактора. А результаты сразу же отобразятся в окне вывода.
Автодополнения и интеншны облегчают работу в редакторе кода. Можно перестать беспокоиться и сосредоточиться на анализе данных и подборе параметров модели.
Во-вторых, мы поддерживаем инкрементальные вычисления: при подборе параметров, замене одной строки или добавлении ячейки не нужно запускать весь воркбук с нуля. Datalore автоматически запускает вычисление только тех операций, которые зависели от правок. С учетом того, что все вычисления запускаются автоматически, в окне вывода всегда будут самые актуальные цифры и таблицы.
Кроме этого, Datalore дает доступ к разным вычислительным мощностям в зависимости от задачи.
В-третьих, мы собрали основные инструменты data science в одном веб-приложении: от базовых библиотек для работы с данными, библиотеки алгоритмов машинного обучения sklearn и алгоритмов deep learning pytorch до мощных инструментов для визуализации.
Инструменты действительно мощные. Наша библиотека datalore.plot — это реализованный на Питоне аналог библиотеки ggplot языка R. Модуль datalore.geo_maps разработан специально для создания интерактивных карт.
Если вы только начинаете работать с данными, подгрузите один из предустановленных датасетов (Iris, Titanic, MNIST) и поиграйте с разными моделями и параметрами. А загрузка своих данных возможна через встроенный файловый менеджер: он сохраняет исходный .csv-файл и конвертирует его в pandas-датафрейм по нажатию соответствующего интеншна.
Datalore сохраняет весь процесс анализа в облаке. Работа начинается с удобного файлового хранилища всех воркбуков. Отсюда же можно поделиться c коллегами ссылкой на воркбук и решать задачу вместе: Datalore поддерживает одновременную работу нескольких пользователей.
Изменения в воркбуке сохраняются автоматически (и никаких безнадежно утраченных данных). Если что-то пошло не так, можно откатиться к предыдущим вариантам анализа и отследить хронику изменений с помощью встроенной системы контроля версий.
Панель инструментов Markdown
Мы также представили панель инструментов для более удобного редактирования Markdown. Она помогает описывать код с помощью текста, формул LaTex и HTML-кода внутри ячеек Markdown.
Совместимость с ядром Jupyter
В прошлом году мы также много работали над стабильностью ядра IPython в Datalore, и сейчас оно стало намного надежнее. Еще есть над чем работать, так что мы продолжим делать ядро более стабильным в этом году.
Ядро Jupyter теперь полностью поддерживается вместе с виджетами, графическими библиотеками и shell-командами.
Кроме того, ноутбуки теперь загружаются значительно быстрее, так как нам удалось вдвое сократить время запуска Conda.
Читайте также: