Получить расположения складов из production location содержащих paint в своем названии
Цитатник веб-разработчиков В тексте курса вы встретите цитаты, высказанные в разное время разработчиками системы и разработчиками проектов на базе Bitrix Framework. Надеемся, что такие неформальные замечания внесут некоторое разнообразие в процесс изучения. Заодно опытные специалисты поделятся и своим опытом.
Имена авторов цитат даются в том написании, в каком авторы зарегистрировали себя на сайте "1С-Битрикс". .
Курс для разработчиков - продолжение линейки учебных курсов по Bitrix Framework. Получение сертификата по курсу рекомендуется после успешной сдачи тестов по всей линейке курсов, так как без понятия о работе Контент-менеджера и Администратора создание успешных сайтов будет затруднено.
Чтобы научиться программировать в Bitrix Framework, нет необходимости изучать всю линейку курсов. Но есть моменты, которые необходимо знать разработчикам о системе, они раскрыты в начальных курсах:
- Интерфейс программы - в главе Элементы управления курса Контент-менеджер.
- Компоненты 2.0 (начальные сведения) в главе Компоненты 2.0 (начальные сведения) курса Контент-менеджер.
- Информационные блоки - в главе Информационные блоки (начальные сведения) курса Контент-менеджер.
- Управление доступом к файлам, элементам контента, модулям и другие права доступа в главе Управление доступом курса Администратор. Базовый.
- Работа с инструментами системы - в главе Работа с инструментами курса Администратор. Базовый.
- Модуль Поиск - в главе Поиск курса Администратор. Базовый.
- Вся информация по администрированию модулей размещена в курсах:
-
- модули "1С-Битрикс: Управление сайтом" - модули "1С-Битрикс: Управление сайтом", связанные с коммерческой деятельностью в Интернете. - модули "1С-Битрикс: Корпоративный портал"
Как построен курс
Общепринятая градация квалификации разработчиков в рамках курса обозначает что:
- Junior сможет создавать простые сайты работая со штатными компонентами и модифицируя их шаблоны.
- Middle разработчик может работать с API Bitrix Framework.
- Senior умеет работать над производительностью и безопасностью сайтов, создавать свои модули и компоненты.
Примечание: Такое построение удобно для пошагового изучения принципов работы Bitrix Framework. По этому же принципу построены и тесты. Но такая структура не очень удобна для использования содержания курса как постоянного источника информации. Что бы переключить курс в режим Справочника, воспользуйтесь переключателем в верхнем правом углу шапки курса.
Начальные требования к подготовке
Для успешного изучения курса и овладения мастерством разработки сайтов на Bitrix Framework необходимо владеть (хотя бы на начальном уровне):
- основами PHP, баз данных;
- основами HTML, CSS.
У нас часто спрашивают, сколько нужно заплатить
Курс полностью бесплатен. Изучение курса, прохождение итоговых тестов и получение сертификатов - ничего из этого оплачивать не нужно.
Ещё у нас есть Академия 1С-Битрикс, где можно обучиться на платной основе на курсах нашей компании либо наших партнёров.
Баллы опыта
В конце каждого урока есть кнопка Прочитано! . При клике на неё в Вашу итоговую таблицу опыта добавляется то количество баллов, которое указано в прочитанном После нажатия кнопки Прочитано! появится
окно подтверждения:
уроке.
Периодически мы заново оцениваем сложность уроков, увеличивая/уменьшая число баллов, поэтому итоговое количество набранных Вами баллов может отличаться от максимально возможного. Не переживайте! Отличный результат - это если общее число набранных Вами баллов отличается от максимального на 1-2%.
Тесты
После изучения курса вам будет предложено пройти тесты на сертификацию. При успешной сдаче последовательности тестов на странице Моё обучение можно просмотреть результат обучения и загрузить сертификат в формате PDF.
Комментарии к статьям
Что дальше?
Одновременно с изучением курса Разработчик Bitrix Framework вам придётся обращаться к информации о других технологиях Bitrix Framework. Эта информация размещена в следующих курсах:
Для преподавания офлайн
Если данный курс берётся в качестве основы для офлайнового преподавания, то рекомендуемая продолжительность: 5 дней (40 академических часов).
Если нет интернета
iPhone:
FBReader
CoolReader
iBook
Bookmate
Windows:
Calibre
FBReader
Icecream Ebook Reader
Плагины для браузеров:
EpuBReader – для Firefox
Readium – для Google Chrome
iOS
Marvin for iOS
ShortBook
обновляются периодически, поэтому возможно некоторое отставание их от онлайновой версии курса. Версия файла - от 10.03.2022.
Если вы нашли неточность в тексте, непонятное объяснение, пожалуйста, сообщите нам об этом в комментариях.
И на всё это нужны скрины а текст я напишу сам. Вот задания. С каким пунктом вы можете помочь?:
1. Перейти на диск С: в корневой каталог
2. Просмотреть содержимое диска.
3. Перейти в каталог TEMP
4. Просмотреть содержимое текущего каталога
5. Создать каталог с номером группы
6. Зайти в каталог с номером группы.
7. Создать файл 1.TXT
8. Просмотреть содержимое файла.
9. Создать папку NEW
10.Просмотреть содержимое каталога "с номером группы"
11.Перейти в каталог "NEW"
12.Создать файл A.TXT
13.Объединить файлы 1.TXT и A.TXT в файл "NEW".TXT в каталог с номером группы.
14.Просмотреть содержимое файла NEW.TXT
15.Перейти в каталог с номером группы.
16.Посмотреть содержимое файла NEW.TXT
17.Удалить файл 1.TXT.
18.Удалить каталог NEW.
19.Перейти на дискету.
20.Просмотреть содержимое дискеты.
21.Создать новый каталог на диске.
22.Скопировать файл NEW.TXT на дискету в новый каталог.
23.Посмотреть содержимое скопированного файла.
24.Перейти на диск C:, в каталог TEMP
25.Удалить каталог с номером группы.
26.Очистить Экран. Просмотреть дату время и версию ОС
27.Выйти в корневой директорий диска С
28.Найти самый новый файл на диске С: в папке Windows
Писать долго
1. C:
2. Dir
3. Cd %temp% или cd temp
4. Dir
5. Md group001
6. Cd group001
7. Echo . >1.txt
8. Type 1.txt
9. MD NEW
10. DIR C:\GROUP001\*. *
11. CD NEW
12. ECHO . >a.txt
13. Type 1.txt>NEW.TXT¦TYPE A.TXT >>NEW.TXT
14. TYPE NEW.TXT
15. CD GROUP001
16. TYPE NEW.TXT
ЧЕТА МНЕ ЛЕНЬ
CLS DATA TIME VER
RD GROUP001
CD \
Отсортировать по дате
А ещё
Copy c:\new.txt a:\cat\
В общем если наврал то из лени, к компу идти лень
Пуск - cmd. Откроется черное консольное окно. Там ввести команду help и читать про все команды. Любую команду можно запустить с параметром /? - при этом она расскажет, как ей пользоваться. Удачи!
Команды которые используются с помощью команды help являются внутренними (вшитыми).
attrib для открытия скрытых файлов attrib /?
call вызов одного батника из другого
cd /? переход и одной папки в другую
cd / в корень С: \
cd /windows
chcp для смены кодировки (886 1251)
chkdsk проверка диска и вывод статистики
chkdsk C:\
convert преобразует файловую систему FAT в NTFS
copy откуда куда copy c:\*.* d:\ копирует только файлы, папки не копирует!
xcopy копирует папку
del удаление файла или несколько файлов del *.* del *.?xe del *.?xt
dir обзор содержимого текущей папки
dir /w
for для работы с группой файлов
format форматирование, не действует на активный диск
cls очистка экрана
md создание папки C:\md proba
mode конфигурирование системных устройств
more устанавливает справку на экран
move перемещение одного или нескольких файлов из одной папки в другую
openfiles показывает, какие файлы открывает у вас другой пользователь
(для сети)
pause пауза
rd удаляет папку (только пустую папку)
recover восстановление файлов и данных с поврежденных дисков, наиболее хорошо восстанавливает текстовые файлы
ren переименовывает файлы или папки
replace работает также как copy, но заменяет файлы
robocopy копирует файлы и папки
subst работает как виртуальный диск
subst y: c:\windows создать
subst y: /d удалить
systeminfo нужен когда не работает графический интерфейс (винда) но нужна информация о ПК
tasklist работает как диспетчер задач, показывает задачу
taskkill убивает задачу
tree показывает дерево диска
ver проверка версии windows
msconfig автозагрузка, откл все
Пуск - cmd. Откроется черное консольное окно. Там ввести команду help и читать про все команды. Любую команду можно запустить с параметром /? - при этом она расскажет, как ей пользоваться. Удачи! ето поможет
скоко много писать, кажется это было в школе на информатике в 7 классе. сейчас думаю это надо преподавать сразу с первого класса информатику
Пуск - cmd. Откроется черное консольное окно. Там ввести команду help и читать про все команды. Любую команду можно запустить с параметром /? - при этом она расскажет, как ей пользоваться. Удачи!
Большинство наших приложений зависят от внешних сервисов, например серверов баз данных, SMS-шлюзов и систем наподобие PayPal. Эти сервисы могут существовать более чем в одной среде, то есть в средах разработки и эксплуатации. Если мы хотим подключиться к эксплуатационной среде, мы должны сначала пройти через среду разработки. Таким образом, во время создания приложений нам приходится переключаться между средами. Это связано с тем, что у каждой среды своя уникальная конфигурация со своими параметрами подключения и прочими значениями.
Проблема
Предположим, что мы разрабатываем платежный сервис, который подключается к внешнему платежному провайдеру. Значения коммерческого счета в эксплуатационной среде и среде разработки не совпадают. То есть при каждом переключении среды нам приходится изменять значения и компилировать код заново, а это неэффективно.
Решение
Лучшее решение этой проблемы — вывод данных конфигурации приложения во внешний источник. Нам не нужно будет каждый раз заново компилировать код при переключении среды. Мы сможем переопределить значения параметров конфигурации, затратив меньше усилий. Наше приложение Spring сможет считывать значения коммерческого счета из внешних источников, например переменных среды, аргументов командной строки и файлов свойств.
Вывод данных конфигурации во внешний источник
Источники свойств
Существуют различные способы вывода данных конфигурации приложения Spring во внешний источник. Для задания свойств приложения мы можем использовать переменные среды, файлы свойств (например, в формате YAML или с расширением *.properties) и аргументы командной строки. Мы также можем хранить файлы свойств в произвольных местах и сообщать приложению Spring, где их искать.
Файлы свойств
По умолчанию приложение Spring загружает свойства из файлов application.properties или application.yml из перечисленных ниже источников в порядке приоритета (то есть вышестоящий файл свойств переопределяет файлы из источников нижнего уровня) и добавляет их в среду:
подкаталог конфигурации текущего каталога;
пакет конфигураций в параметре classpath;
корневой каталог classpath.
По умолчанию имя файла конфигурации — application. При желании мы можем указать другое имя, используя ключ свойств среды spring.config.name . В примере ниже мы переопределили имя конфигурации Spring, заданное по умолчанию, на new_name .
Пользовательское место хранения
Мы можем задать внешний источник свойств приложения или файлов YAML с помощью свойства среды spring.config.location . Это свойство может указывать на любое пользовательское место хранения и таким образом переопределять местоположение по умолчанию. См. пример ниже:
Примечание. При указании расположения каталога необходимо убедиться, что после значения spring.config.location стоит символ / (например, spring.config.location=classpath:/config/ ) и что задано имя файла конфигурации по умолчанию. Также с помощью ключа свойств spring.config.additional-location можно указать дополнительные каталоги, поиск в которых будет проводиться перед поиском в местоположениях по умолчанию.
Spring Boot также поддерживает обобщенное указание местоположения с помощью подстановочных символов. Эта функция полезна в средах с несколькими источниками свойств конфигурации, таких как среды Kubernetes. Например, у вас есть конфигурации Redis и MySQL. Они могут храниться в разных местах, но при этом они обе должны быть указаны в файле application.properties , чтобы их видело приложение. Это может привести к тому, что два отдельных файла application.properties будут смонтированы в разных местах, например /config/redis/application.properties и /config/mysql/application.properties . В таком случае использование обобщенного указания каталога config/*/ позволит обрабатывать оба файла.
Форматы файлов
Файл свойств приложения может быть в формате YAML или иметь расширение .properties. Если эти два файла свойств будут храниться в одной и той же папке конфигурации, файл application.properties будет иметь приоритет над файлом application.yml . В следующем фрагменте кода показаны настройки коммерческого счета, определенные в файле свойств каждого типа.
application.properties
application.yml
Файлы форматов YAML и .properties
YAML — это легкочитаемый стандарт сериализации данных, часто применяемый в файлах конфигурации. Он является надмножеством формата JSON и очень удобен при составлении иерархической конфигурации. Файлы формата YAML предпочтительны, поскольку они более понятны и удобочитаемы, особенно по сравнению с файлами .properties. Помимо этого, у них есть другие очень полезные функции, например безопасность типов и т. д.
Для загрузки файла YAML приложению Spring требуется библиотека SnakeYAML в параметре classpath . В приведенном примере кода использованы стартеры Spring Boot, поэтому необходимости включать данную библиотеку в параметр classpath нет.
Множество профилей
YAML позволяет указать несколько профилей в одном файле конфигурации, тогда как при использовании файла .property нам может потребоваться файл конфигурации для каждого профиля. Рассмотрим следующий пример.
1. Файл YAML
application.yml
2. Файл .properties
В случае с файлом .properties , при определении двух профилей нужно создать отдельный файл конфигурации для каждого из них. К имени каждого файла конфигурации добавляется -.properties . В примере ниже показаны профили приложения для разработки и эксплуатации.
application-development.properties
application-production.properties
При наличии свойств, общих для профилей разработки и эксплуатации, нам может потребоваться файл application.properties, заданный по умолчанию.
application.properties
Образец данных конфигурации в приведенных выше фрагментах кода устанавливает профиль разработки в качестве активного профиля. Поэтому при запуске приложения значения свойств, определенные в этом профиле, будут иметь приоритет над эксплуатационным профилем. Но не стоит забывать, что настройки профиля можно также переопределить с помощью аргументов командной строки.
Вы можете узнать больше о профилях Spring в этой статье.
Читаемость
YAML поддерживает списки и карты в виде иерархических свойств, и по сравнению с файлом расширения .properties версия YAML более удобочитаемая. Допустим, мы хотим настроить параметры подключения для реальной и тестовой сред. Сначала зададим имена подключений в виде списка, а затем сопоставим их с соответствующими URL-адресами с помощью карты, как показано ниже. Рассмотрим, как реализация в YAML может упростить эту конфигурацию в сравнении с файлом .properties.
application.yml
application.properties
Тестовые примеры для проверки сопоставлений можно найти в тестовых пакетах с примером кода из данной статьи.
Аргументы командной строки
Когда мы вводим аргумент командной строки, приложение Spring преобразует его в свойство и добавляет в Spring Environment. С помощью этих аргументов можно сконфигурировать параметры приложения. К примеру, следующие аргументы командной строки переопределят порт сервера приложения, заданный любым другим источником свойств. При запуске приложения командой Maven или Java мы все равно получим тот же результат.
Команда Maven:
Команда JVM:
Также можно вводить несколько аргументов одновременно. Дополним приведенный выше пример еще одним свойством — портом сервера, как показано ниже.
Команда Maven (через пробел):
Команда JVM:
Переменные среды
Если у нас нет возможности изменять значения свойств через командную строку, на выручку приходят переменные среды. Приложение Spring может считывать свойства из них. При запуске оно ищет переменную среды под именем SPRING_APPLICATION_JSON , которая может содержать набор свойств JSON в одностроковом формате. Мы можем поэкспериментировать и переопределить адреса подключения, указанные в нашем файле свойств, как описано ниже.
Откроем терминал и выполним следующую команду. Она устанавливает переменные среды приложения, переопределяя настройки подключения.
После этого запустим наше приложение:
Результат
Проверив журнал, мы заметим, что адреса подключения в профиле разработки были переопределены, а значения в файле JSON, который мы передали через переменную среды, были в приоритете.
Передача свойств
Существуют различные способы передачи значений свойств в приложение из соответствующих источников. Мы можем использовать аннотацию @Value абстракции Spring Environment или привязать эти значения к структурированному объекту с аннотацией @ConfigurationProperties .
Этот метод актуален при наличии небольшого количества свойств, но он не рекомендуется, если свойств много. Представьте, если в коммерческом счете более двадцати свойств, нам придется указывать аннотацию @Value двадцать раз. Приведенный ниже фрагмент кода показывает, как можно использовать эту аннотацию для внедрения значения свойства в приложение.
Важно убедиться, что имя свойства @Value совпадает с именем, указанным в источниках свойств.
При наличии нескольких свойств мы можем сгруппировать их и сопоставить с классом POJO. Таким образом, мы получим структурированный и типобезопасный объект, который сможем внедрить в любое место в нашем приложении. Поэтому вместо использования аннотации @Value значения свойств можно получить с помощью метода чтения значения класса POJO.
Класс POJO должен иметь аннотации @ConfigurationProperties и @Component , как описано выше. Значение префикса, указанное в аннотации, должно совпадать с префиксом свойства, определенного в файле application.yml .
application.yml
Важно отметить, что аннотация @ConfigurationProperties также позволяет нам сопоставлять списки и карты, как показано ниже:
Порядок приоритета данных конфигурации
В приложении Spring Boot может быть несколько источников свойств. Поэтому важно знать, какой источник свойства имеет наивысший приоритет. Например, если конфигурация нашего приложения находится в файле application.yml и во время выполнения приложения мы решаем передать аргументы командной строки, тогда значения свойств в файле application.yml будут переопределены значениями аргументов командной строки.
В Spring Boot 2.2.x используется приведенный ниже порядок источников свойств. Источник свойств, расположенный выше в списке, имеет приоритет над источниками под ним.
Свойства глобальных настроек в папке $HOME/.config/spring-boot , когда средства разработки активны.
Аннотации @TestPropertySource в ваших тестах.
Атрибут свойств в ваших тестах. Он доступен в @SpringBootTest и тестовых аннотациях для проверки работы определенного фрагмента вашего приложения.
Аргументы командной строки.
Свойства из SPRING_APPLICATION_JSON (строковый JSON в переменной среды или системном свойстве).
Начальные параметры ServletConfig .
Начальные параметры ServletContext .
Атрибуты JNDI из java:comp/env .
Свойства Java System, то есть System.getProperties() .
Переменные среды ОС.
RandomValuePropertySource , свойства которого хранятся только в random.* .
Свойства приложения для конкретного профиля, за пределами упакованного файла .jar (application- .properties и варианты YAML).
Свойства приложения для конкретного профиля внутри файла .jar ( application- .properties и варианты YAML).
Свойства приложения за пределами упакованного файла .jar ( application.properties и варианты YAML).
Свойства приложения в файле .jar ( application.properties и варианты YAML).
Аннотации @PropertySource в классах @Configuration . Необходимо учесть, что такие источники свойств не добавляются в Environment, пока контекст приложения не будет обновлен. В этот момент уже поздно настраивать некоторые свойства, например logging.* и spring.main.*, которые считываются перед началом обновления.
Свойства по умолчанию (заданные настройкой SpringApplication.setDefaultProperties ).
Заключение
Рекомендуется выносить данные конфигурации во внешний источник. Если свойств много, мы можем сгруппировать их в простой класс Java и использовать аннотацию @ConfigurationProperties , чтобы структурировать конфигурацию и сделать ее типобезопасной. Однако самая большая проблема при использовании внешних источников свойств заключается в правильном выборе конфигурации для разворачиваемого приложения. Поэтому важно соблюдать осторожность при настройке приложения, в котором для разных сред используются разные источники свойств. Пример кода для этой статьи доступен на GitHub.
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters. Learn more about bidirectional Unicode characters
Предобработке данных аналитик посвящает массу времени: иначе удовлетворительное решение поставленной задачи неосуществимо. |
Чему вы научитесь |
Познакомитесь с распространёнными видами «мусора в данных» и специальными методами Pandas для борьбы с ним. |
Сколько времени это займёт |
2 часа = 5 уроков от 2 до 30 минут. |
Постановка задачи |
Продолжаем работать с данными Яндекс.Музыки — оцениваем качество данных и повышаем его до готовности к анализу. |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters. Learn more about bidirectional Unicode characters
Когда вы приступаете к работе над аналитической задачей, должны быть готовы не только вы (чтобы придумать, как найти зависимости или красиво визуализировать данные), но и сами данные. |
Процесс подготовки данных для дальнейшего анализа называется предобработка. Заключается она в поиске проблем, которые могут быть в данных, и в решении этих проблем. |
В информатике работает принцип GIGO (от англ. garbage in — garbage out, буквально «мусор на входе — мусор на выходе»). Это значит, что при ошибках во входных данных даже правильный алгоритм работы выдаёт неверные результаты. |
Посмотрите на этот срез данных для нашей задачи: |
image |
Что сразу же бросается в глаза? В столбце genre для одного жанра есть два названия: джаз и jazz. Если принять всё как есть, подсчёт прослушанных джазовых композиций даст два ответа — для жанра джаз и для жанра jazz, которые представляют одну и ту же сущность. Это помешает сделать правильные выводы об интересе пользователей к джазу, и может повлечь неверные решения. |
image |
Нам предстоит очистить данные от мусора, чтобы эта аббревиатура расшифровывалась более приятно: good in — good out, т.е. «хорошо на входе — хорошо на выходе». |
Подвох может крыться не только в содержании столбца, но даже в его названии. Вы уже умеете получать данные из столбцов таблицы, чтобы, к примеру, посчитать количество уникальных пользователей. Попробуем получить доступ к столбцу «user_id», как учили: |
print(df['user_id']) |
----------------------------------------------------- |
KeyError Traceback (most recent call last) |
/usr/local/lib/python3.6/dist-packages/pandas/core/indexes/base.py in get_loc(self, key, method, tolerance) |
2524 try: |
-> 2525 return self._engine.get_loc(key) |
2526 except KeyError: |
pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_loc() |
pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_loc() |
pandas/_libs/hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item() |
pandas/_libs/hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item() |
KeyError: 'user_id' |
На первый взгляд кажется, что мы ввели имя столбца правильно, но при тщательном изучении можно заметить пробелы в начале. Обычно их порождает человеческий фактор — при именовании нажимают клавишу пробела или копируют лишние символы из текста технического задания. Ещё вариант: при выгрузке данных из какой-нибудь информационной системы заголовки сформировались вот так плохо. Каждое название бывает несчастливо по-своему — в одном столбце всё нормально, в другом 5 пробелов в начале и 1 в конце, в третьем 3 пробела в начале. |
Трудно определить количество пробелов на глаз, чтобы задать точное правило их ликвидации, но ещё более сумасбродное решение — всякий раз копировать значимые символы названия столбца вручную. Это серьёзная проблема; избавляться от лишних пробелов учатся в первую очередь. |
Вообще сложности с данными бывают двух видов: |
данные содержат мусор; |
данные корректны, но представлены в такой форме, что малопригодны для анализа. |
Например, таблица с данными о расстоянии от Земли до небесных тел (в миллионах километров) может быть представлена в двух вариантах: |
image |
Как вы думаете, какой вариант лучше подходит для анализа? |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters. Learn more about bidirectional Unicode characters
В верхней таблице не разобрать, какая строка за что отвечает, тогда как в нижней всё более или менее ясно. Лучше, если в каждом столбце хранятся значения одной переменной, а каждая строка содержит одно наблюдение, к которому привязаны значения разных переменных. |
Строки нижней таблицы можно представить как наблюдения за одним небесным телом: в переменных сохраним его название, минимальное и максимальное расстояния до Земли. |
Верхняя таблица не совсем безнадёжна — такой вариант может быть представлен в качестве визуального отчета. Международные организации часто публикуют данные своих ежегодников в подобной форме. |
С точки зрения организации данных менеджер Яндекс Музыки дал нам хорошую таблицу, но мусор в ней всё-таки есть. Понадобится выполнить ряд операций. |
Посмотрите на первые 10 строк. Какие необычные явления вы можете заметить? |
image |
Проблемы с названиями столбцов уже известны. Теперь обратите внимание на повторяющиеся значения в столбце Artist: какие-то NaN, и это точно не музыкальная группа. А ещё нужно разобраться со строками 1 и 2. Там полный повтор. |
image |
Имейте в виду, что аналитик не только «чистит» данные, но и сообщает команде о проблемах, чтобы их причины были установлены. Каждый сорт мусора появляется в таблице не просто так. |
В этой теме мы раскроем базовые механизмы борьбы с часто встречаемыми проблемами. Из них самые очевидные, но в то же время самые опасные: |
• некорректное именование столбцов |
• дублирование значений |
• отсутствующие значения (NaN) |
Механизмы борьбы с ними — основа, с которой вы можете начать своё развитие как специалист по предобработке данных. |
Для начала вызовем метод info(), чтобы просмотреть сводку по всему набору данных. |
TASK |
Просмотрите информацию о наборе данных: воспользуйтесь методом info(). |
SOLUTION |
import pandas as pd |
df = pd.read_csv('music_log.csv') |
df.info() |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters. Learn more about bidirectional Unicode characters
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters. Learn more about bidirectional Unicode characters
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters. Learn more about bidirectional Unicode characters
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters. Learn more about bidirectional Unicode characters
Когда данные очищены от мусора, можно приступить к самому интересному — расчётам и презентации результатов заказчику. |
Чему вы научитесь |
Принципам группировки и сортировки данных, расчёту статистики и формированию наглядного отчёта об исследовании. |
Сколько времени это займёт |
1,5 часа = 5 уроков от 1 до 25 минут. |
Постановка задачи |
Завершаем анализ данных Яндекс.Музыки, выполняем поставленную менеджером задачу и сдаём отчёт. |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters. Learn more about bidirectional Unicode characters
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters. Learn more about bidirectional Unicode characters
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters. Learn more about bidirectional Unicode characters
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters. Learn more about bidirectional Unicode characters
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters. Learn more about bidirectional Unicode characters
Читайте также: