Pig что за файл
Apache Pig is a platform for analyzing large data sets that consists of a high-level language for expressing data analysis programs, coupled with infrastructure for evaluating these programs. The salient property of Pig programs is that their structure is amenable to substantial parallelization, which in turns enables them to handle very large data sets.
At the present time, Pig's infrastructure layer consists of a compiler that produces sequences of Map-Reduce programs, for which large-scale parallel implementations already exist (e.g., the Hadoop subproject). Pig's language layer currently consists of a textual language called Pig Latin, which has the following key properties:
- Ease of programming. It is trivial to achieve parallel execution of simple, "embarrassingly parallel" data analysis tasks. Complex tasks comprised of multiple interrelated data transformations are explicitly encoded as data flow sequences, making them easy to write, understand, and maintain.
- Optimization opportunities. The way in which tasks are encoded permits the system to optimize their execution automatically, allowing the user to focus on semantics rather than efficiency.
- Extensibility. Users can create their own functions to do special-purpose processing.
Apache Pig is released under the Apache 2.0 License.
Видео: Файл PIG - Самый простой способ открыть файлы .pig в 2020 году
.pig - данные о происхождении
В Свинья Файлы игровых данных относятся к Descent. Свинья файл является Descent Data. Descent - это трехмерный шутер от первого лица, разработанный Parallax Software и выпущенный Interplay Entertainment Corp. в 1995 году.
Заявка: Спуск Категория: Файлы игровых данных Пантомима: приложение / октет-поток Магия: - / - Псевдонимы: - Descent Data связанные расширения: .256 Данные палитры спуска .blk Строительный блок спуска .hog Файл миссии Descent .msn Данные о спуске .pof Данные модели спуска .sow Архив спуска
Естественно, что другие приложения также могут использовать .pig расширение файла. Даже вредоносные программы могут создавать .pig файлы. Будьте особенно осторожны с .pig файлы поступают из неизвестного источника!
Операционные системы
Windows XP / Vista, Windows 7/8, Windows 10, CentOS, Debian GNU / Linux, Ubuntu Linux, FreeBSD, Mac OS X, iOS, Android
Если вы найдете информацию на этой странице полезной, пожалуйста, дайте ссылку на эту страницу.
Если у вас есть полезная информация о .pig формат файла, напишите нам!
Узнайте, как использовать Apache Pig с HDInsight.
Apache Pig — это платформа, позволяющая создавать программы для Hadoop с помощью процедурного языка, известного как Pig Latin. Pig, который является альтернативой Java для создания решений MapReduce , входит в состав Azure HDInsight. Воспользуйтесь приведенной таблицей, чтобы узнать, как можно использовать Pig с HDInsight.
Расширение файла .pig часто дается неправильно!
Согласно поисковым запросам на нашем сайте, эти орфографические ошибки были самыми распространенными за последний год:
ig, ipg, lig, pg, pgi, pi, pib, pif, pih, pin, pir, pit, piv, pjg, pkg
Использование Pig и SQL Server Integration Services
С помощью служб SQL Server Integration Services (SSIS) можно выполнить задание Pig. Пакет дополнительных компонентов Azure для служб SSIS предоставляет следующие компоненты, которые работают с заданиями Pig в HDInsight.
Узнать больше о пакете дополнительных компонентов Azure для служб SSIS можно здесь.
Как открыть файл PIG?
Причин, по которым у вас возникают проблемы с открытием файлов PIG в данной системе, может быть несколько. Что важно, все распространенные проблемы, связанные с файлами с расширением PIG, могут решать сами пользователи. Процесс быстрый и не требует участия ИТ-специалиста. Ниже приведен список рекомендаций, которые помогут вам выявить и решить проблемы, связанные с файлами.
Шаг 1. Получить Descent
Проблемы с открытием и работой с файлами PIG, скорее всего, связаны с отсутствием надлежащего программного обеспечения, совместимого с файлами PIG на вашем компьютере. Решение этой проблемы очень простое. Загрузите Descent и установите его на свое устройство. Полный список программ, сгруппированных по операционным системам, можно найти выше. Одним из наиболее безопасных способов загрузки программного обеспечения является использование ссылок официальных дистрибьюторов. Посетите сайт Descent и загрузите установщик.
Шаг 2. Проверьте версию Descent и обновите при необходимости
Если у вас уже установлен Descent в ваших системах и файлы PIG по-прежнему не открываются должным образом, проверьте, установлена ли у вас последняя версия программного обеспечения. Может также случиться, что создатели программного обеспечения, обновляя свои приложения, добавляют совместимость с другими, более новыми форматами файлов. Если у вас установлена более старая версия Descent, она может не поддерживать формат PIG. Последняя версия Descent должна поддерживать все форматы файлов, которые совместимы со старыми версиями программного обеспечения.
Шаг 3. Настройте приложение по умолчанию для открытия PIG файлов на Descent
Если у вас установлена последняя версия Descent и проблема сохраняется, выберите ее в качестве программы по умолчанию, которая будет использоваться для управления PIG на вашем устройстве. Метод довольно прост и мало меняется в разных операционных системах.
Изменить приложение по умолчанию в Windows
- Выберите пункт Открыть с помощью в меню «Файл», к которому можно щелкнуть правой кнопкой мыши файл PIG.
- Выберите Выбрать другое приложение → Еще приложения
- Наконец, выберите Найти другое приложение на этом. , укажите папку, в которой установлен Descent, установите флажок Всегда использовать это приложение для открытия PIG файлы свой выбор, нажав кнопку ОК
Изменить приложение по умолчанию в Mac OS
Шаг 4. Убедитесь, что PIG не неисправен
Если вы выполнили инструкции из предыдущих шагов, но проблема все еще не решена, вам следует проверить файл PIG, о котором идет речь. Вероятно, файл поврежден и, следовательно, недоступен.
1. PIG может быть заражен вредоносным ПО - обязательно проверьте его антивирусом.
Если случится так, что PIG инфицирован вирусом, это может быть причиной, которая мешает вам получить к нему доступ. Немедленно просканируйте файл с помощью антивирусного инструмента или просмотрите всю систему, чтобы убедиться, что вся система безопасна. PIG файл инфицирован вредоносным ПО? Следуйте инструкциям антивирусного программного обеспечения.
2. Убедитесь, что файл с расширением PIG завершен и не содержит ошибок
Если вы получили проблемный файл PIG от третьего лица, попросите его предоставить вам еще одну копию. В процессе копирования файла могут возникнуть ошибки, делающие файл неполным или поврежденным. Это может быть источником проблем с файлом. Если файл PIG был загружен из Интернета только частично, попробуйте загрузить его заново.
3. Убедитесь, что у вас есть соответствующие права доступа
Иногда для доступа к файлам пользователю необходимы права администратора. Выйдите из своей текущей учетной записи и войдите в учетную запись с достаточными правами доступа. Затем откройте файл Descent Texture Format.
4. Проверьте, может ли ваша система обрабатывать Descent
Если в системе недостаточно ресурсов для открытия файлов PIG, попробуйте закрыть все запущенные в данный момент приложения и повторите попытку.
5. Убедитесь, что у вас установлены последние версии драйверов, системных обновлений и исправлений
Современная система и драйверы не только делают ваш компьютер более безопасным, но также могут решить проблемы с файлом Descent Texture Format. Возможно, что одно из доступных обновлений системы или драйверов может решить проблемы с файлами PIG, влияющими на более старые версии данного программного обеспечения.
Вы хотите помочь?
Если у Вас есть дополнительная информация о расширение файла PIG мы будем признательны, если Вы поделитесь ею с пользователями нашего сайта. Воспользуйтесь формуляром, находящимся здесь и отправьте нам свою информацию о файле PIG.
Запуск задания Pig Latin
HDInsight может запускать задания Pig Latin с помощью различных методов. Используйте следующую таблицу, чтобы решить, какой метод подходит вам, а затем перейдите по ссылке к пошаговому руководству.
Apache Pig 0.17.0 is released!
The highlights of this release is the introduction of Pig on Spark. See details on the release page.
Getting Involved
Pig is an open source volunteer project under the Apache Software Foundation. We encourage you to learn about the project and contribute your expertise. Here are some starter links:
- How to contribute
- Give us feedback: What can we do better?
- Join the mailing list: Meet the community.
Copyright © 2007-2018 The Apache Software Foundation.
Apache Hadoop, Hadoop, Apache, the Apache feather logo, and the Apache Hadoop project logo are either registered trademarks or trademarks of the Apache Software Foundation in the United States and other countries.
Программы, которые поддерживают PIG расширение файла
В следующем списке перечислены программы, совместимые с файлами PIG, которые разделены на категории 2 в зависимости от операционной системы, в которой они доступны. PIG файлы можно встретить на всех системных платформах, включая мобильные, но нет гарантии, что каждый из них будет должным образом поддерживать такие файлы.
Apache Pig 0.17.0 is released!
The highlights of this release is the introduction of Pig on Spark. See details on the release page.
Дальнейшие действия
Теперь, когда вы узнали, как использовать Pig в HDInsight, воспользуйтесь следующими ссылками, чтобы изучить другие способы работы с Azure HDInsight.
в чем точная разница между свиньей и ульем? Я обнаружил, что оба имеют одинаковое функциональное значение, потому что они используются для выполнения одной и той же работы. Единственная вещь-имплиментация, которая различна для обоих. Итак, когда использовать и какие технологии? Есть ли какая-либо спецификация для обоих, которая ясно показывает разницу между ними с точки зрения применимости и производительности?
Apache Pig и Hive-это два проекта, которые накладываются поверх Hadoop и предоставляют язык более высокого уровня для использования библиотеки MapReduce Hadoop. Apache Pig предоставляет язык сценариев для описания таких операций, как чтение, фильтрация, преобразование, объединение и запись данных-именно те операции, для которых изначально был разработан MapReduce. Вместо того, чтобы выражать эти операции в тысячах строк кода Java, который использует MapReduce напрямую, Pig позволяет пользователям выражать их на языке не похоже на сценарий bash или perl. Pig отлично подходит для прототипирования и быстрого развития заданий на основе MapReduce, в отличие от кодирования заданий MapReduce в самой Java.
Если Pig - это "скрипты для Hadoop", то Hive-это"SQL-запросы для Hadoop". Apache Hive предлагает еще более специфичный язык более высокого уровня для запроса данных путем выполнения заданий Hadoop, а не непосредственно пошагового скриптинга работы нескольких заданий MapReduce на Hadoop. Язык, по замыслу, чрезвычайно SQL-подобные. Hive по-прежнему предназначен как инструмент для длительных пакетных запросов по массивным данным; это не "в реальном времени" в любом смысле. Hive-отличный инструмент для аналитиков и типов развития бизнеса, которые привыкли к SQL-подобным запросам и системам бизнес-аналитики; он позволит им легко использовать ваш блестящий новый кластер Hadoop для выполнения специальных запросов или создания данных отчета по данным, хранящимся в системах хранения, упомянутых выше.
с чисто инженерной точки зрения, я считаю, что PIG легче писать и поддерживать, чем SQL-подобные языки. Это процедурно, поэтому вы применяете кучу отношений к своим данным один за другим, и если что-то не удается, вы можете легко отлаживать на промежуточных шагах и даже иметь команду под названием "illustrate", которая использует алгоритм для выборки некоторых данных, соответствующих вашему отношению. Я бы сказал, что для заданий со сложной логикой это определенно намного удобнее, чем Hive, но для простых вещей выигрыш возможно, минимальный.
Что касается взаимодействия, я считаю, что свинья предлагает большую гибкость по сравнению с улья. У вас нет понятия таблицы в PIG, поэтому вы управляете файлами напрямую, и вы можете определить загрузчик, чтобы загрузить его в практически любой формат очень легко с помощью загрузчика UDFs, без необходимости проходить этап загрузки таблицы, прежде чем вы сможете выполнить свои преобразования. У них есть хорошая функция в последних версиях PIG, где вы можете использовать динамические призыватели, т. е. использовать практически любой Метод Java непосредственно в вашем скрипте PIG, без необходимости писать UDF.
для производительности / оптимизации, из того, что я видел, вы можете напрямую управлять в PIG типом алгоритма объединения и группировки, который вы хотите использовать (я считаю, 3 или 4 разных алгоритма для каждого). Я лично никогда не использовал его, но поскольку вы пишете требовательные алгоритмы, вероятно, было бы полезно решить, что делать, а не полагаться на оптимизатор, как это происходит в Hive. Так что я бы этого не сказал. обязательно работает лучше, чем Hive, но в случаях, когда оптимизатор принимает неправильное решение, у вас есть возможность выбрать, какой алгоритм использовать и иметь больше контроля над тем, что происходит.
одной из интересных вещей, которые я сделал в последнее время, был splits: вы можете разделить поток выполнения и применить разные отношения к каждому split. Таким образом, вы можете иметь нелинейный набор данных, разделить его на основе поля и применить другую обработку к каждой части, и, возможно, объединить результаты вместе в конце концов, все это в том же сценарии. Я не думаю, что вы можете сделать это в улей, вам придется писать разные запросы для каждого случая, но я могу ошибаться.
следует также отметить, что вы можете увеличивать счетчики в PIG. В настоящее время вы можете сделать это только в Pig UDFs. Я не думаю, что вы можете использовать счетчики в улей.
и есть несколько хороших проектов, которые позволяют вам взаимодействовать с Pig с Hive (например, HCatalog), поэтому вы можете в основном читать данные из таблицы hive или записывать данные в таблица hive (или обе), просто изменив загрузчик в скрипте. Также поддерживает динамические разделы.
в Apache Pig-это платформа для анализа больших наборов данных. Язык Pig, Pig Latin, - это простая алгебра запросов, которая позволяет выражать преобразования данных, такие как объединение наборов данных, их фильтрация и применение функций к записям или группам записей. Пользователи могут создавать свои собственные функции для специальной обработки.
латинские запросы Pig выполняются распределенным образом в кластере. Наша текущая реализация компилирует программы Pig Latin в Map-Reduce jobs, и выполняет их с помощью кластера Hadoop.
Hive-это система хранилища данных для Hadoop, которая облегчает суммирование данных, специальные запросы и анализ больших наборов данных, хранящихся в файловых системах, совместимых с Hadoop. Hive предоставляет механизм для проецирования структуры на эти данные и запроса данных с помощью SQL-подобного языка hiveql. В то же время этот язык также позволяет традиционным программистам map / reduce подключать свои пользовательские картографы и редукторы, когда неудобно или неэффективно выражать эту логику в HiveQL.
в чем точная разница между свиньей и ульем? Я обнаружил, что оба имеют одинаковое функциональное значение, потому что они используются для выполнения одной и той же работы.
посмотреть Свинья Против Улья сравнение в скорлупе ореха С dezyre статьи
куст баллы за свинья на разделы, сервер, веб-интерфейс и поддержка JDBC/ODBC.
куст лучше для структурированные данные & свинья лучше для слабоструктурированных данных
куст используется отчетность & свинья на Программирование
куст используется как декларативный SQL & свинья используется как процедурный язык
куст поддерживает разделы & свинья не
куст определяет таблицы, прежде чем руки (схеме) + хранит информацию о схеме в базе данных и свинья не имеют выделенных метаданных базы данных
куст не поддерживает Avro, но свинья тут
Итак, когда использовать и какие технологии?
выше разница уточняет ваш запрос.
HIVE : структурированные данные, SQL как запросы и используется для целей отчетности
PIG : полуструктурированные данные, программируют рабочий поток, включающий последовательность действий для карты сократите задания.
относительно выполнения задания, оба HIVE и PIG медленно по сравнению с традиционной картой уменьшить работу. Reason : наконец, сценарии Hive или PIG должны быть преобразованы в серию заданий Map Reduce.
посмотрите на связанный вопрос SE:
главным образом разница свинья язык потока данных и Улей хранилище данных. В качестве поросенка можно использовать аналогичный пошаговый процедурный язык. Но HIVE используется как декларативный язык. PIG может использоваться для получения онлайн-потоковых неструктурированных данных. Но HIVE может получить доступ только к структурированным данным, а также к данным из баз данных СУБД, таких как SQL, NOSQL, с помощью драйверов JDBC и ODBC. PIG может конвертировать данные в формат Avro, но PIG не может. PIG не может создавать разделы, но HIVE может сделать его. Поскольку улей-это вершина свиньи, поэтому улей может получить доступ к данным только после его обработки свиньей. Это зависит от того, когда мы должны использовать PIG и HIVE если вы работаете со структурированными, реляционными данными, то мы можем использовать HIVE еще мы можем использовать PIG. Свиньей мы можем общаться с инструментами ETL, но это занимает больше времени по сравнению с ульем. Но это легко в PIG rather HIVE, потому что в HIVE мы должны создать таблицу перед обработкой данных.
Программы, обслуживающие файл PIG
Windows
MAC OS
Содержание:
Многие люди делятся .pig файлы, не прилагая инструкции по использованию. Однако не для всех очевидно, кто программирует .pig файл можно редактировать, конвертировать или распечатывать с помощью. На этой странице мы стараемся оказать помощь в обработке .pig файлы.
В нашей базе данных найдено 1 файловое расширение (а).
- Данные о спуске
- Проблемы, связанные с файлом .pig
Причины использования Apache Pig
Одна из трудностей обработки данных с помощью MapReduce в Hadoop заключается в реализации логики обработки с использованием только функций map и reduce. Для сложных задач часто приходится разбивать обработку на несколько операций MapReduce, соединенных друг с другом, чтобы достичь желаемого результата.
Pig позволяет определить обработку как ряд преобразований, через которые проходят данные для получения желаемого результата.
Язык Pig Latin позволяет описывать поток данных так, чтобы из необработанных входных данных можно было получить нужный результата посредством одного или нескольких преобразований. Программы Pig Latin следуют общему шаблону:
Загрузка: чтение данных для обработки из файловой системы.
Преобразование: обработка данных.
Дамп или сохранение: вывод данных на экран или сохранение их для дальнейшей обработки.
Пример задания
Следующее задание Pig Latin загружает файл sample.log из хранилища по умолчанию для кластера HDInsight. Затем оно выполняет ряд преобразований, которые позволяют подсчитать, сколько раз каждый из уровней ведения журнала был указан во входных данных. Результаты записываются в поток STDOUT.
На следующем рисунке показано, что каждое из преобразований делает с данным.
Не удается открыть файл .pig?
Windows не может открыть этот файл:
Чтобы открыть этот файл, Windows должна знать, какую программу вы хотите использовать для его открытия. Windows может автоматически подключиться к Интернету, чтобы найти его, или вы можете вручную выбрать его из списка программ, установленных на вашем компьютере.
Чтобы избежать этой ошибки, вам необходимо правильно настроить ассоциацию файлов.
- Откройте Панель управления> Панель управления Главная> Программы по умолчанию> Установить связи.
- Выберите тип файла в списке и нажмите «Изменить программу».
Getting Started
Демонстрационные данные
HDInsight предоставляет различные наборы демонстрационных данных, которые хранятся в каталогах /example/data и /HdiSamples . Эти каталоги находятся в хранилище по умолчанию для кластера. В примере Pig в этом документе используется файл log4j из /example/data/sample.log .
Каждый журнал в файле состоит из строки полей, содержащей поле [LOG LEVEL] для отображения типа и серьезности.
В предыдущем примере уровень журнала имеет значение ERROR ("ошибка").
Определяемые пользователем функции
Pig Latin также поддерживает пользовательские функции, позволяющие вызывать внешние компоненты, реализующие логику, которую трудно смоделировать в Pig Latin.
Возможно ли, что расширение имени файла написано неправильно?
Подобные расширения файлов в нашей базе данных:
.ig Данные о событиях iSpy .pit Сжатый архив PackIt .ipg Пакет игр для iPod .pug Архив PUG .plg Подключаемый модуль Aston Shell .pug Документ на языке разметки Pug
Читайте также: