Sas visual text analytics это
SAS Visual Analytics – это система аналитики для бизнеса, которая помогает глубже изучать данные, находить новые закономерности, создавать удобочитаемые графические представления для более детального понимания бизнеса.
Программный продукт SAS Visual Analytics (рус. САС Визуальная Аналитика) от компании SAS позволяют аккумулировать различные данные в едином источнике с последующей обработкой. Для упрощения решения задач бизнес-аналитики (BI) и управления массивами данных в САС Вижуал Аналитикс предоставляется графический интерфейс, позволяющий пользователям от аналитика и до управляющего сформировать собственное представление и определять неявные зависимости и отклонения.
Функции системы SAS Visual Analytics: Обнаружение данных благодаря интерактивному взаимодействию и визуализации (анимированные и сетевые диаграммы, тепловые карты, корреляционные матрицы, дерево решений и т. д. ). Использование предустановленных форм и графиков, создание собственных представлений; Бизнес-аналитика без привлечения IT-специалистов, позволяющая построить наиболее актуальное представление данных и выбрать оптимальный прогноз; Доступ к данным через мобильное приложение; Визуальный анализ географических данных на карте; Импорт и экспорт данных, а также возможность автоматического обновления и синхронизация.
Управление учётными записями с возможностью мониторинга активности пользователей
Анализ продуктовой корзины в розничной торговле с использованием BI-системы SAS Visual Analytics
Применение деревьев принятия решений в бизнес-аналитической системе SAS Visual Analytics
Исследование социальных факторов в аналитическом программном обеспечении SAS Visual Analytics
Визуализация данных на карте в программном продукте для бизнес-аналитики САС Вижуал Аналитикс
Find the information that matters using natural language processing (NLP).
Augment human efforts to analyze unstructured text with AI using a variety of modeling approaches. Experience the combined power of natural language processing, machine learning and linguistic rules.
Data preparation & visualization
Accesses, integrates, profiles, cleanses and transforms data. Imports text from more than 35 data connectors. Includes self-service data visualization for exploring and understanding text data.
Separates text into words, phrases, punctuation marks and other elements of meaning to provide the human framework a machine needs to analyze text at scale.
Uses unsupervised machine learning to group documents based on common themes. Relevance scores calculate how well each document belongs to each topic, and a binary flag shows topic membership above a given threshold.
Pulls out specific pieces of information or relationships between information from text using a powerful, flexible and scalable SAS proprietary programming language called language interpretation for textual information (LITI).
Hybrid modeling approaches
Combines a variety of capabilities needed to build effective text models, including a rich mix of linguistic rules, natural language processing, machine learning and deep learning.
Identifies subjective information in text; labels it as positive, negative or neutral; associates that information with an entity; and provides a visual depiction through a sentiment indicator display.
Deploy models in batch, Hadoop, in stream and via APIs. Score code is natively threaded for distributed processing, taking maximum advantage of computing resources to reduce latency to results.
Native support for 33 languages
Provides out-of-the-box NLP functionality to enable native language analysis using dictionaries and linguistic assets created by native language experts from around the world.
Offers multithreaded parallel processing for in-memory analytics on a cloud ready, open architecture. REST APIs allow for flexible integration, and users have the choice to code in SAS, Python, R, Java, Scala or Lua.
COVID-19 Scientific Literature Search & Text Analysis
Leveraging AI and a variety of modeling approaches, this free environment combines the power of natural language processing, machine learning, linguistic rules and network analytics – that you can access from a user-friendly visual interface.
Scale the human act of reading, organizing and extracting useful information from huge volumes of textual data.
Detect emerging trends and hidden opportunities.
Quickly and tirelessly sift through growing volumes of text data to identify main ideas or topics, extract key terms, analyze sentiment, and identify correlations between words with the right combination of natural language processing, machine learning and deep learning methods and linguistic rules. This helps get the right information to people when they need it.
Go from data to decisions faster.
Empower decision making at the source of the data, and reduce the gap between when information is received and when it is acted on. If someone leaves a comment or clicks through an app on a mobile device, SAS Visual Text Analytics analyzes the data immediately using in-memory, in-database and in-stream technologies. Embedded visualization capabilities allow for visual exploration of both data and analytics, while also providing intuitive dashboards that easily communicate results to a variety of stakeholders.
Foster collaboration and information sharing in an open ecosystem.
SAS Visual Text Analytics provides a flexible environment that supports the entire analytics life cycle – from data preparation, to discovering analytic insights, to putting models into production to realize value. Create, manage and share content, including best practice pipelines, in a highly collaborative workspace that easily integrates with existing systems and open source technology.
Improve analytic workflow with automation.
Intelligent algorithms and NLP techniques automatically detect relationships and sentiment in text data, eliminating time-consuming manual analysis. The use of human subject matter expertise to refine results is augmented with automatic rule generation and an interactive sandbox that allows you to evaluate subsets of rules to determine which ones are better performing. Drag and drop functionality, best practice templates, simple merge and split features, effortless topic promotion, automatic rule generation and one-click model deployment collectively reduce the human model building effort required, creating more time to focus on finding the information that matters.
Find the information that matters using natural language processing (NLP).
Scale the human act of reading, organizing and extracting useful information from huge volumes of textual data with SAS Visual Text Analytics.
Detect emerging trends and hidden opportunities.
Quickly and tirelessly sift through growing volumes of text data to identify main ideas or topics, extract key terms, analyze sentiment, and identify correlations between words with the right combination of natural language processing, machine learning and deep learning methods, and linguistic rules. This helps get the right information to people when they need it.
Go from data to decisions faster.
Empower decision making at the source of the data and reduce the gap between when information is received and when it is acted on. If someone leaves a comment or clicks through an app on a mobile device, SAS Visual Text Analytics analyzes the data immediately using in-memory, in-database and in-stream technologies. Embedded visualization capabilities allow for visual exploration of both data and analytics while also providing intuitive dashboards that easily communicate results to a variety of stakeholders.
Foster collaboration and information sharing in an open ecosystem.
SAS Visual Text Analytics provides a flexible environment that supports the entire analytics life cycle – from data preparation, to discovering analytic insights, to putting models into production to realize value. Create, manage and share content, including best practice pipelines, in a highly collaborative workspace that easily integrates with existing systems and open source technology.
Improve analytics workflow with automation.
Intelligent algorithms and NLP techniques automatically detect relationships and sentiment in text data, eliminating time-consuming manual analysis. The use of human subject matter expertise to refine results is augmented with automatic rule generation and an interactive sandbox that allows you to evaluate subsets of rules to determine which ones are better performing. Drag-and-drop functionality, best practice templates, simple merge and split features, effortless topic promotion, automatic rule generation and one-click model deployment collectively reduce the human model building effort required, creating more time to focus on finding the information that matters.
Find the information that matters using natural language processing (NLP).
Scale the human act of reading, organizing and extracting useful information from huge volumes of textual data with SAS Visual Text Analytics.
Detect emerging trends and hidden opportunities.
Quickly and tirelessly sift through growing volumes of text data to identify main ideas or topics, extract key terms, analyze sentiment, and identify correlations between words with the right combination of natural language processing, machine learning and deep learning methods, and linguistic rules. This helps get the right information to people when they need it.
Go from data to decisions faster.
Empower decision making at the source of the data and reduce the gap between when information is received and when it is acted on. If someone leaves a comment or clicks through an app on a mobile device, SAS Visual Text Analytics analyzes the data immediately using in-memory, in-database and in-stream technologies. Embedded visualization capabilities allow for visual exploration of both data and analytics while also providing intuitive dashboards that easily communicate results to a variety of stakeholders.
Foster collaboration and information sharing in an open ecosystem.
SAS Visual Text Analytics provides a flexible environment that supports the entire analytics life cycle – from data preparation, to discovering analytic insights, to putting models into production to realize value. Create, manage and share content, including best practice pipelines, in a highly collaborative workspace that easily integrates with existing systems and open source technology.
Improve analytics workflow with automation.
Intelligent algorithms and NLP techniques automatically detect relationships and sentiment in text data, eliminating time-consuming manual analysis. The use of human subject matter expertise to refine results is augmented with automatic rule generation and an interactive sandbox that allows you to evaluate subsets of rules to determine which ones are better performing. Drag-and-drop functionality, best practice templates, simple merge and split features, effortless topic promotion, automatic rule generation and one-click model deployment collectively reduce the human model building effort required, creating more time to focus on finding the information that matters.
История возникновения
Для начала в сотый раз обратимся к рейтингу ресурса TIOBE, дабы отыскать в нём нашего сегодняшнего героя. SAS располагается на “предлидирующем” 21 месте, что, согласитесь, для data-языка великолепный результат. Так что давайте познакомимся с ним поближе.
Итак, Джеймс Гуднайт (James Goodnight) в 1976 году окончил Университет Северной Каролины, тут же приложил свою руку к созданию небольшой аналитической компании SAS Institute и вот уже 40 лет он ее CEO. SAS - аббревиатура от Statistical Analysis System, что полностью описывает основное направление деятельности компании.
Естественно, для того, чтобы эффективно обрабатывать большие потоки информации потребовался не только качественный программный продукт, но и соответствующий язык. И им стал SAS. Изначально это был довольно примитивный набор шаблонных запросов для группировки данных, но со временем SAS стал полноценным и достаточно популярным языком программирования.
В общем-то с этого момента можно было бы смело вести историю языка, программного обеспечения и всей компании, как единого целого, но в 2002 году объявился идеологический конкурент - World Programming System (WPS), который в своей деятельности не просто стал использовать язык SAS, но и разработал для него собственный компилятор и IDE.
Разумеется, вскоре началась судебная тяжба, которая в итоге создала интересный прецедент для всего IT-сообщества: WPS выиграл суд, доказав, что авторское право не нарушается, если используется синтаксис и функциональность языка, но не используются исходные коды. Таким образом, язык SAS отчасти избежал участи MATLAB, сорвав ярлык “вещи в себе”.
Кстати, сегодня SAS Institute - не просто преуспевающая компания с оборотом в несколько миллиардов долларов в год, но и одно из наиболее привлекательных мест для работы. Так, в 2013 году SAS заняла второе место в рейтинге “привлекательности” компаний США, пропустив вперёд лишь Google.
Краткая справка
Впрочем, оставим дела компании и обратимся непосредственно к языку. Чтобы вы визуально представляли его внешний вид, вот небольшой отрывок кода, содержащий вывод на экран таблицу данных:
PROC PRINT DATA = models NOOBS;
WHERE Type = "Mountain";
FORMAT Price DOLLAR6.;
TITLE "Current Models of Mountain Bicycles";
RUN;
Основным конкурентом SAS является язык R, причём стоит признать, что последний имеет солидное преимущество. Во-первых, он был создан позднее, соответственно избежал многих проблем роста. Во-вторых, и это наверное главный фактор, он бесплатный, в то время как SAS требует дорогое программное обеспечение. Впрочем, давайте взглянем на преимущества и недостатки SAS в сравнении с главным конкурентом.
Простой синтаксис, быстрое обучение “с нуля”;
Отладка кода проходит значительно проще, чем на R;
Интеграция с БД (Oracle/Teradata);
Удобный формат выходных данных (особенно таблиц);
Мощная поддержка со стороны компании SAS;
Многолетний успешный опыт эксплуатации компаниями разной величины, с разными задачами и разным объёмом входных данных. В частности, России SAS используют ОАО “РЖД”, МТС, ЦБ РФ, а также ведущие банки, среди которых Сбербанк, Альфабанк, Тинькофф и многие другие.
Профессиональное использование языка предполагает покупку программного продукта;
Исходники многих исполняемых алгоритмов SAS не являются публичными, следовательно изучение работы языка сильно ограничено;
SAS значительно уступает в производительности R;
С точки зрения объёма кода SAS также зачастую сильно проигрывает (иногда в несколько раз).
При этом надо понимать, что далеко не во всех сферах SAS и R являются прямыми конкурентами. Взгляните на следующее изображение:
Из него отчётливо видно, что в Data Science SAS сильно проигрывает не только R, но и Python. Но вот в анализе данных, предполагающем дальнейшие прогнозы, SAS занимает лидирующую позицию.
Программный продукт
Для того, чтобы оценить степень размаха в прикладных программах, с которым придётся столкнуться желающему освоить SAS в полном объёме, можно посетить официальный раздел с перечислением пакетов заглавной IDE. Впрочем, здесь прослеживается аналогия с уже упомянутым продуктом MATLAB/Simulink, где также имеется большое количество надстроек, но по сути подавляющее большинство из них имеет строгую специализацию. Так что изначально стоит сфокусироваться лишь на 4 следующих:
SAS Visual Analytics - инструмент для визуализации ваших данных;
SAS Enterprise Miner - инструмент для машинного обучения;
Enterprise / Text Miner - пакет надстроек, аналогичный SAS Visual Analytics, но с большим упором на упрощение любых внутренних взаимодействий;
SAS ETS Module - система прогнозирования.
Если вы вдруг сейчас подумали, что возможно стоит прикупить пару из них, то вот стоп-сигнал: SAS Enterprise Miner, к примеру, обходится крупным компаниям более чем в 100 тысяч долларов. Пакет Analytics будет значительно дешевле, около 8,5 тысяч, но разве от этого легче?
Обучение
Впрочем, это не означает, что постигнуть азы SAS невозможно. Компания активно продвигает свой продукт среди студентов, причём абсолютно бесплатно. Достаточно мощную пробную версию SAS University Edition можно скачать перейдя по ссылке.
Также на официальном сайте у вас есть возможность записаться на экспресс-курсы по изучению языка (причём на русском языке). Рекомендуемая длительность обучения в каждом разделе составляет 3 дня, требования и программу можно посмотреть прямо рядом с торжественной кнопкой записи.
В общем, было бы желание.
Работа
Откровенно говоря, получить работу конкретно SAS-специалисту в России будет очень сложно. Как правило, SAS идёт как жирный плюс. но не как основная специализация. Тем не менее, если вам удастся набраться практического опыта работы с SAS хотя бы в течение 2 лет, хотя бы базово освоить SQL, VB и прочие полезности, то вы сможете смело рассчитывать на зарплату не менее 80 тысяч рублей в месяц. Причём речь не только о столице, стоимость программного продукта SAS как бы подсказывает работодателю не экономить в поисках дешёвой рабочей силы. Но, как уже было сказано, нужную вакансию ещё придётся поискать.
Литература
Нет смысла перечислять лучшие иностранные книги по SAS, так как все они собраны в одном месте, прямо на официальном сайте компании. Особое внимание стоит уделить пошаговому самоучителю, описанию возможностей языка и IDE, а также справочнику новичка.
Что касается ресурсов на русском языке, то тут, разумеется, всё значительно сложнее, но кое-что всё же есть. Помимо официального сайта, лекции Дмитрия Звежинского помогут тем, кто пока не познал английский язык на хорошем уровне, на официальные курсы записывать не хочет, но SAS изучить отчаянно желает.
На этом краткое знакомство считаем оконченным. А вы сталкивались когда-нибудь с языком SAS? Какие впечатления?
Освоить востребованную профессию в Data Science можно всего за полтора года на курсах GeekBrains. После учёбы вы сможете работать по специальностям Data Scientist, Data Analyst, Machine Learning, Engineer Computer Vision-специалист или NLP-специалист.
Читайте также: