Поиск информации в сети интернет браузеры
Речь вовсе не о «Яндексе» или Bing. Есть поисковые сервисы, которые действительно лучше, чем лидеры рынка. Пусть и не во всём.
Автор Лайфхакера, инженер-механик
1. DuckDuckGo
Что это
DuckDuckGo — это довольно известная поисковая система с открытым исходным кодом. Серверы находятся в США. Кроме собственного робота, поисковик использует результаты других источников: Yahoo, Bing, «Википедии».
Чем лучше
Зачем это вам
Все крупные поисковые системы стараются персонализировать поисковую выдачу на основе данных о человеке перед монитором. Этот феномен получил название «пузырь фильтров»: пользователь видит только те результаты, которые согласуются с его предпочтениями или которые система сочтёт таковыми.
DuckDuckGo формирует объективную картину, не зависящую от вашего прошлого поведения в Сети, и избавляет от тематической рекламы Google и «Яндекса», основанной на ваших запросах. При помощи DuckDuckGo легко искать информацию на других языках, тогда как Google и «Яндекс» по умолчанию отдают предпочтение русскоязычным сайтам, даже если запрос введён на иностранном.
Что это
Один из новых поисковиков, выдача которого формируется не по принципу «самый короткий релевантный ответ», а представляет собой всестороннюю выжимку данных из различных источников, включая соцсети, сообщества и форумы.
Чем лучше
В зависимости от запроса поисковик даёт релевантные подсказки, пытаясь предугадать ваши мысли. А в выдачу попадают не только популярные сайты, но и малоизвестные проекты при условии, что у них есть правильный ответ на вопрос.
Зачем это вам
3. StartPage
Что это
Интересный поисковик, который объединяет в себе лучшее из двух миров. В отличие о конкурентов, использующих собственные движки, которые откровенно слабее крупных игроков, StartPage берёт выдачу из Google. Важный момент: при этом он обезличивает все ваши запросы, сохраняя анонимность.
Чем лучше
Зачем это вам
Попробуйте, если результаты альтернативных поисковиков не устраивают, а со слежкой Google вы мириться не готовы.
4. Swisscows
Что это
Швейцарский сервис, в основе которого лежит семантический поиск на основе машинного обучения. Искусственный интеллект определяет контекст поискового запроса и угадывает, что на самом деле вы ищете.
Swisscows сотрудничает с Bing и использует их индексированную выдачу в дополнение к своей собственной. Монетизация осуществляется за счёт рекламы, которая основывается исключительно на поисковых запросах.
Чем лучше
Зачем это вам
Swisscows пригодится, если вам нужен честный, безопасный и анонимный поисковик с собственным индексом.
5. Dogpile
Что это
Метапоисковик Dogpile выводит комбинированный список результатов из поисковых выдач Google, Yahoo и других популярных систем.
Чем лучше
Во-первых, Dogpile отображает меньше рекламы. Во-вторых, сервис использует особый алгоритм, чтобы находить и показывать лучшие результаты из разных поисковиков. Как утверждают разработчики Dogpile, их система формирует самую полную выдачу во всём интернете.
Зачем это вам
Если вы не можете найти информацию в Google или другом стандартном поисковике, попробуйте обнаружить её сразу в нескольких поисковиках с помощью Dogpile.
6. BoardReader
Что это
Чем лучше
Сервис позволяет сузить поле поиска до социальных площадок. Благодаря специальным фильтрам вы можете быстро находить посты и комментарии, которые соответствуют вашим критериям: языку, дате публикации и названию сайта.
Зачем это вам
BoardReader может пригодиться пиарщикам и другим специалистам в области медиа, которых интересует мнение массовой аудитории по тем или иным вопросам.
7. FindSounds
Что это
FindSounds — ещё один специализированный поисковик. Ищет в открытых источниках различные звуки: дом, природа, машины, люди и так далее. Сервис не поддерживает запросы на русском языке, но есть внушительный список русскоязычных тегов, по которым можно выполнять поиск.
Чем лучше
В выдаче только звуки и ничего лишнего. В настройках можно выставить желаемый формат и качество звучания. Все найденные записи доступны для скачивания. Имеется поиск по образцу.
Зачем это вам
Если вам нужно быстро найти звук мушкетного выстрела, удары дятла-сосуна или крик Гомера Симпсона, то этот сервис для вас. И это мы выбрали только из доступных русскоязычных запросов. На английском спектр ещё шире.
Если серьёзно, специализированный сервис предполагает специализированную аудиторию. Но вдруг и вам пригодится?
8. Wolfram|Alpha
Что это
Wolfram|Alpha — вычислительно-поисковая система. Вместо ссылок на статьи, содержащие ключевые слова, она выдаёт готовый ответ на запрос пользователя. Например, если ввести в форму поиска «сравнить население Нью-Йорка и Сан-Франциско» на английском, то Wolfram|Alpha сразу выведет на экран таблицы и графики со сравнением.
Чем лучше
Этот сервис лучше других подходит для поиска фактов и вычисления данных. Wolfram|Alpha накапливает и систематизирует доступные в Сети знания из различных областей, включая науку, культуру и развлечения. Если в этой базе находится готовый ответ на поисковый запрос, система показывает его, если нет — вычисляет и выводит результат. При этом пользователь видит только нужную информацию и ничего лишнего.
Зачем это вам
Если вы, например, студент, аналитик, журналист или научный сотрудник, то можете использовать Wolfram|Alpha для поиска и вычисления данных, связанных с вашей деятельностью. Сервис понимает не все запросы, но постоянно развивается и становится умнее.
Ве́б-обозрева́тель, или бра́узер (от англ. Web browser, бро́узер — неправильно) — программное обеспечение для поиска и просмотра веб-сайтов, то есть для запроса веб-страниц (преимущественно из Сети), для их обработки, вывода и перехода от одной страницы к другой.
Большинство браузеров также наделены способностями к просмотру оглавления FTP-серверов.
Браузеры постоянно развивались со времён зарождения Всемирной паутины, и с её ростом становились всё более важной программой типичного персонального компьютера. Ныне браузер — комплексное приложение для обработки и вывода разных составляющих веб-страницы и для предоставления интерфейса между веб-сайтом и его посетителем.
Практически все популярные браузеры распространяются бесплатно или «в комплекте» с другим приложением:
-
(как неотъемлемая часть Microsoft Windows), (бесплатно, свободное ПО), (бесплатно, начиная с версии 8.50), (совместно с Mac OS или бесплатно для Windows).
Содержание
Mozilla Firefox - браузер от Mozilla Foundation. Простой и лаконичный интерфейс позволяет освоить программу за несколько минут. Безопасность, высокая скорость работы, гибкость и расширяемость - основные качества, присущие поисковику Mozilla Firefox.
Mozilla Firefox - свободно распространяемый браузер. Второй по популярности браузер в мире. В нем присутствуют вкладочный интерфейс, проверка орфографии, поиск по мере набора, "живые закладки", менеджер закачек, поисковая система. Новые функции можно добавлять при помощи расширений.
Всем кто часто обращается к функции расширенного поиска в Google, Яндекс есть смысл установить окна расширенного поиска в качестве домашней страницы.
Панель инструментов Google предлагает подсказки по мере ввода запроса в окно поиска. Большинство предложений поступает от популярных служб поиска Google. Также можно увидеть предложения из своих закладок Google и своей истории поиска.Кроме того, панель инструментов оповещает, если вы неправильно ввели слово и предлагает правильное написание. Панель инструментов Google позволяет также отправлять ссылки на любые веб-страницы друзьям прямо из Панели инструментов, добавлять комментарии и получать полезную информацию на любых веб-страницах с помощью Google ВикиКомментариев; мгновенно переводит веб-страницы с автоматическим определением языка.
Internet Explorer является наиболее широко используемым веб-браузером начиная с 1999 года, в 2002—2003 годах достигнув по этому показателю своей максимальной отметки в 95 %. Однако в последнее время его доля стремительно снижается. На сегодняшний день последней стабильной версией браузера является Internet Explorer 8. Эта же версия вошла в состав операционной системы Windows 7, однако, в отличие от предыдущих версий, его можно полностью удалить из системы. Также были выпущены дополнительные модификации браузера для других операционных систем.
Internet Explorer 8 имеет вкладки, блокировщик всплывающих окон, фишинг-фильтр, встроенный RSS-агрегатор, поддержку интернациональных доменных имён, средств групповой политики и возможность автообновления через Windows Update. Последними версиями Internet Explorer для Mac OS и Unix-подобных систем были Internet Explorer 5.2.3 и Internet Explorer 5.0 SP1 Beta соответственно. В настоящий момент разработка Internet Explorer для этих систем прекращена. Однако имеется возможность запуска Internet Explorer на операционных системах, отличных от Microsoft Windows, используя эмуляционную среду WinAPI Wine, но без поддержки технологии ActiveX.
Internet Explorer можно бесплатно скачать, и он будет работать даже будучи установленным на нелегальную копию Microsoft Windows, однако лицензионное соглашение разрешает устанавливать Internet Explorer только при наличии легальной лицензии на операционную систему семейства Windows.
Opera - веб-браузер и программный пакет для работы в Интернете, выпускаемый компанией Opera Software ASA.
Помимо основных функций браузера в него были интегрированы возможности почтового/новостного клиента Opera Mail, адресной книги, клиента пиринговой сети BitTorrent, агрегатора RSS, клиента IRC, менеджера закачек, WAP-браузера, Opera Link, а также виджеты — графические модули, основанные на технологии HTML и работающие вне окна браузера.
Opera для ПК и Opera Mini распространяются бесплатно с 2005 года, Opera Mobile — с 2010-го (бета-версии с 2009-го).
Safari - браузер. Разработан корпорацией Apple и входит в состав операционной системы Mac OS X, а также бесплатно распространяется для операционных систем семейства Microsoft Windows. Занимает четвертое место по числу пользователей
Основные возможности: использование вкладок (позволяет открывать в одном окне сразу по нескольку веб-страниц и свободно переключаться между ними), встроенные средства поиска: Google в Mac OS X, Google и Yahoo в Windows, возможность блокирования всплывающих окон, удобный и простой поиск фрагмента текста на странице, автозаполнение форм (синхронизация с адресными книгами Mac OS X и MS Windows), встроенный RSS-агрегатор, масштабирование области ввода текста, частный просмотр — режим, при котором не ведётся история посещений, cookie не принимаются, пароли и вводимые данные не запоминаются, поддержка различных протоколов шифрования, функция «Snapback» — позволяет мгновенно вернуться к исходным результатам поиска или к верхнему уровню любого веб-сайта, даже если вы ушли на несколько уровней вниз. Значок SnapBack появляется в поле поиска при нажатии на ссылку на странице результатов поиска;
В «Safari» используются те же технологии Apple для работы с графикой, что и в Mac OS X; предварительная поддержка CSS3 и HTML 5 «Safari» автоматически распознаёт веб-сайты, использующие нестандартные шрифты, и загружает их по мере необходимости, интеграция мультимедийных технологий QuickTime, web Inspector — позволяет пользователям и разработчикам просматривать Document Object Model (DOM) веб-страниц, поддержка протоколов SSL версий 2 и 3, а также Transport Layer Security (TLS), проверка орфографии в текстовых полях, Cover Flow, Top Site — позволяет просматривать список самых посещаемых веб-сайтов.
24 февраля 2009 года вышла публичная бета-версия браузера Safari 4.0 для Microsoft Windows и Mac OS X.
При соединении двух компьютерных сетей возникает межсетевое объединение, которое по-английски называется Internet. В настоящее время в мире насчитываются сотни тысяч больших и малых сетей. Большинство из них уже соединены между собой. Т.о. существует единое информационное поле, состоящее из миллионов взаимосвязанных компьютеров. Его называют единым информационным пространством. Internet – это одна из всемирных компьютерных сетей, которая была основана в 1969 году и называлась тогда ARPANET. (Существуют и другие всемирные сети – Decnet, FIDO и другие).
Что такое Интернет.
Интернет — это многочисленные компьютерные сети, соединяющие миллионы компьютеров по всему миру. А Microsoft Internet Explorer — средство подсоединения к Интернету для получения доступа к гигантскому хранилищу данных. Internet Explorer как и другие программы несущие подобные функции называют Интернет браузерами. Так что же такое Интернет браузеры?
Интернет браузеры – это специальные программы, позволяющие просматривать содержимое web сайтов.
А теперь посмотрим на оболочку программы Internet Explorer (вы можете записывать это название сокращенно IE это сокращение принято во всем мире), что же мы там увидим, а первое что вам сразу может бросится в глаза – это панель с кнопками, на которых вы заметите две уже знакомых вам кнопки, это кнопка вперед и назад. Эти кнопки несут такую же функцию как и в окнах Windows. Далее в основной группе кнопок находится кнопка “Остановить”, эта кнопка позволяет остановить действие которое производит IE, например загрузку web страницы. Кнопка “Обновить” позволяет обновить содержимое окна IE в случае необходимости, эта функция особенно полезна когда страница не полностью загрузилась и необходимо произвести ее перезагрузку. Следующая кнопка “Домой” – позволяет перейти нам на страницу, указанной как “домашняя”. Кстати, для функций “Остановить” и функции “Обновить” есть удобные быстрые клавиши, давайте мы их запишем. “Остановить” – Esc, “Обновить” – F5. Ниже панели кнопок вы видите адресную строку.
Информация – набор символов, графических образов или звуковых сигналов, несущих определенную смысловую нагрузку.
Поисковые службы
Поисковая машина представляет собой огромный программно-системный комплекс, в котором различными этапами обработки индексируемой информации занимаются разные системные службы. Некоторые поисковые серверы индексируют страницы, другие занимаются скачиванием интернет страниц, третьи – группировкой индексов в единую базу и т.д. При вводе пользователем
Независимо от того, какую поисковую службу мы используем, информация в них повторяется.
Давайте познакомимся с поисковой службой Google.
Адресация в Интернет.
Адресная строка служит для ввода и отображения адреса Web-страницы. Чтобы перейти к какой-либо странице, вам даже не нужно набирать полностью ее адрес. Просто начните печатать, а средства автозавершения дополнит предполагаемый адрес, основываясь на адресах посещенных вами ранее узлов.
С помощью адресной строки вы можете искать Web-страницы просто набрав команды find, go, или ? и слово, которое вы ищите. Как вы понимаете в адресную строку вводятся адреса Интернета.
Что такое адрес Интернета?
Адрес Интернета (иногда также говорят URL или Uniform Resource Locator) обычно начинается с названия протокола. Затем следует название организации, которая поддерживает данный узел. Суффикс обозначает тип организации. (Протокол – это набор правил и стандартов, который позволяет компьютерам обмениваться данными.)
Если адрес указывает на определенную страницу, то дописываются дополнительные данные, например, имя порта, папка, содержащая страницу и имя файла. Расширения Web-страниц, созданных с использованием языка HTML, обычно оканчиваются на .htm или .html.
Когда вы просматриваете какую-либо Web-страницу, то ее адрес появляется в адресной строке обозревателя.
Здравствуй Хабр! А мы тут продолжаем цикл статей об OSINT и, самое главное, о полезных для этого нелегкого дела инструментах.
Сегодня мы разберем расширения для Google Chrome которые помогут нам собирать и анализировать данные из открытых источников, ну и в целом улучшат наш опыт проведения расследований.
DISCLAIMER: Данная статья написана в ознакомительных целях и не является руководством к неправомерным действиям или обучающим материалом для сокрытия правонарушений.
Поиск и маркировка данных
И начнем мы с поиска и обогащения и маркировки данных.
1. Vortimo OSINT-tool — расширение позволяет помечать текст на любой веб-странице и обогащать его собственными или внешними ресурсами или API. Очень удобно даже при простой работе в интернете, а уж про полезность в OSINT и говорить не приходится.
2. Gotanda — это расширение веб-браузера для OSINT, которое позволяет вам искать информацию на веб-странице (IP, домен, URL-адрес, SNS и т. д.). Расширение оптимизировано для Японии, но достаточно хорошо работает и в российском сегменте сети.
3. Fast Advanced Google Search — интерфейс расширенных параметров поиска Google. Полезно не только в рамках OSINT.
Работа с соц. сетями
Теперь давайте рассмотрим несколько расширений для работы с социальными сетями, так как это очень важная часть OSINT расследования.
4. OSINT.support — это не одно, а целая коллекция расширений для OSINT, которые устанавливаются в режиме разработчика. Они предназначены по большей части для работы с Facebook. Также есть определение скрытых друзей, работа с идентификаторами, «парсинг» данных, SOCMINT и захват почты.
5. Treeverse — это расширение для навигации по разговорам в Твиттере. Все чаты удобно визуализированы в виде дерева.
Теперь, когда Twitter принадлежит Илону Маску, возможно, что в RU сегменте популярность этой соц. сети возрастет и расширение придется как раз к месту. Вообще на тему расширений для соц. сетей мы, наверное, сделаем отдельную статью…
Исследование изображений
Плавно перетекаем в исследование фотографий и изображений.
6. EXIF Viewer Pro — позволяет быстро исследовать метаданные фотографий, размещенных в Интернете. Это может помочь вам установить время и место съемки, тип камеры и настройки камеры, если таковые не были удалены.
7. InVID & WeVerify — Плагин был разработан для проверки фактов и новостей в социальных сетях, особенно при проверке видео и фотографий.
8. TinEye Reverse Image Search — поисковая система для поиска модифицированных изображений. Ищет не только «неповторимый оригинал», но и все его «жалкие пародии».
9. Search by Image — инструмент обратного поиска изображений с поддержкой различных поисковых систем, таких как Google, Bing, Yandex, Baidu и TinEye.
Мониторинг сайтов
Теперь давайте рассмотрим мониторинг сайтов.
Сохранение скришнотов сайта
Сохранение копий веб-страниц. Казалось бы, ну что может быть проще? А если нужно сделать скриншот всей страницы целиком, а не сохранять копию? Эти расширения вам в этом помогут.
11. FireShot — позволяет быстро сделать скриншот веб-страницы в полноэкранном режиме. Все скриншоты хранятся локально и не генерируют трафик. Более того, FireShot может работать автономно.
12. Nimbus Screenshot & Screen Video Recorder — еще одно расширение для создания скриншотов и видеозаписи веб-страниц.
Просмотр копий сайта
А теперь давайте поговорим о получении различных данных с архивных и не очень копий сайтов. Вы ведь не думали, что только Web Archive занимается подобным?
13. Go Back in Time — это расширение, позволяющее просматривать заархивированную версию веб-страницы. Источниками информации для него являются версии веб-страниц, закешированные поисковыми системами, и служба интернет-архива.
14. Wayback Machine — это расширение «его величества» Интернет-архива. Оно также позволяет просматривать заархивированную версию веб-страницы. Крайне незаменимая вещь в OSINT.
Парсеры данных на веб-страницах
А тут у нас расширения для сбора и систематизации данных, ну или как у нас в русских деревнях любят говорить – «парсеры»
15. Instant Data Scraper — это инструмент для автоматической очистки данных для любого веб-сайта. Он использует искусственный интеллект, чтобы предсказать, какие данные наиболее актуальны на HTML-странице, и позволяет сохранить их в файл Excel или CSV (XLS, XLSX, CSV).
16. Email extract — это расширение для поиска адресов электронной почты на посещаемых вами страницах. Просто и быстро. То, что порой и надо.
17. Hunter — это расширение для поиска адреса электронной почты на любом веб-сайте одним щелчком мыши, ну ладно, может и двумя.
Исследование сайтов
18. OSIRIS — это расширение для анализа репутации IoC. На вход он получает список IP-адресов, которые затем проверяет в таких сервисах, как Virustotal, Malwares, CISCO Talos, X-Force Exchange, AbuseIPDB, MXtoolbox.
19. Sputnik — это расширение для быстрого и удобного поиска IP-адресов, доменов, хэшей файлов и URL-адресов с использованием бесплатных ресурсов. Не путать с печально известным российским поисковиком.
20. IP Address and Domain Information — модуль отображает подробную информацию о текущем веб-сайте. Информация включает данные IP (IPv4 и IPv6): местоположение, DNS, данные whois, маршрутизацию, соседние домены и многое другое. Как и в случае с Hunter – просто и быстро.
Средства личной безопасности
Ну и самое, на мой взгляд, это аддоны для личной безопасности при проведении расследований, да и для повседневной жизни тоже.
21. NoScript — позволяет запускать JavaScript, Flash, Java и другой исполняемый контент только из доверенных доменов по вашему выбору. Кроме того, расширение защищает ваши «границы доверия» от атак межсайтового скриптинга (XSS), повторной привязки DNS между зонами/CSRF-атак (взлом маршрутизатора) и попыток Clickjacking. Работает по принципу белого списка. Сразу после установки будет запрещено ВСЕ и вы сами сможете задать границы доверия для каждого сайта.
23. User-Agent Switcher and Manager — расширение заменяет User-Agent на сайтах, что позволяет подделывать цифровой отпечаток устройства исследователя, притворяясь смартфоном или iPad или вообще веб-камерой.
24. uBlock Origin – наверное, лучшее на сегодняшний день приложение для блокировки рекламы и трекеров в интернете. А для той рекламы, которая увернется от встроенных фильтров расширений, имеется возможность ручного выделения и удаления рекламных баннеров.
Если у Вас есть какие-нибудь интересные на ваш взгляд расширения, то напишите в комментариях. Будет замечательно пополнить инструментарий.
Концепт здесь прост – поскольку мы не можем запретить крупным компаниям собирать данные о нашей активности в интернете, то мы можем, как минимум, эти данные избыточно переобогащать, чтобы системы этих компаний не могли отличить, что мы искали: машины, квартиры, игровые кресла или перфоратор. Это очень важный этический аспект. О том, что такое ADINT и как за нами можно следить через рекламные идентификаторы, мы подробно рассказывали в статье: ЦРУ? ФСБ? Нет мой друг… Маркетологи. ADINT или как за тобой следят через рекламу
Ну вот и все на сегодня. Надеемся, что вы нашли для себя новые расширения для браузера, которые пригодятся вам не только в работе, но и просто в жизни.
Для скачивания с некоторых сайтов, вы можете воспользоваться возможностью ftp-доступа (протокол передачи файлов).
Поиск по сайту
Поиск информации в Интернете
Для поиска информации в обычно используются три способа (См. Рис.1). Первый из них - поиск по адресу. Он применяется, когда пользователю известен адрес информационного ресурса, содержащего необходимую ему информацию. При организации поиска информации по адресу (форма адреса - IP, доменный или URL - в этом случае значения не имеет) пользователю достаточно просто ввести адрес ресурса в соответствующее поле браузера – программы, предназначенной для обеспечения доступа к сетевым ресурсам.
Рис. 1. Способы поиска информации в гипертекстовых базах данных
Второй – поиск с помощью навигации по гиперсвязям. При использовании этого вида поиска случае пользователь сначала должен получить доступ к серверу, связанному с соответствующей БД. После этого можно найти документ, используя гиперссылки. Очевидно, что этот способ удобен, когда адрес ресурса неизвестен пользователю. Для использования в качестве исходной точки для поиска при реализации этого способа предназначены Web-порталы - серверы, предоставляющие прямой доступ к некоторому множеству серверов, включая установленные на них информационные ресурсы, а также Web-приложения, которые реализуют Web-сервисы, соответствующие назначению портала. Доступные через портал серверы могут относиться к определенной системе (например - корпоративной) или различным системам и быть специально подобраны по видовому, тематическому или другим признакам документов и данных, содержащихся на их сайтах. Обычно порталы совмещают в себе разнообразные функции с целью удержать клиента как можно дольше. Доминирующим сервисом портала является сервис справочной службы: поиск, рубрикаторы, финансовые индексы, информация о погоде и т.д. Если Web-сайты в большинстве случаев представляют собой наборы статических Web-страниц, то порталы являются совокупностями программных средств и заранее неструктурированной информации, которую эти средства превращают в структурированные данные по запросу конкретных пользователей.
Третий способ поиска предполагает использование поисковых серверов Интернета. Поисковыми серверами называют выделенные хост - компьютеры, в которых размещаются базы данных ресурсов Интернета. Пользовательский интерфейс такого сервера имеет поле для ввода ключевых слов, описывающих тему, интересующую пользователя (См. Рис. 2).
Рис.2. Вид окна поискового сервера системы Яндекс
Эти слова сервер воспринимает как информационный запрос, в соответствии с которым он осуществляет поиск ресурсов и представляет список найденных документов пользователю. Очевидно, что при реализации этого способа возможны ошибки как 1-го (пропуск цели), так и 2-го рода (информационный шум). Следует упомянуть, что различаются две группы поисковых серверов: поисковые машины и предметные каталоги. Их отличие обусловлено способом создания и последующего пополнения базы данных ресурсов Интернета, которой данный сервер осуществляет информационный поиск. Так, поисковые машины имеют в своем составе специальную программу - поисковый робот. Она осуществляет постоянный мониторинг сети, собирает информацию с Web- страниц, индексирует их и фиксирует их поисковый образ в своей базе данных. В предметных каталогах база данных о документах Интернета формируется «вручную» специалистами-редакторами. Поскольку в Интернете отсутствует единое администрирование, постольку его информационные ресурсы постоянно меняются. В нём могут появляться новые и исчезать существующие документы. Частота обновления информации в документах для разных сайтов различна: для некоторых — это несколько раз в час, для некоторых — раз в сутки, день, месяц и т.д. Поэтому очень важно понимать, что при использовании информационно-поисковых систем для нахождения информации в Интернете, поиск осуществляется не на реальном пространстве документов Сети, а в некоторой модели, содержание которой может значительно отличаться от действительного содержания Интернет в момент проведения поиска. По степени охвата индексируемых ресурсов поисковые системы можно разделить на две группы: международные и русскоязычные. Первые индексируют все опубликованные в Интернете документы подряд. Вторые индексируют ресурсы, расположенные в доменных зонах с преобладанием русского языка. Список наиболее популярных систем приведен в Табл. 1.
Табл. 1. Наиболее популярные поисковые системы
Примечание: Рунет – это русскоязычная часть Интернета, составляющая домены с именами ru и рф.
Необходимо упомянуть, что существует особая категория поисковых серверов – метапоисковые системы. Их принципиальное отличие от поисковых машин и предметных каталогов состоит в том, что у них отсутствует собственная индексная база данных, и поэтому они, получив запрос пользователя, перенаправляют его сразу к нескольким поисковым серверам (См. Рис. 3).
Рис. 3. Схема работы метапоисковой системы
Читайте также: