Розділ «11. Технології глобальної мережі Інтернет»

Сервіс WWW (World Wide Web - всесвітня павутина) - єдиний інформаційний простір, який складається із сотень мільйонів взаємозв'язаних гіпертекстових електронних документів (Web-сторінок), що зберігаються на Web-серверах. Групи тематично об'єднаних Web-сторінок утворюють Web-вузол (Web-сайт або просто сайт). Для передачі інформації у WWW використовується протокол HTTP. Web-сторінка - це текстовий файл, що містить опис зображення мультимедійного документа на мові гіпертекстової розмітки НТМЬ (Hypertext Markup Language). Сторінка може містити не тільки форматований текст, а й графічні, звукові та відео об'єкти.

Сервіс IRC (Інтернет Relay Chat) забезпечує проведення телеконференцій у режимі реального часу. Переваги: можна анонімно поговорити на цікаву тему або швидко одержати консультацію. На відміну від системи телеконференцій, в якій спілкування між учасниками обговорення теми є відкритим для всього світу, в системі IRC беруть участь, як правило, одночасно лише декілька чоловік. Іноді службу IRC називають чат-конференціями, або просто чатом.

Служба ICQ (вимовляється як "I Seek You", "Я шукаю тебе") призначена для пошуку ІР-адреси людини, комп'ютер якої приєднано в даний момент до мережі Інтернет. Необхідність у подібній послузі пов' язана з тим, що більшість користувачів не мають постійної ІР-адреси, а лише динамічну, що діє протягом одного сеансу.

Сервіс Telnet (віддалений доступ) дає можливість абоненту працювати на будь-якому ПК мережі Інтернет як на своєму власному. Часто використовується режим роботи - доступ до віддаленого сервера бази даних. У минулому цей сервіс також широко використовувався для проведення складних математичних розрахунків на віддалених суперкомп'ютерах.

У наші дні необхідність у подібній послузі скоротилася, але служби Telnet у мережі Інтернет продовжують існувати. Часто протоколи Telnet застосовують для дистанційного керування технічними об'єктами, наприклад, телескопами, відеокамерами, промисловими роботами, тощо.

Для розв'язання проблеми пошуку адрес, інформації або людей в Інтернеті існує ряд пошукових систем. Основу їх складають тематичні каталоги, в яких вся інформація розсортована за темами. При цьому для кожного ресурсу (сторінка, документ, сервер) існує коротка довідка: зміст, посилання на інші ресурси, автор, фірма, і т.п.

11.3. Призначення пошукових роботів

Коли обсяги Інтернет почали перевищувати декілька десятків сайтів, виникла задача пошуку потрібних даних без перегляду всієї наявної інформації. Почалися розробки програм (пошукових роботів), що автоматично переглядають Інтернет: сторінка за сторінкою, йдучи за посиланнями на інші сторінки.

Робот - програмна система, що отримує інформацію з Web-вузлів, використовуючи стандартні протоколи Інтернет

Найперші роботи були створені для підрахунку кількості WWW-серверів, тобто для збирання статистичної інформації. Сучасні роботи можуть також підраховувати інші параметри, наприклад, середню кількість документів на один сервер, пропорцію заданих типів файлів, середній розмір Web-сайту.

Одна з основних проблем підтримки Інтернет виникає, коли не працюють посилання на інші сторінки - у випадку неуважності розробника вузла, чи сторінку було переміщено або знищено. Зазначимо, що на сьогоднішній день не існує автоматичного механізму, який повідомляв би розробників про такі зміни. Відповідно, автори дізнаються про неправильні лінки (посилання) на своїх сторінках, якщо помітять самі, або коли користувачі повідомлять їх по електронній пошті.

Робот, що перевіряє посилання, допомагає розробнику знайти так звані "биті" адреси (посилання на неіснуючі сторінки) і підтримує сайт в робочому стані. Роботи можуть підтримувати як структуру, так і зміст, перевіряючи правильність HTML-коду та регулярність оновлення інформації. Цей вид функціональності є вбудованим у HTML редакторі, але роботи можуть повторювати ці перевірки при кожній модифікації сайту. Детальніше структуру HTML-коду буде розглянуто в третій лекції.

Роботи можуть також забезпечити дзеркальність - популярну техніку для підтримки архівів в сервісі FTP (файлообмінники). Дзеркало містить копію усього дерева каталогів FTP-сайту і регулярно оновлює ті документи, що додаються до оригінального сайту. Це дозволяє зменшити трафік до кожного з вузлів, їх завантаженість та працювати з архівом, якщо доступ до оригінального серверу відсутній.

Трафік - потік інформації в каналі зв'язку. В іншому значенні використовується для показників популярності WEB-сайту -кількість відвідувачів за певний період часу

Існують роботи, що формують дерево каталогів WEB-вузла та записують його локально, проте вони не мають можливості оновлювати ту інформацію, що змінилася - лише можуть записати всі дані з сайту. Необхідність таких засобів зменшилася з появою сучасних серверів, які можуть робити вибіркове оновлення.

Найчастіше роботів використовують для пошуку інформації та ресурсів. Там, де люди не можуть впоратись з величезною кількістю інформації, комп'ютер здійснює сортування та пошук швидко і якісно. Пошукові роботи переглядають дані на серверах і надають доступ до зібраної інформації за допомогою пошукової системи.

Користувач може одночасно використовувати перегляд та пошук для знаходження потрібної інформації. Навіть, якщо зібрана роботом база даних не містить саме ту інформацію, що потрібна, ймовірно в ній знайдуться сторінки з потрібними посиланнями.

Часто роботів використовують комбіновано - для виконання декількох задач. Наприклад, робот для web-вузла Вікіпедії - Інтернет-енциклопедії (uk.wikipedia.org ) в результаті пошуку видає перелік знайдених даних одночасно із зазначенням ступеня відповідності слову-запиту:

Рис.11.4. Ілюстрація дії пошукового робота для web-вузла Вікіпедії

Недоліки використання пошукових роботів. Для якісного функціонування роботів потрібні канали зв'язку (телекомунікаційні канали) із високою пропускною здатністю, оскільки використовують значну частину трафіку.