Добро пожаловать на Форум SoftWeb.ru.
 
Новый год

Нам нужна Ваша поддержка. Сбор средств на оплату дата-центра.

Форум SoftWeb.ru » Интернет » Программирование » Языки программирования » перебор страниц сайта с сохранением

Языки программирования Basic, Pascal, Delphi, C++, C#, PHP, HTML, Perl, JavaScript, Assembler, Python, Java, SQL ...

ОТВЕТИТЬ
Опции темы Опции просмотра Опции просмотра
перебор страниц сайта с сохранением
Старый 27.10.2015, 14:46   #1
 
Аватар для sergeforever
 
Статус: Мл.Сержант
Регистрация: 22.10.2007
Сообщений: 46
СПАСИБО: 7
сказали Спасибо 4 раз(а) в 4 сообщении
По умолчанию перебор страниц сайта с сохранением

Господа,
подскажите плиз в общих чертах, на чем можно реализовать и через что запустить следующий механизм. А дальше я сам попробую)

1. открыть страничку xxx.com/1
2. если она существует (не 404), то сохранить текст страницы (или mht какой-нибудь, а лучше, конечно, сразу в лог перечнем существующих и несуществующих)
3. открыть страничку xxx.com/2 (+1 то есть)
4. гоу ту 2

финальный адрес будет где-то в районе xxx.com/70000


Smoking kills... but beer raises dead.

Последний раз редактировалось sergeforever; 27.10.2015 в 14:56.
sergeforever вне форума   ЦИТИРОВАТЬ
Объявление
Нам нужна Ваша поддержка. Сбор средств на оплату дата-центра.
Старый 24.11.2017, 07:44   #2
 
Статус: Рядовой
Регистрация: 24.11.2017
Сообщений: 3
СПАСИБО: 0
сказали Спасибо 0 раз(а) в 0 сообщении
По умолчанию Re: перебор страниц сайта с сохранением

PHP код:
    $domain 'http://xxx.com';
    
$savedir 'site';
    if (!
file_exists($savedir)) {
        
mkdir($savedir);
    }
    for (
$i 1$i <= 70000$i++) {
        
$headers get_headers($domain '/' $i);
        if (
$headers && strpos($headers[0], '404') === false) {
            
$html file_get_contents($domain '/' $i);
            
file_put_contents($savedir '/' $i '.html'$html);
        }
    } 
Rushked вне форума   ЦИТИРОВАТЬ
Объявление
Нам нужна Ваша поддержка. Сбор средств на оплату дата-центра.
ОТВЕТИТЬ


Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 
Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Быстрый переход


Часовой пояс GMT +3, время: 16:48.

Нам нужна Ваша поддержка. Сбор средств на оплату дата-центра.
Яндекс цитирования