SergeyGr
07.10.2009, 16:28
Предлагаю Вашему вниманию DLE Grabber (http://anour.ru/upload/grabber.png) написанный на PHP.
DLE порталы очень популярны в рунете, отсюда и актуальность данной темы.
-------------------------------------------------------------------------
Особенности скрипта:
Скрипт полностью автономен и самодостаточен.
Он легко устанавливается, имеет простой интуитивный интерфейс.
Универсальность.
Граббер позволяет получать контент с большинства DLE-сайтов (не используя RSS), а полученный контент
можно использовать на любом сайте, независимо от того, базируется он на популярной CMS или на самописном скрипте.
Гибкость - два режима работы.
>>Классический режим:
В этом режиме дистрибутив граббера копируется в директорию Вашего сайта.
Все что нужно - указать его драйвер.
Полученные новости, после их подтверждения, автоматически размещаются у Вас на сайте.
>>Пакетный режим:
Суть режима заключается в разделении процесса получения новостей от их добавления.
Грабить новости вы можете на своем локальном сервере (для пользователей Windows отлично подойдет набор denwer),
скрипт в этом режиме будет формировать специальные пакеты (.php файлы), которые, впоследствии, копируются на Ваш сайт, где другая копия граббера их обрабатывает.
Преимущества данного режима:
Возможность грабить большое количество статей одновременно, если этого не позволяет делать Ваш хостинг;
Если вы грабите долгое время с одного сайта, рано или поздно, Ваш IP на этом сайте может быть просто забанен,
а если грабить с локального сервера - тут Вам на помощь прокси и/или динамический IP.
Функциональность.
Поддержка авторизаций на сайте-источнике для получения элементов, недоступных гостям;
Возможнсоть получения новостей определенной категории или всех новостей, публекуемых на главной странице;
Возможность ограничения количества одновременных запросов с указанием интервала для паузы;*
Возможность добавления "случайных" дат при размещении новостей на Вашем сайте;
Возможность проверки новости на уникальность перед добавлением;
Возможность поэтапного добавления новостей на Ваш сайт;
Возможность автоматического определения категории новости по её содержимому (с помощью шаблонов);
Возможность автоматического добавления "подписей" в новости, где можно указать сайт, например, сайт-источник или ключевые слова;
Возможность цензурирования новостей;
Возможность "чистки" HTML-кода новости;
Возможность синонимизации текста (в дистрибутив входят две открытые базы синонимов);
Наличие встроенного редактора новостей;
Наличие встроенного онлайн синонимизатора (для проверки баз);
Наличие компонента для поиска по DLE сайтам;
* - На некоторых DLE (да и не только) сайтах стоит анти-спам защита (ограничение количества обращений с одного IP в период времени). Данный скрипт имеет опцию ограничения количества одновременных запросов с указанием интервала для паузы. Что, конечно, увеличивает время граббинга, но все же оставляет его автоматизированным даже на сайтах с анти-спам защитой.
Данная опция также может быть полезна, если на Вашем хостинге отключена стандартная функция снятия ограничения времени выполнения скрипта.
(на большинстве серверов она по понятным причинам как раз отключена). В этом случае, обычно, вылетает ошибка 403 (Forbidden).
Оптимизация.
Работа с граббером максимально нацелена на оптимизацию. Все конфиги расположены в отдельной директории и максимально документированы. По желанию, мы также можем оптимизировать скрипт персонально для Вас.
Надеждый механизм работы.
Весь полученный контент хранится в директориях скрипта и может быть использован при повторном запросе на получение тех же статей.
Это очень полезно, если объем получаемого контента большой, - ведь в этом случае возобновление работы
после любого сбоя не представляет проблем, достаточно заного указать начальную и конечную страницы,
а скрипт сам определит какие из статей уже получены, а какие предстоит сграбить.
Расширяемость.
С граббером поставляется и документация к нему с описанием функций и структуры. Ключевые его элементы подробно закомментированы и
расположены в отдельных библиотеках, что позволит оптимизировать или расширить
функционал скрипта даже начинающему программисту. В граббер, также, встроен простой, но удобный механизм подключения
собственных модулей по обработке контента.
Безопасность.
Граббер имеет встроенный механизм авторизации для ограничения доступа к скрипту.
Данную функцию можно включить и выключить в любой момент.
Выгодные условия.
Стоимость данного скрипта - 25 WMZ. Форма оплаты - WebMoney.
При покупке вы получаете:
Полный дистрибутив скрипта с открытым исходным кодом и документацией;
Драйвера для следующих движков: DLE, IPB, SMF, WordPress, phpBB 3.0.x;
Несколько модулей, включая модуль загрузки новостных картинок на Ваш сайт;
Отсутствие ограничений по времени использования;
Отсутствие привязок (к домену/IP/....);
Бесплатную техническую поддержку по электронной почте и ICQ в течении месяца;
Итого
По любым вопросам вы можете обращаться по ICQ: 494-897-304.
Если Вас заинтересовал граббер, я могу предоставить ссылку на демонстрационную онлайн версию,
где вы можете протестировать его на сайтах, которые Вам интересны. Пишите!
-------------------------------------------------------------------------
DLE порталы очень популярны в рунете, отсюда и актуальность данной темы.
-------------------------------------------------------------------------
Особенности скрипта:
Скрипт полностью автономен и самодостаточен.
Он легко устанавливается, имеет простой интуитивный интерфейс.
Универсальность.
Граббер позволяет получать контент с большинства DLE-сайтов (не используя RSS), а полученный контент
можно использовать на любом сайте, независимо от того, базируется он на популярной CMS или на самописном скрипте.
Гибкость - два режима работы.
>>Классический режим:
В этом режиме дистрибутив граббера копируется в директорию Вашего сайта.
Все что нужно - указать его драйвер.
Полученные новости, после их подтверждения, автоматически размещаются у Вас на сайте.
>>Пакетный режим:
Суть режима заключается в разделении процесса получения новостей от их добавления.
Грабить новости вы можете на своем локальном сервере (для пользователей Windows отлично подойдет набор denwer),
скрипт в этом режиме будет формировать специальные пакеты (.php файлы), которые, впоследствии, копируются на Ваш сайт, где другая копия граббера их обрабатывает.
Преимущества данного режима:
Возможность грабить большое количество статей одновременно, если этого не позволяет делать Ваш хостинг;
Если вы грабите долгое время с одного сайта, рано или поздно, Ваш IP на этом сайте может быть просто забанен,
а если грабить с локального сервера - тут Вам на помощь прокси и/или динамический IP.
Функциональность.
Поддержка авторизаций на сайте-источнике для получения элементов, недоступных гостям;
Возможнсоть получения новостей определенной категории или всех новостей, публекуемых на главной странице;
Возможность ограничения количества одновременных запросов с указанием интервала для паузы;*
Возможность добавления "случайных" дат при размещении новостей на Вашем сайте;
Возможность проверки новости на уникальность перед добавлением;
Возможность поэтапного добавления новостей на Ваш сайт;
Возможность автоматического определения категории новости по её содержимому (с помощью шаблонов);
Возможность автоматического добавления "подписей" в новости, где можно указать сайт, например, сайт-источник или ключевые слова;
Возможность цензурирования новостей;
Возможность "чистки" HTML-кода новости;
Возможность синонимизации текста (в дистрибутив входят две открытые базы синонимов);
Наличие встроенного редактора новостей;
Наличие встроенного онлайн синонимизатора (для проверки баз);
Наличие компонента для поиска по DLE сайтам;
* - На некоторых DLE (да и не только) сайтах стоит анти-спам защита (ограничение количества обращений с одного IP в период времени). Данный скрипт имеет опцию ограничения количества одновременных запросов с указанием интервала для паузы. Что, конечно, увеличивает время граббинга, но все же оставляет его автоматизированным даже на сайтах с анти-спам защитой.
Данная опция также может быть полезна, если на Вашем хостинге отключена стандартная функция снятия ограничения времени выполнения скрипта.
(на большинстве серверов она по понятным причинам как раз отключена). В этом случае, обычно, вылетает ошибка 403 (Forbidden).
Оптимизация.
Работа с граббером максимально нацелена на оптимизацию. Все конфиги расположены в отдельной директории и максимально документированы. По желанию, мы также можем оптимизировать скрипт персонально для Вас.
Надеждый механизм работы.
Весь полученный контент хранится в директориях скрипта и может быть использован при повторном запросе на получение тех же статей.
Это очень полезно, если объем получаемого контента большой, - ведь в этом случае возобновление работы
после любого сбоя не представляет проблем, достаточно заного указать начальную и конечную страницы,
а скрипт сам определит какие из статей уже получены, а какие предстоит сграбить.
Расширяемость.
С граббером поставляется и документация к нему с описанием функций и структуры. Ключевые его элементы подробно закомментированы и
расположены в отдельных библиотеках, что позволит оптимизировать или расширить
функционал скрипта даже начинающему программисту. В граббер, также, встроен простой, но удобный механизм подключения
собственных модулей по обработке контента.
Безопасность.
Граббер имеет встроенный механизм авторизации для ограничения доступа к скрипту.
Данную функцию можно включить и выключить в любой момент.
Выгодные условия.
Стоимость данного скрипта - 25 WMZ. Форма оплаты - WebMoney.
При покупке вы получаете:
Полный дистрибутив скрипта с открытым исходным кодом и документацией;
Драйвера для следующих движков: DLE, IPB, SMF, WordPress, phpBB 3.0.x;
Несколько модулей, включая модуль загрузки новостных картинок на Ваш сайт;
Отсутствие ограничений по времени использования;
Отсутствие привязок (к домену/IP/....);
Бесплатную техническую поддержку по электронной почте и ICQ в течении месяца;
Итого
По любым вопросам вы можете обращаться по ICQ: 494-897-304.
Если Вас заинтересовал граббер, я могу предоставить ссылку на демонстрационную онлайн версию,
где вы можете протестировать его на сайтах, которые Вам интересны. Пишите!
-------------------------------------------------------------------------
