форум web-разработчиков » FDE RSS Grabber » Описание движка » Описание движка rss импорта новостей FDE Grabber
« предыдущая тема следующая тема »
Страниц: [1]
Печать
Автор Тема: Описание движка rss импорта новостей FDE Grabber    (Прочитано 6819 раз)
FD
Владимир
Administrator
Jr. Member
*****
Сообщений: 98


-=ЧуКоТсКиЙ аДмИн=-

7055734
Просмотр профиля WWW
« : Июль 05, 2008, 05:51:22 »

Если вы когда-либо занимались публикацией новостей на своём сайте, то должны понимать, что дело это кропотливое и требует много времени.
Задумайтесь теперь над тем, чтобы больше не заниматься рутинной публикацией, а продвигать сайт! повышать его показатели! и делать многое другое для вашего проекта, на что ранее не хватало времени!
Когда мне говорят что цена слишком высока и это не окупится, то я просто привожу цифры.
Сколько у вас времени уходит на новость? вот возьмём одну стандартную новость! какую-нибудь программу, которую вы хотите выложить.
Вы пойдёте на ближайший варезник (сайт, на котором "всё есть"), скопируете текст, ссылки и адрес картинки.
В среднем на новость уходит около 3-х минут, это не много.
Теперь возьмем сотню таких новостей: 100х3=5 часов, неплохо, да?
Но ведь ваш сайт с одними только новостями не далеко уйдёт!
Добавить его в поисковики, устроить должную пиар компанию - это всё требует больших усилий и много времени!
Я предлагаю вам забыть о том, что такое публикация новостей - пусть этим занимаются другие!
Если у других, хороший новостной, софтверный или музыкальный портал окупает затраты, то что помешает вам?
Занимайтесь пиаром своего сайта! раскручивайте свой проект и получайте деньги от рекламы! проводите конкурсы! заводите новые знакомства среди ваших посетителей! и в конце концов, освободите пять часов своего времени от рутины!
Преимущества моего проекта от других заключается в том, что он работает бесперебойно, а настройку я провожу лично!

Что вы будете иметь после покупки?
- RSS/Atom клиент-граббер, HTML парсер FDE Grabber 3.5 (импорт новостей работает не только с RSS/Atom источников, но и с обычных HTML страниц со списком новостей) 
- помощь в настройке
- синонимайзер, который встроен в ядро системы 
- 300 новостей в день! как? да легко! список сайтов может быть неограниченным! введёте 1000 - получите новости со всей тысячи!

FDE Grabber - это не модуль, а отдельная система, которая устанавливается рядом с вашей CMS.

И так, FDE Grabber:

- это RSS/Atom, а теперь ещё и с обычных HTML списков новостей граббинг кратких и полных новостей, с возможностью выкачки картинок и автоматического запуска из планировщика заданий CRON
- возможность логина на сайт, с которого идёт граббинг (например, для чтения скрытого от гостей текста)
- самая совершенная система настройки шаблонов для парсинга (1 - простая, без регулярных выражений; 2 - с использованием регулярных выражений)
- разнообразные фильтры и замены слов (1 - простые, без регулярных выражений; 2 - с использованием регулярных выражений)
- автоматическое исправление закодированных DLE ссылок
- возможность создания превью для картинок
- возможность наложения на картинки вотермарков
- возможность предварительного тестирования правильности настроек
- встроенный синонимайзер (в комплекте 2 базы: русскоязычная и англоязычная)
- редактирование синонимов и стоп-слов через администраторский интерфейс
- экспорт/импорт настроек граббера
- экспорт/импорт баз синонимайзера
- корректная работа с известными кодировками
- возможность работы через прокси
- ведение лога событий
- поддержка фейковых пользователей и комментариев
- возможность парсить ленты которые работают через FeedBurner
- возможность парсить ленты, получать картинки, сохранять статьи, обходя редиректы
- возможность выкачивания полностью всех новостей с сайта, в случае использования HTML источников (это достигается путём задействования обхода пейджера:
http://site.com/page/{page}/, где {page} будет принимать значения номеров страниц пейджера сайта с указанным интервалом)
- возможность обхода по параметру, в случае использования HTML источников: http://site.com/param/{param}/, где {param} будет принимать указанные значения
- корректная работа с тегом base
- возможность использовать собственные хаки (микропрограммы для обработки контента). На данный момент, в стандартный дистрибутив входит порядка 10 хаков
- отдельная настройка размеров изображений для краткой и полной новости
- возможность не только уменьшать картинки, но и производить операцию обрезки (crop image)
- мультиязычность админки (в данный момент доступны языки: русский, английский; язык сменяется через конфигурационный файл граббера)
- разграничение прав пользователей в админке граббера. Возможность назначать пользователям группу. Возможность создавать новые группы, с указанием прав доступа
- возможность устанавливать лимит публикуемых статей за день
- возможность автоматического клонирования категорий и источников
- возможность автоматического определения категории, к которой относится данная статья на основе обработанных стеммером ключевых слов
- возможность распознавания русских дат
- возможность указания нескольких шаблонов для парсинга через тег логического ИЛИ: {or}
- возможность автоматического переименования получаемых картинок путём транслитерации заголовка статьи для получения псевдо SEF (ЧПУ) адресов
- возможность настройки расположения вотермарка: левый верхний угол/правый верхний угол/левый нижний угол/ правый нижний угол/по центру/случайно из перечисленных вариантов
- возможность указания случайной флуктуации дат публикации статей
- разработка, доработка и поддержка продукта, с учётом пожеланий клиентов, оплативших лицензию
- расширяемость
- ваше удобство и комфорт

Мы позаботились о том, чтобы вы имели возможность ознакомиться с функционалом на шего продукта. Для вас доступно онлайн демо граббера, расположенное по адресу:

http://fdegrabber.demo.fdstar.net/
логин: admin
пароль: 123456

Кроме того, мы открыли блог разработчиков, посвящённый системе импорта новостей FDE Grabber. Благодаря этому, вы сможете ознакомиться с возможностями системы лучше.
Адрес блога: http://fde-grabber.net.ru/
Также, существует официальный сайт, посвящённый нашей системе: http://fde-grabber.ru/

Хотя большинство клиентов используют нашу систему для импорта новостей именно с сайтов, работающих на DLE - было бы неправильно полагать, что граббер способен получать новости только с таких сайтов.

Граббер может получать новости с любых сайтов, вещающих RSS/Atom новости и/или имеющих HTML ленты новостей

Требования к хостингу:
- CRON
- PHP 4 и выше
- библиотеки PHP: iconv, curl, xml, gd

Фактически наш граббер это:
- RSS Grabber
- Atom Grabber
- HTML Grabber
3 в одном  Улыбающийся


Граббер работает с такими движками (CMS, публикует в них полученные новости), как: DLE (Data Life Engine), Strawberry, 2z-project, NG, Wordpress, Joomla, E107, Drupal, Danneo, TYPO3, NetCat, Slaed, FDE *
Если в этом списке не представлен движок вашего сайта, то возможна доработка нашего граббера для работы с ним (бесплатно, при условии, что движок имеет массовое распространение).

* Для каждого движка приобретается отдельная лицензия

Текущую стоимость нашей системы уточняйте на странице http://fdstar.net/fde-grabber.html
При покупке граббера, по вашему желанию, возможна бесплатная установка и первичная настройка.

Способы оплаты: с помощью системы электронных платежей WebMoney (проверить наш аттестат можно здесь: http://passport.webmoney.ru/asp/certview.asp?wmid=424144152559) / банковским переводом на пластиковую карточку / с помощью системы денежных переводов Western Union / Ваш вариант

Для предоставления бесплатной демо версии движка импорта новостей (на вашем сервере должна быть включена поддержка php функции eval) или предоставления доступа к online демо, обращайтесь через форму обратной связи: http://fdstar.net/questions.html или по e-mail: fde-grabber[at-the]fdstar.net; В своём запросе, обязательно, указывайте для работы с какой CMS


Примеры сайтов, которые обновляются нашей системой импорта новостей:

http://warezed.ru/ (полный автомат по крону)
http://newsjournal.biz/ (полный автомат по крону, англоязычная админка граббера)
http://cjtown.ru/ (ручной рерайт полученных статей)

Общие вопросы по грабберу можно задавать через эту форму: http://fdstar.net/questions.html

Обсуждение граббера ведётся здесь: http://fdstar.net.ru/index.php?topic=14.msg16

Для справок: (+380 95) 040-37-33, (+380 652) 612-684

Вас проконсультируют в любой рабочий день, с 9 до 16 часов, по украинскому времени (GMT +02:00); кроме выходных: СБ, ВС, а также официальных праздников
« Последнее редактирование: Апрель 06, 2010, 05:38:33 от FD » Записан

http://fdstar.net/ - Создание сайтов
http://fdstar.com/ - Всё о музыке
http://fdstar.ru/ - Форум электронной музыки
demon
Newbie
*
Сообщений: 1


Просмотр профиля
« Ответ #1 : Сентябрь 20, 2008, 12:16:27 »

возможно ли прикрутить синомайзер к грабингу?так как сейчас яндекс меняет алгоритм индексации и не хотелосьбы чтоб сайт забанили.
Записан
FD
Владимир
Administrator
Jr. Member
*****
Сообщений: 98


-=ЧуКоТсКиЙ аДмИн=-

7055734
Просмотр профиля WWW
« Ответ #2 : Сентябрь 28, 2008, 01:47:13 »

возможно ли прикрутить синомайзер к грабингу?так как сейчас яндекс меняет алгоритм индексации и не хотелосьбы чтоб сайт забанили.

сейчас на подходе 3 версия граббера с встроенным синонимайзером (в отличии от конкурентов, использующих текстовые файлы в качестве базы данных, наш использует базу MySQL), тестирования нашего синонимайзера показали очень высокую скорость его работы (обработка страницы с текстом ~100КБ при базе из 100 000 слов - около 0.7 секунды)
« Последнее редактирование: Сентябрь 28, 2008, 01:57:58 от FD » Записан

http://fdstar.net/ - Создание сайтов
http://fdstar.com/ - Всё о музыке
http://fdstar.ru/ - Форум электронной музыки
Cimus
Гость


Email
« Ответ #3 : Сентябрь 29, 2008, 10:44:47 »

Ну ладно... А отдельно сининимайзер сколько стоит?
Записан
FD
Владимир
Administrator
Jr. Member
*****
Сообщений: 98


-=ЧуКоТсКиЙ аДмИн=-

7055734
Просмотр профиля WWW
« Ответ #4 : Сентябрь 30, 2008, 08:35:16 »

отдельно не продаётся
« Последнее редактирование: Апрель 13, 2009, 11:38:09 от FD » Записан

http://fdstar.net/ - Создание сайтов
http://fdstar.com/ - Всё о музыке
http://fdstar.ru/ - Форум электронной музыки
lexander911
Newbie
*
Сообщений: 1


Просмотр профиля
« Ответ #5 : Август 25, 2009, 11:11:09 »

Такой вопрос- как синонимизирует? На лету, при граббинге новостей, или надо потом каждую новость отдельно прогонять через синонимайзер?
Записан
FD
Владимир
Administrator
Jr. Member
*****
Сообщений: 98


-=ЧуКоТсКиЙ аДмИн=-

7055734
Просмотр профиля WWW
« Ответ #6 : Август 26, 2009, 03:45:59 »

отдельно не нужно, синонимайзер отрабатывает на этапе получения полной статьи, синонимизируя при этом содержимое краткой, полной статьи, и (если отмечено в настройках) заголовка
Записан

http://fdstar.net/ - Создание сайтов
http://fdstar.com/ - Всё о музыке
http://fdstar.ru/ - Форум электронной музыки
 
Страниц: [1]
Печать
« предыдущая тема следующая тема »
Перейти в:  

О компании | Статьи | Направления | Хостинг | Web-дизайн | Web-программирование | Аутсорсинг | SEO оптимизация | FDE Grabber | FDE Parser | FDE CMS (CMS FD Engine) | Вакансии | Работы | Заказать web-разработку | Расценки (цены) на создание web-проектов и сайтов | Задать вопрос | FAQ | Официальный сайт системы импорта новостей FDE Grabber | Блог разработчиков FDE Grabber | Официальный сайт FDE CMS | Форум по web-технологиям