HttpGrep httpgrep.com — это инструмент, встроенный в сценарий Perl, который может помочь вам выполнять поиск grep в Интернете. Его база очень мощная и с очень полными опциями. httpgrep предоставляет вам приложение командной строки, которое вы можете использовать для grep веб-страниц. Он может собирать и обрабатывать данные в формате XML, возвращаемые веб-запросом. HttpGrep можно использовать для анализа структуры веб-сайта. Он может отображать заголовки запроса, заголовки и тело ответа и позволяет вам использовать прокси, чтобы скрыть свою личность. Вы можете увидеть пример команды для получения IP-адреса из Интернета: команда httpgrep -getHTTPIP " HTTP/1.0" команда httpgrep -getHTTPIP " HTTP/1.0" команда httpgrep -getHTTPIP " HTTP/1.0" Я рекомендую поискать больше об инструментах веб-паука, таких как автор. SEO Analyzer — это интеллектуальный SEO-инструмент, который анализирует любой URL-адрес и предоставляет вам исчерпывающий набор SEO-информации. Используйте и сравнивайте свои SEO по различным факторам, чтобы получить наилучшие результаты. Описание SEO-анализатора: SEO Analyzer — это интеллектуальный SEO-инструмент, который анализирует любой URL-адрес и предоставляет вам исчерпывающий набор SEO-информации. Используйте и сравнивайте свои SEO по различным факторам, чтобы получить наилучшие результаты. SEO Compare — это интеллектуальный SEO-инструмент, который сравнивает вашу различную SEO-информацию по нескольким ключевым словам, URL-адресам, сайтам, страницам и странам. Используйте и сравнивайте свои SEO по различным факторам, чтобы получить наилучшие результаты. Описание SEO-сравнения: SEO Compare — это интеллектуальный SEO-инструмент, который сравнивает вашу различную SEO-информацию по нескольким ключевым словам, URL-адресам, сайтам, страницам и странам. Используйте и сравнивайте свои SEO по различным факторам, чтобы получить наилучшие результаты. Сравните числа с красивыми графиками и графиками. JGraphT — очень простая и эффективная графическая среда Java. JGraphT Описание: Сравните числа с красивыми графиками и графиками. JGraphT — очень простая и эффективная графическая среда Java. Полноценная программа для чтения текста на основе цвета, которая может сравнивать различные шрифты. Он также поддерживает языки CJK (китайский, японский и корейский). ШрифтыСравнить Описание: Полноценная программа для чтения текста на основе цвета, которая может сравнивать различные шрифты. Он поддерживает CJK (китайский, японский Получить html-файлы с веб-сайта Проанализируйте html, чтобы получить данные с сайта, такие как идентификатор, мета-заголовок и т. д. Преобразование данных в JSON или XML Обрабатывать прокси на Получить HTML с веб-сайта Простой инструмент командной строки, который может извлекать веб-страницы и получать данные из источника страницы. Изменить проанализированный HTML Измените HTML-код, возвращаемый HttpGrep. Создать RSS-канал Используйте HttpGrep для создания RSS-канала из данных HTML. Установить доморощенный Как установить Хоумбрю 1. Клонируйте этот репозиторий git git клон 2. Измените PATH вашей оболочки для доморощенного компакт-диск доморощенный echo 'export PATH="$PATH":$HOME/Library/bin"' >> ~/.bash_profile echo 'echo "PATH=$PATH"' >> ~/.bash_profile 3. Теперь доступно домашнее пиво. Проверить наличие обновлений заваривать обновление Скрипты Как использовать Выполните следующую команду, чтобы запустить веб-приложение, которое извлекает информацию с веб-сайта. # Установите значения $USERNAME, $PASSWORD и $URL в значения, которые вы хотите использовать экспортировать ИМЯ ПОЛЬЗОВАТЕЛЯ = экспортировать ПАРОЛЬ = URL-адрес экспорта = # проверьте свои учетные данные curl --silent -u $USERNAME:$PASSWORD $URL # получить json-данные curl --silent -u $USERNAME:$PASSWORD $URL | jq -e '.[] | ключи Вы можете получить файл XML с того же веб-сайта с помощью следующей команды. # передать аргумент файла в $URL ./httpgrep.sh -f -u $USERNAME:$PASSWORD $URL Как использовать Как использовать httpgrep для получения структурированного веб-сайта и его анализа ./httpgrep.sh fb6ded4ff2
Related links: