Как да изброите всички URL адреси, свързани с уебсайт бързо

Значи имате нужда от списък, съдържащ всички URL адреси за уебсайт? Правите ли някои пренасочвания може би? Достигна лимита за XML Sitemap? Готино, аз също. Имам само инструмента за вас, който ще го направи с приблизително същата скорост като XML Sitemaps, но ще изглеждате доста по-хладно, когато го правите.

Откъде всъщност започва урока

За да получите вашия списък с URL адреси, ще използваме Wget!

Какво е Frigg е Wget?

„Wget е безплатен софтуерен пакет за извличане на файлове чрез HTTP, HTTPS и FTP, най-широко използваните интернет протоколи.“ - Варете ‍Формули

И можете също да го използвате, за да поискате голям списък с URL адреси, свързани с домейн.‍

‍1. Инсталиране на Wget

За да инсталирате Wget, ако още не сте го направили, първо ще трябва да инсталирате HomeBrew; известен още като Brew. ? Brew е мениджър на пакети, което означава, че инсталира софтуер за вас и го управлява. Можете да проверите инструкциите на уебсайта им или просто да следвате тези по-долу.

Инсталирайте Brew

Поставете това в терминална подкана и натиснете Enter два пъти It (Може да ви поиска парола.)

/usr/bin/ruby -e "$(curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"‍

Инсталирайте Wget

След като инсталирате Brew, е време да инсталирате Wget. Поставете това в терминален ред и натиснете Enter ⮐

brew install wget

2. Време е да получите „Dem URLs“

Сега с инсталиран Wget просто изтегляме уебсайта и след това показваме всички негови URL адреси. Започнете, като изтеглите уебсайта, с който искате

Wget -r www.shutterandcode.com

След това, след като изтеглянето приключи, ще изброим URL адресите с

Find www.shutterandcode.com

(Уверете се, че използвате същия домейн на уебсайта като изтегления).

Заключение

След поредица от непринудени тестове, насочващи Wget срещу XML Sitemaps с помощта на по-малки уебсайтове, установих, че и двамата са почти еднакви помежду си. Понякога единият би бил по-бърз от другия, но като цяло и двамата имаха сходна скорост

Ако искате да научите повече за командите на Wget, просто напишете това в подканата

wget --help

Надявам се да ви е харесало да четете това! Не забравяйте да харесате, да коментирате и да се абонирате! ?

ps всъщност не се чувстват задължени да харесват, коментират или да се абонират, защото това е просто шега за YouTubers :)

АКТУАЛИЗАЦИЯ: ако не искате сайтът да се изтегля на вашия компютър, добавете '- spider' след 'wget' като
wget -r --spider www.example.com

Вижте оригиналната публикация и останалите фрагменти! серия при

Затвор и код - Le Blog