masscurl
PHP скрипт для массовой проверки url
Скрипт представляет собой интерфейс для curl и позволяет массово собирать и фильтровать информацию о соединениях.
Самое простое применение - сбор HTTP статусов по списку. Удобно применять в сочетании с crunch, например так:
crunch 1 6 0123456789 | sed s/^/http:\\/\\/site.com\\/user\\/account_id\\// | masscurl -m f,ss
Вывод в консоли
http://site.com/user/account_id/0 404
http://site.com/user/account_id/1 404
http://site.com/user/account_id/2 200
http://site.com/user/account_id/3 200
Таким образом можно просканировать набор url на предмет существования.