¿Cuál es la mejor manera de solicitar una URL pero no seguir los redireccionamientos?

Todo esto depende de lo que esté utilizando para realizar la solicitud http. Una respuesta de redireccionamiento de un servidor contendrá una ubicación : encabezado que le indica al cliente qué solicitar a continuación. Depende de su cliente decidir si hacerlo o no. Telnet con un poco de ayuda del lado del usuario es un simple cliente HTTP que hace un buen trabajo al no seguir los redireccionamientos de forma predeterminada. 🙂 Aquí hay un ejemplo de trabajo donde el servidor devuelve una redirección a https://timeoff.iowa.gov/ y telnet no hace nada en absoluto con ella:

Chris: ~ $ telnet 165.206.254.134 80
Intentando 165.206.254.134 …
Conectado a 165.206.254.134.
El carácter de escape es ‘^]’.
HEAD / HTTP / 1.1 (presione enter después de esta línea)
Anfitrión: timeoff.iowa.gov (y este)

HTTP / 1.1 302 encontrado
Fecha: martes 23 de noviembre de 2010 13:47:15 GMT
Servidor: Apache / 2.2.16 (Unix) mod_ssl / 2.2.16 OpenSSL / 0.9.8k DAV / 2
Ubicación: https://timeoff.iowa.gov/
Variar: aceptar-codificación
Tipo de contenido: texto / html; juego de caracteres = iso-8859-1

Conexion cerrada por anfitrion desconocido.

Si su intención de no seguir los redireccionamientos es monitorear o probar alguna funcionalidad en su aplicación, simplemente escriba un bit de código simple que realice la conexión TCP, envíe la Solicitud (GET | PUT | HEAD, etc.), protocolo (HTTP / 1.0 | 1.1) y los valores de encabezado (cookie, host, etc.) y analiza la respuesta para lo que necesita ver y luego se desconecta.

Entonces, sí, telnet es fácil de usar y todo, pero tal vez no sea tan útil en su programa y tal vez no quiera perder el tiempo abriendo un socket y haciendo todo esto usted mismo. Muchas bibliotecas de cliente http tienen opciones para determinar si siguen o no las redirecciones. Uno seguro que sí es Libcurl. Si el idioma que está utilizando tiene libcurl debajo del capó, es muy probable que pueda indicarle que no siga los redireccionamientos. Estoy seguro de que la mayoría de los demás también.

¡Espero que ayude!