¿Necesito instalar PHP, MySQL y algo como XAMP, si ya tengo un IDE, un webhost y un cliente FTP?

No recomendaría alojar en su máquina. ¿Qué pasa si se va la luz? ¿Cuál es tu HD falla? ¿Qué pasa si muchas otras cosas? El alojamiento web es relativamente barato, hay varios modelos de precios (para el espacio de almacenamiento, el tráfico, los ciclos informáticos, etc.) para elegir: al final, sería mejor. Es decir, a menos que tenga una sala de servidores completa a su disposición 🙂
La mayoría de los servidores web tienen instalado un entorno de servidor Apachie (o similar), PHP 5+ y MySQL, solo verifique con ellos para estar seguro. A menudo, incluso le brindan herramientas como los instaladores comunes de CMS, y algunos han optimizado sus servidores para un CMS específico (como Pantheon para Drupal), es decir, si desea ir con CMS.
El cliente FTP lo conectará al espacio del servidor que le fue asignado y un IDE lo ayudará a escribir su código. A menudo se integran en una aplicación, como Coda.
Todavía instalaría un servidor local para desarrollo y pruebas, ya sea XAMPP o MAMP / WAMP / LAMP. Incluyen MySQL, PHP y PHPMyAdmin en el paquete, por lo que no es necesario instalarlo por separado.
Esto realmente depende de cómo trabajas y qué planeas hacer. Lo que generalmente hago es desarrollar una estructura básica en mi máquina local usando MAMP y luego usar el cliente FTP para cargarlo en el servidor de mi servidor web cuando esté listo para mostrárselo a otras personas.