Quiero construir un sistema de chat que pueda servir a miles de personas en el mismo canal mientras que aloje varios canales que también puedan albergar la misma cantidad. Conozco los conceptos básicos de la programación del servidor en Java, pero no estoy seguro de qué técnica debo usar para permitir tantas conexiones.

La mayoría depende de los requisitos específicos del proyecto. La escalabilidad en términos de cantidad de nodos es uno si ellos y parece que desea realizar un sistema centralizado, por lo que la lógica del cliente solo presentará datos. En este escenario, sugeriré el protocolo AMQP, una de sus implementaciones es RabbitMQ. AMQP o JMS están destinados a ser utilizados en middleware empresarial y resuelven muchos problemas que puede enfrentar en este escenario, por lo que para una conversación simple, la dificultad y el enfoque inicial pueden generar una gran sobrecarga en términos de trabajo. Si el único enfoque es la escalabilidad de la red, el enfoque básico podría ser una biblioteca como Netty, está desarrollada por JBoss, está escrita en Java y permite a los desarrolladores implementar servidores escalables simples con API única utilizando muchos protocolos. El protocolo utilizado es aproximadamente transparente para el desarrollador. Por ejemplo, desarrollé con algunas líneas de código y con una arquitectura robusta y mantenible un servidor de chat multiprotocolo con protocolos de socket estándar Websocket y TCP, en este caso el cliente puede ser de cualquier tipo.