¿Qué tan difícil sería crear una aplicación de Android usando solo un editor de texto?

Eso depende de cuán grandes sean tus habilidades en Java. No lo recomendaría si eres menos que un experto en Java, ya que los errores de compilación te darán pesadillas.

Como ejemplo, una vez utilicé Sublime Text para editar una aplicación de Android que ya había creado con Android Studio. Fue solo un par de cambios simples en algunas clases de Actividad. En Sublime Text (o cualquier otro editor de texto plano) no hay finalización de código, ni Linting, ni lectura de documentación en línea, ni importación automática, etc. Calculo que me llevó aproximadamente 3 veces más de lo que me hubiera llevado en Android Studio. Sin embargo, lo hice para evitar que Android Studio bloquee mi sistema al consumir toda la memoria.

No recomiendo crear una aplicación desde cero usando un editor de texto. Al menos querrás generar la estructura de la aplicación usando un IDE. A partir de ahí, puede hacer sus ediciones y luego construir y probar usando la utilidad de línea de comando gradle gradlew.