¿Puede una aplicación de Android maliciosa afectar otras aplicaciones o el sistema?

Puede suceder, pero no es tan fácil como en Windows. Existen protecciones, por ejemplo, cada aplicación se ejecuta como un ‘usuario’ separado, por lo que es mucho más difícil acceder a los datos de otras aplicaciones.
Además, el sistema operativo administra el ciclo de vida de la actividad, y las aplicaciones pueden y serán asesinadas cuando salgan de la pantalla. Sin embargo, hay aplicaciones conocidas como “tapjackers” que actuarán solo como una superposición transparente que interceptará todos tus toques, pero aún así debes engañarte para que los inicie (hubo algunas actualizaciones que hicieron que escribir tapjackers fuera mucho más difícil, pero creo que es aun posible).
Si le das permiso de root a la aplicación, entonces puede ejecutar prácticamente cualquier comando, dándole acceso ilimitado al dispositivo.
El hecho de que Android sea de código abierto solo puede hacerlo más seguro, porque hay muchos más desarrolladores que corrigen errores. Use algoritmos criptográficos como analogía: los productos de caja negra nunca se consideraron terriblemente seguros.