¿Qué pasos debo seguir para desarrollar una aplicación .NET donde los usuarios de la aplicación puedan agregar o eliminar elementos de formulario dinámicamente según la elección?

Esta es la principal documentación que debe leer:

Cómo: Agregar o quitar de una colección de controles en tiempo de ejecución

Esto da un ejemplo más completo que está más en línea con lo que quieres, aunque tiene 9 años. Entonces no sé cuán actual es su metodología:

Agregar controles WPF de forma programática

Aquí hay un video de alguien haciendo lo mismo, de hace 4 años. No hay audio La persona escribe lo que quiere decir en el video y luego lo demuestra.

Editar: el OP me informó que quería saber cómo agregar controles web dinámicamente, no controles de Windows. No estoy seguro de qué marco web se está utilizando, así que supongo que ASP.Net. Aquí hay un artículo sobre cómo hacerlo, aunque agregar nuevos controles utilizando este método requiere un viaje de ida y vuelta al servidor:

Cómo: Agregar controles a una página web ASP.NET mediante programación

Aquí hay un video sobre el tema:

¿Planea permitir que los usuarios modifiquen la configuración en los distintos campos o simplemente eliminarlos?

Si solo está permitiendo que los usuarios los eliminen, puede mostrar las etiquetas de campo con una casilla de verificación para mostrar / ocultar los campos. Almacene los resultados de esta solicitud con un nuevo nombre de formulario para que el formulario original aún esté configurado.

Luego, cuando muestre el nuevo formulario, use esta colección de valores de mostrar / ocultar para mostrar el bloque de campo según lo determinado.