Solución:
Para cualquiera que esté usando el creador de GUI de IntelliJ y reciba el mismo error, solucioné el problema configurando manualmente el administrador de diseño del panel en el código en lugar de elegir diferentes administradores de diseño dentro del creador de GUI.
Ejemplo:
questionPane.setLayout(new BoxLayout(questionPane, BoxLayout.PAGE_AXIS));
Presenté el problema como un error en el sitio web de JetBrains y recibí la siguiente respuesta:
Para corregir NPE, agregue un componente secundario a un JPanel con GridLayoutManager con GridConstraints como este:
panel.add(new JLabel(), new GridConstraints(...))
o utilice otro diseño.
Usar GridConstraints me resolvió el problema al igual que usar otro LayoutManager.
Acorté y edité la respuesta para mejorar la legibilidad
Recibí el mismo error que tu. Tengo un JPanel con Layout Manager configurado en GridLayoutManager Intellij. Cuando intenté agregar cualquier componente a este panel, recibí la excepción.
Luego entré en el editor de GUI y cambié a BorderLayout y todo funcionó bien. No estoy seguro de por qué no le está funcionando.