Schau Dir mal diese Anleitung an. Immer aktuell und schön erklärt, damit fahre ich bis jetzt sehr gut.
Da steht dabei, welches empfohlen wird und somit ist Deine Frage beantwortet 
Ich hatte ursprünglich ein fertiges Image auf dem Raspi. Allerdings hat sich dann herausgestellt das ich mit dem wohl nicht so glücklich werde und habe in der nächsten Version dann ein Debian Image genommen und dann den ioBroker aufgesetzt.
Auch wenn ich keine GUI brauche war es doch manchmal recht praktisch per Remote auf eine GUI zuzugreifen und dort ein paar Sachen auszuführen. Manches geht über Putty eben nicht so schön.
Ich hatte auch ein fertiges Image mit IOBroker getestet und bin wieder bei der Variante aus der Anleitung gelandet. Da gibts auch ne schöne GUI dazu.
Kein Plan wie das ohne die GUI aussieht und ob die überhaupt läuft, wenn sie nicht benötigt wird. Ich habe recht viel auf dem Pi am Laufen und noch gute 100MB RAM frei. Der Rest läuft auch ohne dass da was klemmt. Ich habe aber auch noch so ziemlich alles was ich für den Betrieb als IOBroker Server nicht brauche deinstalliert, wobei das auch keinen wirklichen Unterschied gemacht hat.
Da soll sich mal einer der Linux Profis zu äußern.
Da meine Raspis ausschließlich Serveraufgaben wahrnehmen, läuft überall Stretch lite (vorher Jessie lite usw.). Konfiguriert werden sie in der Regel per SSH von einem anderen Rechner aus. In ganz seltenen Fällen, z. B. wenn ich etwas in der Netzwerkschnittstellenkonfiguration verbockt habe, kommt eine Tastatur und Bildschirm dran.
Die Serverprogramme, die dort laufen, bringen häufig eine Webschnittstelle mit, z. B. IOBroker oder Domoticz oder Tvheadend (Software-Videorecorder) oder man muss eh Konfigurationsdateien direkt editieren, was ich dann mit nano oder manchmal mit vi mache. Neue Programme (Pakete) werden mit sudo apt install installiert.
Nun zu deiner eigentlichen Frage: Wenn du ein aktuelles System mit GUI installierst, dann wirkt sich das nicht nennenswert auf das Reaktionsverhalten von Serverprogrammen aus.
Das Hochfahren des Systems braucht einen Tick länger. Die grundsätzliche Systemauslastung steigt auch etwas an, weil grafische Oberflächen ständig prüfen müssen, ob sich die Maus bewegt hat, ob irgendwo mit irgendeiner Taste geklickt wurde usw. Davon abgesehen sind die bei Raspbian eingesetzten Windowmanager recht schlanke Programme - weil ohne viel Schnickschnack wie halbtransparente Fenster, Blink- und Blubbereffekte. Systemlasten werden im wesentlichen dann erzeugt, wenn Programme gestartet werden. Natürlich wird dann auch Arbeitsspeicher belegt, der jedoch wieder frei gegeben wird, wenn du das Programm schließt.
Dass ich grundsätzlich auf einen grafischen Desktop beim RPi verzichte, hatte ursprünglich damit zu tun, dass ich ein sehr schnell startendes System für ein Internetradio brauchte (< 9 Sekunden ab Stromzufuhr).
Wenn das Installieren und Konfigurieren von Programmen über die Konsole mit Putty oder SSH für dich in Ordnung ist und wenn der Raspi nicht der Rechner ist, mit dem du deine E-Mails oder Posts für dieses Forum schreibst, dann reichen die Lite-Versionen von Wheezie, Jessie oder Stretch. Hoffe, meine Anmerkungen helfen dir.
Da sind zum einen alternative OS drauf, z. B. RISC OS und du kannst relativ zügig zwischen Ihnen wechseln. Ich ziehe mir die ZIP-Dateien immer direkt aus dem Download-Verzeichnis von raspberrypi.org
Ob du aus dem Noobs ein Lite ziehen kannst, kann ich dir nicht sicher bestätigen. Ich schreibe mir meine SD-Karten immer direkt aus dem Download der entsprechenden Lite-Zip-Datei:
https://downloads.raspberrypi.org/raspbian_latest
Installationsanleitung hier:
https://www.raspberrypi.org/documentation/…mages/README.md
oder zig Mal auf deutschsprachigen Foren z. B. https://forum-raspberrypi.de/forum/
