-O3, c'est le plus optimisé que propose Gentoo. C'est plus lent pour compiler théoriquement (mais sur mon P3 je n'ai pas noté de grandes différences).
Pour la USE, c'est effectivement important : pour xfce, gtk et gtk2 sont indispensables. Sinon ce sera tout moche. Ajoutes également "mp3" pour pouvoir lire les mp3 (c'est récent, avant c'était d'office). Plus d'autres genre "cdr" ou "png", "jpeg", etc.
Un petit "-kde" peut être aussi de bon goût si tu utilise xfce, ainsi que "-qt".
Tu trouveras la liste complète des flags ici :
http://www.gentoo-portage.com/USE
Perso j'ai constitué ma liste comme ceci :
Tous les formats graphiques (jpeg, gif, png, svg, ...)
Les flags liés à mon environnement (gtk, gtk2, gnome, ...)
Retiré ceux de l'environnement concurrent (-kde, -qt, ...)
Les fonctionalités que je voulais (cdr, ...)
Plus d'autres flags divers essentiellement dus à des problèmes rencontrés au préalable.
J'ai aussi laissé ceux par défaut.
Enfin, pour les paquets précompilés, tu pourrais prendre le stage 3, mais je te le déconseille car tu devras de toute façon recompiler pour cause de mise à jour. Le stage 2 (avec quelques paquets précompilés P3) tu conviendras mieux à mon avis.
Par contre je vois pas le rapport avec ton autre linux.