Demora para começar a amar alguém de verdade?

Somos um casal gay, eu e ele temos apenas a diferença de um ano de idade, assim como também estamos no nosso primeiro namoro, aos 23 e 22 anos, respectivamente. Estamos juntos há cerca de um mês (1 mês e meio) e não sinto tanta empolgação ao vê-lo. Ele é uma excelente pessoa, assim como eu, trabalha e estuda.

Temos uma rotina um tanto agitada o que nos leva a ter encontros apenas aos fins de semana. Atualmente, eu faço dois estágios e mais uma monitoria pela faculdade. No início, vê-lo era algo legal como uma mudança de rotina, mas ultimamente tem me dado um certo alívio estar distante dele. Muitos dos nossos finais de semana, depois de namorar, tem sido um tanto monótono e, como são os meus únicos dias de descanso, eu fico um pouco cansado. Ademais, ele é bastante carinhoso, mas o sexo com ele não me satisfaz: não realiza os meus fetiches e cede pouco em alguns momentos, não que eu não goste de transar com ele, mas sinto que não desfruto de tudo que eu deveria. Eu tenho uma personalidade bastante solitária e independente, ele nota isso e faz algumas pontuações de que eu sou mais antissocial e não gosto de espaços sociais muito cheios.

Enfim, alguns momentos eu me pego pensando e olhando para outros rapazes, lembrando de noites de sexo anteriores e me sinto um tanto culpado. Às vezes, sinto que seria melhor tê-lo como amigo do que como namorado. Faz sentido isso? Sou um babaca?