Sou babaca por não gostar que meu namorado saia com as amigas dele?

Estou em um relacionamento de 4 anos com meu namorado, e atualmente moramos com os pais dele. A rotina dele é muito puxada: trabalha cerca de 10 a 11 horas por dia e ainda pratica bastante esporte. Isso faz com que sobre pouquíssimo tempo para nós dois. Eu saio de casa cedo, antes dele acordar, e ele chega depois de mim. Normalmente, já jantamos com os pais dele (o que dura normalmente uns 30 minutos) e, em seguida, ou ele vai treinar ou continua trabalhando. Sempre falei que isso me incomoda, a gente quase não tem tempo para ficar juntos. Quando conversamos sobre isso, ele diz que trabalho e esporte são prioridades na vida dele. O que me pega é que, mesmo com essa agenda apertada, ele ainda encontra tempo para sair com os amigos do trabalho cerca de uma vez por semana. E aí eu penso: se ele não tem tempo para mim porque prioriza esporte e trabalho, como consegue arrumar tempo para sair com os amigos?

Outra questão é que o ambiente de trabalho dele é majoritariamente feminino: de 15 pessoas, 11 são mulheres. No começo, quando ele entrou, ele não se sentia à vontade para que eu conhecesse as colegas, e eu até entendi, porque era tudo muito recente. Mas agora, não tenho mais vontade de conhecer. Já houve situações que me deixaram desconfortável. Uma vez, em uma viagem a trabalho, duas colegas sugeriram que ele dormisse no mesmo quarto que elas, sendo que havia homens disponíveis e quartos suficientes para evitar isso. Ele só não dormiu com elas porque eu fiquei brava, mas disse que, para ele, não teria problema. Eu senti isso como falta de consideração. Essas mesmas colegas hoje o chamam para assistir séries na casa de uma delas, cerca de uma vez por semana. Elas têm namorado, mas mesmo assim isso me incomoda muito.

No fundo, fico me perguntando: estou sendo controladora e egoísta, pensando só em mim? Ou meu incômodo é legítimo?