Pode ser nervosismo sim, que desencadeia algumas reações ao medo de algo dar errado, de não saber o que fazer, preocupação com o que a outra pessoa vai pensar sobre sua inexperiência... várias coisas você pode estar pensando e, claro, só você pode dizer se realmente acontece isso.
Isso pode causar um estresse agudo na hora e ativar o que chamam de "reação de luta ou fuga", ou algo parecido. É quando o cérebro estimula o instinto de sobrevivência, para fugirmos ou lutarmos.
Normalmente agt foge mesmo, evita aquela situação.
Se você sente vontade de fazer sexo com a outra pessoa, e na hora perde o interesse então essas coisas podem estar bloqueando sua experiência. Mas também não podemos descartar a possibilidade de que seja a descoberta da assexualidade.
No final das contas só você pode responder, e para isso precisa se conhecer melhor.