Olá, não quero lhe definir ou algo do tipo, mas creio que seria interessante você pesquisar sobre o termo gray-ace, pois tem haver com o que relatou, não só ele mas talvez outros espectros também tenham a ver com você.
Sobre sua pergunta, é algo que já refleti sobre, na minha questão fui me entender assexual a pouco tempo, e pelo que consigo relembrar eu tinha vontade de fazer sexo, mas não era algo que eu colocava como prioridade, e as experiências que eu tive nunca foram significativas, hoje consigo dizer que não senti nada com elas, só que na época eu nem liguei.
Atualmente após me entender um pouco mais, sei que não sinto atração sexual, e dá mesma maneira que você disse, sou indiferente quanto ao sexo pra mim, em experiência recente vi que não é algo que me satisfaz, acabo sentindo um vazio muito grande ao realizar., logo não vejo sentido em querer fazê-lo.
A libido é algo natural do ser humano, alguns tem mais e outros menos, e ela pode variar durante a nossa vida, penso que a questão é o que fazer com essa libido, pois culturalmente o sexo é colocado como a maneira de se externar, só que não funciona com todas as pessoas.
Para concluir, no meu caso reflito que sempre tive pistas e eventos que mostraram essa característica da assexualidade em mim, não sei quanto ao seu caso, como é sua relação de prazer com o ato sexual e experiências, mas é complexo pensar sobre essa questão mesmo kkkk, o que nos resta é apenas começar porque o caminho tende a ser longo mesmo.
Se quiser conversar sobre, só chamar!