Będąc u szczytu sławy, Freud lekceważąco odnosił się do Hirschfelda. W roku 1909 pisał w jednym z listów, że berliński lekarz to „uroczy kolega”, ale jego stanowisko w sprawie homoseksualizmu jest całkowicie błędne. Między wierszami można wyczytać aluzję, że pionier seksuologii opowiada dyrdymały, bo sam jest gejem. A co więcej, ma niezbyt szerokie horyzonty. Adresatem tych uwag był Karl Abraham, który rok wcześniej założył w Berlinie pierwsze Towarzystwo Psychoanalityczne. W następnych latach Hirschfeld znalazł się na celowniku zwolenników Freuda.