Ich halte keine Sprache die irgendwie in sich schlüssig und logisch ist für wirklich schwierig. Jedenfalls nicht, wenn es dir um Grammatik geht. Man kann sich fast überall reindenken. Wobei es durchaus Sprachen gibt, die man nicht flüssig sprechen kann, wie Tolkiens Sindarin. Aber willst du wirklich eine Sprache entwerfen, die sich nicht vernünftig verwenden lässt? Das widerspricht meinen Ansprüchen an Sprache.
Viele Menschen bezeichnen glaube Sprachen dann als schwierig, wenn sie besonders ungewohnt erscheinen. Aber dann bist du mit Finno-Ungrischen Sprachen glaube in der falschen Kategorie. Wobei ich nicht wirklich weiß, was andere schwer finden, ich bin schon immer verwirrt, wenn die Leute denen ich von meiner Grammatik erzähle irgendwas nicht verstehen, weil sie grundsätzlich nie irgendwas an Grammatik verstehen :D Meine Freunde sind ja alles keine Linguisten. Deshalb wirst du sicher immer irgendetwas finden, das irgendwer besonders schwer findet.
Schwierig sind oft komplexe Höflichkeitssysteme. Bzw. sie können Grammatik verkomplizieren - manchmal. Oder Flektion vielleicht, in einigen Varianten. Seltsame Vokalumlautungen oder so was wie Tolkiens extreme Mutationen.