Gravidade, c#

Quando o personagem chega em uma borda, ele simplesmente não cai, ele fica travado sem ir pra baixo, um exemplo é estar em cima de um predio e não conseguir pular, porem se eu deixo a gravidade muito alta, ele cai muito rápido no chão, gostaria que não fosse tão rápido, foce um pouco pra frente (dependendo a velocidade), em vez de cair tão rápido e seco no chão.

Código:

using UnityEngine;

public class Move : MonoBehaviour
{
    private CharacterController controller;
    public float gravidade = 9.81f;
    public float velRotacao = 90f;
    public float velocidade;

    //
    public Transform groundCheck;
    public float groundDistance = 0.4f;
    public LayerMask groundMask;
    bool isGrounded;
    //

    private VariableJoystick joystick;
    Vector3 moveDirecao;
    private float rotacao;

    //JUMP↓↓↓ 
    //JUMP↑↑↑

    void Start()
    {
        controller = GetComponent<CharacterController>();
        joystick = GameObject.Find("Variable Joystick").GetComponent<VariableJoystick>();
    }

    void Update()
    {
        //
        isGrounded = Physics.CheckSphere(groundCheck.position, groundDistance, groundMask);

        if(isGrounded && moveDirecao.y < 0)
        {
            moveDirecao.y = -2f;
        }
        //
        CharacterMove();
    }

    void CharacterMove()
    {
        if (controller.isGrounded)
        {
            if (Mathf.Abs(joystick.Vertical) > 0.05f)
            {
                moveDirecao = Vector3.forward * velocidade;                               
            }
            else
            {
                moveDirecao = Vector3.zero;
            }
        }

        rotacao += joystick.Horizontal * velRotacao * Time.deltaTime;
        transform.eulerAngles = new Vector3(0, rotacao, 0);
        moveDirecao.y -= gravidade * Time.deltaTime;
        moveDirecao = transform.TransformDirection(moveDirecao);
        controller.Move(moveDirecao * Time.deltaTime);
    }

}