下面是一个使用Python实现的简单的Q-learning模型的示例代码，该代码不使用任何外部库。

import numpy as np

# 定义Q-learning模型的参数
num_states = 6  # 状态数量
num_actions = 2  # 动作数量
learning_rate = 0.1  # 学习率
discount_factor = 0.9  # 折扣因子
num_episodes = 1000  # 总的训练回合数

# 初始化Q值表
Q = np.zeros((num_states, num_actions))

# 定义环境的奖励矩阵（R）
R = np.array([
    [-1, -1, -1, -1, 0, -1],
    [-1, -1, -1, 0, -1, 100],
    [-1, -1, -1, 0, -1, -1],
    [-1, 0, 0, -1, 0, -1],
    [0, -1, -1, 0, -1, 100],
    [-1, 0, -1, -1, 0, 100]
])

# 定义Q-learning算法
def q_learning():
    for episode in range(num_episodes):
        # 选择初始状态
        state = np.random.randint(0, num_states)
        
        while state != 5:  # 终止状态为5
            # 选择动作
            action = np.random.choice(np.where(R[state, :] >= 0)[0])
            
            # 更新Q值
            next_state = action
            max_next_action = np.argmax(Q[next_state, :])
            Q[state, action] = (1 - learning_rate) * Q[state, action] + \
                               learning_rate * (R[state, action] + discount_factor * Q[next_state, max_next_action])
            
            state = next_state
        
        if (episode + 1) % 100 == 0:
            print(f"Episode {episode + 1}/{num_episodes} completed")
    
    print("Q-values:")
    print(Q)

# 运行Q-learning算法
q_learning()

这个示例代码是一个简单的迷宫问题，其中有6个状态和2个动作。我们使用Q-learning算法来学习在迷宫中找到终点的最佳路径。在每个训练回合中，我们随机选择一个初始状态，并根据当前状态和选择的动作更新Q值。重复这个过程直到达到终止状态。最终，我们会得到一个Q值表，其中包含了每个状态-动作对的Q值。