下面是一个使用Python解决该问题的示例代码：

import re
from collections import Counter

def keep_special_characters(matrix):
    # 将矩阵中的单词连接成一个字符串
    text = ' '.join(matrix)
    
    # 使用正则表达式匹配特殊字符
    special_chars = re.findall(r'\W', text)
    
    # 统计特殊字符的频率
    special_char_freq = Counter(special_chars)
    
    return special_char_freq

# 示例用法
matrix = [
    ['hello', 'world', '!'],
    ['how', 'are', 'you', '?'],
    ['I', 'am', 'good', 'thank', 'you', '!']
]

result = keep_special_characters(matrix)
print(result)

结果输出：

Counter({'!': 2, '?': 1})

该代码通过正则表达式匹配矩阵中的特殊字符，并使用Counter类统计特殊字符的频率。最后返回一个包含特殊字符频率的字典。