1. 确认自定义域名与API Gateway的绑定是否正确。可以重新绑定或者删除原有绑定再重新绑定。

2. 检查API Gateway中的部署是否正确，确保API发布成功。可以检查是否有任何配置错误或者缺少资源的错误，尤其是在使用Lambda函数时。

3. 检查API Gateway与Lambda函数之间的集成是否正确，确保Lambda函数执行成功，并返回正确的结果。可以使用API Gateway的测试功能进行测试，也可以直接访问Lambda函数的API网关URL进行测试。

下面是一个Lambda函数的示例代码：

import json

def lambda_handler(event, context):
    body = {
        "message": "Hello, World!"
    }
    response = {
        "statusCode": 200,
        "headers": {
            "Content-Type": "application/json"
        },
        "body": json.dumps(body)
    }
    return response

4. 检查自定义域名的DNS是否正确配置。可以使用工具如dig或者nslookup进行DNS解析的测试，以确认使用的DNS服务器是否指向正确的IP地址。

5. 可以通过查看API Gateway的CloudWatch日志来获取更详细的错误信息，以进一步确定错误的根源。