要在AWS中使用Serverless Next.js并使用自定义域名，您可以遵循以下步骤：

1. 在AWS控制台中，打开API Gateway服务，并创建一个新的API。选择“REST”类型，并配置API的设置。

2. 在API Gateway中创建一个新的域名，将您的自定义域名与该API关联。按照AWS文档中的说明完成域名设置。

3. 在您的Serverless Next.js项目中，使用AWS SDK和API Gateway服务进行部署。确保您的AWS凭证已正确配置。

4. 在您的Next.js项目的根目录中创建一个serverless.yml文件，并添加以下内容：

service: my-nextjs-app
provider:
  name: aws
  runtime: nodejs14.x
  stage: dev
  region: us-east-1

functions:
  next:
    handler: .next/serverless/pages/index.js
    events:
      - http:
          path: /
          method: get
          integration: lambda-proxy
          cors: true

custom:
  serverlessNext:
    bucketName: my-nextjs-app
    nextConfigPath: next.config.js

在上面的示例中，我们指定了Next.js页面的入口文件和路由配置。确保根据您的项目结构和需求进行适当的更改。

5. 修改您的next.config.js文件，以便为部署提供正确的配置。添加以下内容：

module.exports = {
  target: 'serverless',
  distDir: '.next',
}

这将确保Next.js应用程序被正确编译和部署。

6. 使用以下命令将您的Serverless Next.js应用程序部署到AWS Lambda：

npx serverless

这将使用serverless.yml文件中的配置将应用程序部署到AWS Lambda。

7. 一旦部署完成，您可以使用您的自定义域名访问Serverless Next.js应用程序。

请注意，上述步骤只是一个基本的示例，根据您的项目需求，您可能需要进行更多的配置和调整。阅读AWS文档和Serverless Next.js文档以获取更多详细信息和指导。