在AWS中，可以使用AWS SDK或AWS CLI通过REST API进行GPU推理。下面是使用AWS SDK for Python（Boto3）进行GPU推理的示例代码。

首先，确保已安装Boto3库。在终端或命令提示符中运行以下命令安装Boto3：

pip install boto3

然后，使用以下代码示例进行GPU推理：

import boto3

# 创建SageMaker客户端
client = boto3.client('sagemaker')

# 设置推理实例参数
endpoint_name = 'your-endpoint-name'
content_type = 'application/json'
accept = 'application/json'
payload = '{"data": [1, 2, 3, 4]}'

# 发起推理请求
response = client.invoke_endpoint(
    EndpointName=endpoint_name,
    ContentType=content_type,
    Accept=accept,
    Body=payload
)

# 获取推理结果
result = response['Body'].read().decode()
print(result)

在上面的代码中，需要将your-endpoint-name替换为您的SageMaker推理端点的名称。payload包含要进行推理的数据。

请注意，此代码示例假设您已经创建了SageMaker推理端点并且已经部署了支持GPU推理的模型。