在ASP.NET Core API中，ModelState验证行为的一致性问题通常是由于在不同情况下使用了不同的验证方式导致的。以下是一些可能的解决方法：

1. 使用统一的验证方式：确保在整个应用程序中使用相同的验证方式，例如使用Data Annotations或Fluent Validation库。避免在不同的控制器或操作方法中使用不同的验证方式。

2. 明确指定验证方式：在进行ModelState验证之前，明确指定要使用的验证方式。可以使用ModelState的Clear()方法清除之前的验证结果，然后使用相同的验证方式重新验证。

[HttpPost]
public IActionResult MyAction([FromBody] MyModel model)
{
    // 清除之前的验证结果
    ModelState.Clear();

    // 使用相同的验证方式重新验证
    TryValidateModel(model);

    if (!ModelState.IsValid)
    {
        // 处理验证失败的情况
        return BadRequest(ModelState);
    }

    // 处理验证成功的情况
    // ...
}

3. 自定义验证方式：如果需要在特定情况下使用不同的验证方式，可以创建自定义的验证器，并在需要的地方使用。可以通过实现IActionFilter接口来创建一个自定义的Action过滤器，在请求处理之前进行验证，并将验证结果保存在ModelState中。

public class CustomValidationActionFilter : IActionFilter
{
    public void OnActionExecuting(ActionExecutingContext context)
    {
        // 进行自定义的验证逻辑
        // ...

        if (!valid)
        {
            context.ModelState.AddModelError("propertyName", "Validation error message");
        }
    }

    public void OnActionExecuted(ActionExecutedContext context)
    {
        // 在请求处理完成后进行清理操作，如果需要的话
    }
}

然后，在需要使用该自定义验证方式的控制器或操作方法上，使用CustomValidationActionFilter过滤器标记。

[HttpPost]
[ServiceFilter(typeof(CustomValidationActionFilter))]
public IActionResult MyAction([FromBody] MyModel model)
{
    if (!ModelState.IsValid)
    {
        // 处理验证失败的情况
        return BadRequest(ModelState);
    }

    // 处理验证成功的情况
    // ...
}

通过以上方法，您可以解决ASP.NET Core API中的ModelState验证行为不一致的问题。