要解决ASP.NET Core文件验证自定义属性未被触发的问题，可以按照以下步骤进行：

1. 创建自定义文件验证属性类，继承自ValidationAttribute类。例如，创建一个FileSizeAttribute用于验证文件大小的属性。

using System;
using System.ComponentModel.DataAnnotations;
using Microsoft.AspNetCore.Http;

public class FileSizeAttribute : ValidationAttribute
{
    private readonly int _maxSize;

    public FileSizeAttribute(int maxSize)
    {
        _maxSize = maxSize;
    }

    protected override ValidationResult IsValid(object value, ValidationContext validationContext)
    {
        var file = value as IFormFile;

        if (file != null)
        {
            if (file.Length > _maxSize)
            {
                return new ValidationResult($"文件大小不能超过 {_maxSize} 字节。");
            }
        }

        return ValidationResult.Success;
    }
}

2. 在需要验证的模型属性上应用自定义属性。例如，在模型类中添加一个IFormFile类型的属性，并应用FileSizeAttribute。

public class FileUploadModel
{
    [FileSize(1024 * 1024)] // 限制文件大小为1MB
    public IFormFile File { get; set; }
}

3. 在控制器中使用ModelState.IsValid属性来检查模型验证结果。在文件上传的POST操作中，可以使用TryValidateModel方法手动验证模型。

[HttpPost("upload")]
public async Task Upload(FileUploadModel model)
{
    if (!ModelState.IsValid)
    {
        // 模型验证失败
        return BadRequest(ModelState);
    }

    // 处理文件上传逻辑
    // ...

    return Ok();
}

确保以上步骤正确无误后，当文件大小超过限制时，模型验证将自动引发验证错误。您可以从ModelState对象中获取错误信息并进行适当的处理。