要避免使用StaticFileMiddleware返回304 Not Modified响应的方法是通过配置ResponseCachingMiddleware来实现。下面是一个示例代码：

1. 首先，在Startup.cs文件的ConfigureServices方法中添加以下代码：

public void ConfigureServices(IServiceCollection services)
{
    // 添加Response Caching服务
    services.AddResponseCaching();
    
    // 其他服务的配置...
}

2. 然后，在Startup.cs文件的Configure方法中添加以下代码：

public void Configure(IApplicationBuilder app, IWebHostEnvironment env)
{
    // 其他中间件的配置...

    // 启用Response Caching中间件
    app.UseResponseCaching();

    // 配置StaticFileMiddleware
    app.UseStaticFiles(new StaticFileOptions
    {
        // 禁用ETag生成
        OnPrepareResponse = ctx =>
        {
            ctx.Context.Response.Headers[HeaderNames.ETag] = null;
        }
    });
}

在上面的代码中，我们首先使用services.AddResponseCaching()方法将ResponseCaching服务添加到依赖注入容器中。然后，我们在app.UseResponseCaching()方法中启用Response Caching中间件。最后，我们在app.UseStaticFiles()方法中配置StaticFileMiddleware，并通过OnPrepareResponse委托禁用ETag生成，这样就可以避免返回304 Not Modified响应。

请注意，这个解决方案仅适用于.NET Core 3.1及更高版本。在较旧的版本中，可能需要采用其他方法来避免返回304响应。