App脚本 - 从Drive上传CSV或XLS文件到BigQuery或电子表格
创始人
2024-09-10 15:30:24
0

您可以使用Google Apps Script来编写一个脚本,将CSV或XLS文件从Google Drive上传到BigQuery或电子表格。以下是一个示例代码,演示了如何完成这个任务:

// 设置BigQuery项目ID和数据集ID
var projectId = 'your-project-id';
var datasetId = 'your-dataset-id';

// 设置电子表格的ID
var spreadsheetId = 'your-spreadsheet-id';

// 在Google Drive上选择CSV或XLS文件并上传到BigQuery或电子表格
function uploadFileToBigQueryOrSpreadsheet() {
  // 弹出对话框以选择文件
  var file = DriveApp.getFileById(FilePicker.getFiles()[0].id);
  
  // 获取文件的数据并解析为二维数组
  var data = parseFileData(file);
  
  // 将数据上传到BigQuery
  uploadDataToBigQuery(data);
  
  // 将数据上传到电子表格
  uploadDataToSpreadsheet(data);
}

// 解析文件数据为二维数组
function parseFileData(file) {
  var data = [];
  var fileId = file.getId();
  
  // 检查文件类型
  if (file.getMimeType() === 'application/vnd.ms-excel') {
    // 如果是XLS文件,则将其转换为Google Sheets文件
    var newFile = Drive.Files.copy({}, fileId, {convert: true});
    fileId = newFile.id;
  }
  
  // 打开文件并读取数据
  var ss = SpreadsheetApp.openById(fileId);
  var sheet = ss.getSheets()[0];
  var range = sheet.getDataRange();
  var values = range.getValues();
  
  // 将数据存储到二维数组中
  for (var i = 0; i < values.length; i++) {
    var row = [];
    for (var j = 0; j < values[i].length; j++) {
      row.push(values[i][j]);
    }
    data.push(row);
  }
  
  return data;
}

// 将数据上传到BigQuery
function uploadDataToBigQuery(data) {
  // 创建BigQuery服务
  var service = BigQuery.Jobs;
  
  // 创建数据表资源
  var resource = {
    configuration: {
      load: {
        destinationTable: {
          projectId: projectId,
          datasetId: datasetId,
          tableId: 'your-table-id'
        },
        sourceFormat: 'CSV',
        sourceUris: ['gs://your-bucket/your-file.csv'],
        autodetect: true,
        writeDisposition: 'WRITE_TRUNCATE'
      }
    }
  };
  
  // 创建BigQuery作业
  var job = service.insert(resource, projectId);
  
  // 等待作业完成
  while (!job.status.errorResult && job.status.state !== 'DONE') {
    Utilities.sleep(1000);
    job = service.get(job.jobReference.projectId, job.jobReference.jobId);
  }
  
  // 检查作业状态
  if (job.status.errorResult) {
    Logger.log('Error uploading data to BigQuery: ' + job.status.errorResult.message);
  } else {
    Logger.log('Data uploaded to BigQuery successfully!');
  }
}

// 将数据上传到电子表格
function uploadDataToSpreadsheet(data) {
  // 打开电子表格并选择第一个工作表
  var ss = SpreadsheetApp.openById(spreadsheetId);
  var sheet = ss.getSheets()[0];
  
  // 清空工作表中的现有数据
  sheet.clear();
  
  // 将数据写入工作表
  for (var i = 0; i < data.length; i++) {
    sheet.appendRow(data[i]);
  }
  
  Logger.log('Data uploaded to spreadsheet successfully!');
}

请注意,在使用此代码之前,您需要先在Google Cloud Console中启用BigQuery API和Google Sheets API,并授予脚本适当的权限。另外,您需要将代码中的"your-project-id"、"your-dataset-id"、"your-spreadsheet-id"和"your-table-id"替换为您自己的项目、数据集、电子表格和表的ID。

请注意,此代码仅仅是一个示例,具体的实现可能因为您的需求而有所不同。您可能需要根据您的具体要求对代码进行修改和调

相关内容

热门资讯

突发!随意玩辅助器视频透视挂!... 突发!随意玩辅助器视频透视挂!果然真的有辅助下载(有挂工具)-哔哩哔哩1、下载好随意玩辅助器视频透视...
截至发稿!微信卡五星辅助器!真... 截至发稿!微信卡五星辅助器!真是真的是有辅助挂(发现有挂)-哔哩哔哩1、截至发稿!微信卡五星辅助器!...
做出回应!衢州都莱破解器!真是... 做出回应!衢州都莱破解器!真是有挂辅助软件(有挂实锤)-哔哩哔哩小薇(辅助器软件下载)致您一封信;亲...
今天下午!八仙游戏辅助!一贯存... 今天下午!八仙游戏辅助!一贯存在有辅助软件(有挂讲解)-哔哩哔哩1、进入到八仙游戏辅助是否有挂之后,...
经调查!道游辅助脚本!确实是真... 经调查!道游辅助脚本!确实是真的辅助脚本(有挂存在)-哔哩哔哩1、全新机制【道游辅助脚本ai辅助工具...
据相关数据显示!陕麻圈黑科技!... 据相关数据显示!陕麻圈黑科技!切实是有辅助软件(有挂详细)-哔哩哔哩1、进入游戏-大厅左侧-新手福利...
不少玩家反映!福州十八扑有外g... 不少玩家反映!福州十八扑有外g挂吗!其实有挂辅助修改器(详细教程)-哔哩哔哩1、完成福州十八扑有外g...
记者获悉!福建兄弟13水辅助!... 记者获悉!福建兄弟13水辅助!总是是真的辅助安装(有挂方式)-哔哩哔哩1、完成福建兄弟13水辅助辅助...
截至目前!天天贵阳app破解版... 截至目前!天天贵阳app破解版!都是真的有辅助插件(有挂解惑)-哔哩哔哩1、实时天天贵阳app破解版...
截至发稿!掌中乐游戏中心云南辅... 截至发稿!掌中乐游戏中心云南辅助!一贯存在有辅助app(有挂规律)-哔哩哔哩掌中乐游戏中心云南辅助是...