Upload high-throughput data to GEO

在我们发表高通量测序文章之前通常要上传测序数据到GEO数据库,现总结流程 如下。

注册账户、填写MetaSheet

  • NCBI GEO官网注册一 个账号,然后登陆。

  • 点击Submission Guidelines . 从中查找GEOarchive spreadsheet format,并下载Metadata spreadsheet, 通常是 Download metadata spreadsheet (template and examples) UPDATED! ,官方推荐下载最新版,这儿就提供链接了。

  • 下载完之后填写表格。表格中有2个样例表,可以参考着填写。

    • 表格里面需要的MD5值在Linux下可以使用命令md5sum filename来获取; Windows下可以在网上搜索一个MD5值计算工具,比如http://www.winmd5.com/
  • 数据上传,原始测序的fastq一般采用gzip压缩后上传。

    • 在Linux系统,使用的是lftp上传; Windows可以使用FileZilla.

Linux下lftp上传

为了方便lftp上传,我写了一个bash脚本, 命名为GEO_upload.sh,只需提供FTP服务器的地址、用户名、密码、上传文件所在目录和上传到FTP服务器的目录即可。

GEO_upload.sh -f ftp-private.ncbi.nlm.nih.gov -u geo -p password -t fasp/detination_dir/ -s localdir/

为了简单方便,localdir里面只包含需要上传的文件,包括原始测序文件, 处理后文件和Metadata spreadsheet。


#!/bin/bash

#set -x
set -e
set -u

usage()
{
cat <<EOF >&2
${txtcyn}
Usage:

$0 options${txtrst}

${bldblu}Function${txtrst}:

This script is used to upload files to an FTP server using lftp.

${txtbld}OPTIONS${txtrst}:
	-f	FTP address ${bldred}[NECESSARY]${txtrst}
	-u	User name ${bldred}[NECESSARY]${txtrst}
	-p	Password ${bldred}[NECESSARY]${txtrst}
	-t	Target dir ${bldred}[NECESSARY]${txtrst}
	-s	Source dir ${bldred}[NECESSARY]${txtrst}	
EOF
}

ftp=
user=
passwd=
target=
source_dir=

while getopts "hf:u:p:t:s:" OPTION
do
	case $OPTION in
		h)
			usage
			exit 1
			;;
		f)
			ftp=$OPTARG
			;;
		u)
			user=$OPTARG
			;;
		p)
			passwd=$OPTARG
			;;
		t)
			target=$OPTARG
			;;
		s)
			source_dir=$OPTARG
			;;
		?)
			usage
			exit 1
			;;
	esac
done

if [ -z $ftp ]; then
	usage
	exit 1
fi

cat <<END >lftp.script
open -u ${user},${passwd} ${ftp}
mkdir -p ${target}
cd ${target}
cache size 33554432
set cmd:parallel 10
mput -c ${source_dir}/*
END

lftp -f lftp.script

Filezilla上传

  • 如图所示,填写好登录所需的信息,然后双击进入fasp目录。 Filezilla login

  • 在右侧窗口,点击右键,选择创建目录并进入

  • 将左侧窗口要上传的文件拖动到右侧窗口,开始上传。

  • 在菜单栏的传输对已存在文件的默认操作–选择上传-继续文件传输即可实现断点续传。

  • 设置重连次数: 编辑-设置-最大重试次数 99; 登陆重试延时 200; 超时秒数 20

上传完成后,需要给GEO的管理人员写一封邮件,大体内容如下:

Receiver: geo@ncbi.nlm.nih.gov

Subject: ftp upload

Context:

Dear Sir/Madam, 

Thanks for you kindly host such great public data resource.

I have successfully transferred my data to NCBI-GEO ftp sever. 

Here is the information you may be needed for further processing

1. GEO account username: 我的GEO用户名
2. Names of the directory and files deposited: 文件上传的路径, 对应上
面的fasp/detination_dir/
3. Public release date: 2018-12-31 文件释放时间,一般可以设置的比较远

If there is any format or content problem,  please do not hesitate to
contact me.

Best, 

Name

获取GEO号

待GEO的工作人员审核处理后,你可以在GEO的账户下查看已上次的数据的GEO 号和供Reviewer访问的私人链接用于文章审阅。

Linux下智能上传

另外还可以借助airflow,使得上传更加自动化,具体程序见 GEO_upload.py

CHENTONG
版权声明:本文为博主原创文章,转载请注明出处。
alipay.png WeChatPay.png

CHENTONG

CHENTONG
积微,月不胜日,时不胜月,岁不胜时。凡人好敖慢小事,大事至,然后兴之务之。如是,则常不胜夫敦比于小事者矣!何也?小事之至也数,其悬日也博,其为积也大。大事之至也希,其悬日也浅,其为积也小。故善日者王,善时者霸,补漏者危,大荒者亡!故,王者敬日,霸者敬时,仅存之国危而后戚之。亡国至亡而后知亡,至死而后知死,亡国之祸败,不可胜悔也。霸者之善著也,可以时托也。王者之功名,不可胜日志也。财物货宝以大为重,政教功名者反是,能积微者速成。诗曰:德如毛,民鲜能克举之。此之谓也。

生信宝典文章集锦

### 程序学习心得* [生物信息之程序学习](http://mp.weixin.qq.com/s?__biz=MzI5MTcwNjA4NQ==&mid=2247483927&idx=1&sn=23adf2b9d13400f2081f790e674e...… Continue reading

R统计绘图 - 柱状图

Published on August 12, 2017

R 学习 - 维恩图

Published on August 01, 2017