加拿大天文学数据中心数据传输客户端

cadcetrans的Python项目详细描述


https://img.shields.io/pypi/v/cadcetrans.svg

加拿大天文学数据中心-电子传输

cadc-etrans是一个用于数据和 加拿大天文学数据中心(CADC)的元数据。待归档文件 由cadc-etrans处理的文件将放在以下位置之一 用户指定的源目录的子目录:

  • 新建-用于CADC存档中的新文件。cadc-etrans 如果不是这样,则标记为错误。
  • 已替换-用于预期已在CADC存档中的文件。 cadc-etrans如果文件丢失,则将其标记为错误。
  • 任何-对于在CADC存档中不重要的文件

cadc-etrans可以配置为对文件名执行检查 根据提供的规则检查文件的类型。文件 失败这些检查将移动到被拒绝的子目录并根据 遇到错误的类型。希望用户能解决这些问题 并将文件放回源目录以便重新处理。

通过所有验证的文件将发送到CADC存档。

注意:要确保在尝试传输之前完全接收到文件 它必须在输入目录中花费最少的时间(5分钟) 在处理之前没有被修改/更新。

通过修改 ~/.config/cadc-etrans文件。

用法

cadc-etrans通常与crontab一起使用。下面的示例处理文件 每15分钟一次。

*/15 * * * * cadc-etrans data --cert /home/auser/.ssl/cadcproxy.pem
-c /home/auser/.config/cadc/dao-namecheck.xml sourcedir

cadc-etrans可以将传输日志备份到vospace:

0 11 * * * cadc-etrans status -b --cert /home/auser/.ssl/cadcproxy.pem
sourcedir

Docker用法

避免部署应用程序环境(例如,在 主机),应用程序可以从Docker容器运行。 要构建容器,请下载 https://github.com/opencadc/cadctools/tree/master/cadcetrans/docker目录 自定义配置文件cadc-etrans-confignamecheck.xml和 构建容器:

cd docker
docker build -t cadcetrans .

调用它:

docker run --rm --mount type=bind,source=/tmp/logs,target=/logging
--mount type=bind,source=/tmp/input/,target=/input cadcetrans status

或:

docker run --rm --mount type=bind,source=/tmp/logs,target=/logging
--mount type=bind,source=/tmp/input/,target=/input cadcetrans data

注意需要两个装载:一个是传输日志 记录下来,以便它们在容器外部可用 其中一个用于源目录(source=<>部分是需要自定义的 指向本地主机上的目录。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
maven字段#getGenericType()抛出java。lang.TypeNotPresentException   用java绘制三角形的几何图形   java无法下载主题和发件人地址(rediff)   java如何使代码线程安全   java在尝试转换FileInputStream中的文件时,我遇到了一个FileNotFound异常   java Moxy和Jackson如何将Json映射到Pojo   在foreach循环中使用BufferedWriter生成新行的java问题   java为什么我的测试在单次执行中运行时间小于1秒,而在maven构建中运行时间大于20秒?   java如何显示下载附件的进度条   了解java rmi的良好实践   .net可以将Java portlet嵌入ASP。网页?   循环如何多次执行Java方法?   java如何确保用户输入在给定的有效范围内?   java单元测试定理   java如何在IntelliJ上运行外部构建项目?   JAVA:试图编写一个检查字符串是否为数字的方法。总是返回错误   javahadoop将特定键的所有map方法生成的所有值都发送到一个reduce方法,对吗?   在java中读取和使用文件