pyAnVIL 0.0.3

平砧：terra+gen3

gen3和terra的python客户端集成。在

对于需要同时访问terra和gen3平台的python开发人员来说，pyAnVIL是一个集成模块，它使用terra作为IDP（身份提供程序）提供SSO（单点登录），并管理依赖关系的分布，这与处理多个凭据和安装不同，pyAnVIL提供了开发人员友好的体验。在

安装

先决条件：

• 在

  gcloud cli工具已安装并配置gcloud。在

  在
• 在

  Terra和Gen3中提供的Google Id：

  • 一次性帐户链接：
    • 先决条件：在Gen3和Terra中都提供了google帐户。在
    • 登录https://gen3.theanvil.io/
    • 登录https://anvil.terra.bio
    • 在Terra中，导航到您的个人资料
      • 在“IDENTITY&EXTERNAL SERVERS”下，登录到NHGRI AnVIL Data Commons Framework Services，系统应该为您提供一个gen3oauth流。在
      • 注意用于计费的google项目
      在
    在
  在
• 在

  每个实例，terra API设置：

  • 使用google帐户和帐单项目为terra api设置凭据。

      gcloud auth login <google-account>
      gcloud auth application-default set-quota-project <billing-project-id>   
    

    在
  在
• 在

  验证

  ^{pr2}$ 在
• 在

  设置

  pip install pyAnVIL
  

  在

用例

SSO

   from anvil.gen3_auth import Gen3TerraAuth
   from gen3.submission import Gen3Submission

   auth = Gen3TerraAuth()
   gen3_endpoint = "https://gen3.theanvil.io"
   submission_client = Gen3Submission(gen3_endpoint, auth)

sso sequence diagram

API包装

第3代

   query = '{project(first:0) {code,  subjects {submitter_id}, programs {name}  }}'
   results = submission_client.query(query)
   [p['code'] for p in results['data']['project']]
   >>> ['GTEx', '1000Genomes']

地形

   from anvil.terra import FAPI
   FAPI.whoami()
   >>> 'anvil.user@gmail.com'

Terra公用事业公司

   from anvil.terra import get_projects
   projects = get_projects(namespaces=['anvil-datastorage'], project_pattern='AnVIL_CCDG.*')
   [p['workspace']['name'] for p in projects]
   >>> ['AnVIL_CCDG_WashU_CVD_EOCAD_BioMe_WGS',
        'AnVIL_CCDG_Broad_CVD_EOCAD_TaiChi_WGS',
        'AnVIL_CCDG_Broad_AI_IBD_Brant_DS-IBD_WGS', ...]

数据仪表板

notebook example

贡献

• 在

  设置虚拟环境

  python3 -m venv venv
  source venv/bin/activate
  python3 -m pip install -r requirements.txt
  python3 -m pip install -r requirements-dev.txt
  

  在
• 在

  测试gen3授权

  python3 -m pytest --user_email <GMAIL ACCOUNT>  --log-level DEBUG  --gen3_endpoint <GEN3_ENDPOINT>  tests/integration/test_gen3_auth.py
  

  在
• 在

  持续集成

  • 见service account setup

     # see https://github.com/broadinstitute/firecloud-tools/tree/master/scripts/register_service_account
     docker run --rm -it -v "$HOME"/.config:/.config -v /Users/walsbr/client-apis/pyAnVIL/client_secret.json:/svc.json broadinstitute/firecloud-tools python /scripts/register_service_account/register_service_account.py -j /svc.json -e  brian@bwalsh.com
     The service account pyanvil@api-project-807881269549.bwalsh.com.iam.gserviceaccount.com is now registered with FireCloud. You can share workspaces with this address, or use it to call APIs.   
  

  在

分配

• PyPi公司

# refresh from data ingestion tracker spread sheet, update pypi

export TWINE_USERNAME=  #  the username to use for authentication to the repository.
export TWINE_PASSWORD=  # the password to use for authentication to the repository.

rm -r dist/
python3  setup.py data_ingestion_tracker sdist bdist_wheel
twine upload dist/*

• 阅读文档

https://readthedocs.org/projects/pyanvil/

标签：

• 项目

欢迎加入QQ群-->： 979659372

推荐PyPI第三方库

• zencrc

  用于crc32的zencrc命令行工具。

• myhdl_lib

  todo：基于python和myhdl的组件库

• edi-bot

  简约优雅的懒汉

• Tavi

  用于python的超薄mongo对象映射器。

• cfn-macro-common

  cfn宏公共库

• ucivms

  ubuntu持续集成虚拟机工具。

• powermate

  格里芬PowerMate蓝牙控制器库

• data-xra

  普通数据问题的蟒蛇疗法

• ansible-troll

  Ansible角色测试工具

• pytest-resource

  加载资源fixture插件以与pytest一起使用

• Finger-balabolka

  洪水聊天项目。

• pymars

  mars：一个基于张量的大规模数据计算统一框架。

• tensorflow-estimator

  张量流估计器。

• captricity-python-client

  访问captricity api的python客户端

• tx_elections_scrapers

  德克萨斯州选举结果的筹码