为数据/操作/测试工程师提供的非常有用的工具集,专门从事ETL和财务。
LouisTools的Python项目详细描述
数据/操作/测试工程师工具
关于路易斯
路易斯是一位在金融领域工作的数据工程师。一个Python程序员,Linux操作人员,热爱学习和分享。在
关于工具
工具是为以下技术人员设计的:
- 数据工程师(ETL,特别是金融数据和时间序列数据)
- 操作工程师(主要是Linux)
- 测试工程师(unnitest、日志、HTML、电子邮件)
- 数据分析员(数据输入/输出和数据清洗,尤其是金融数据)
- 应用程序开发人员(regex、日志、配置I/O、有用的装饰器)
包中包含了Python3版本的HTMLTestRunner(感谢Wai Yip Tung制作了一个非常好用的Python2包)。在
示例
1:您可以分析包含日期格式化程序的路径字符串:
importLouisToolsasLTfile_path="/data/certain_data/%Y/%m/%Y%m%d.csv"today_str=LT.TODAYtoday_file_path=LT.parse_date_in_str(file_path,today_str)print(today_file_path)# /data/certain_data/2020/06/20200616.csv
2:您可以安全地创建(父)目录:
^{pr2}$3:您可以非常简单快速地创建一个记录器:
importLouisToolsasLTLOGGER=LT.single_lvl_logger("LouisTools")# Only StreamHandler, LouisTools is the log nameLOGGER=LT.single_lvl_logger("LouisTools","/project/log/a_log_file.log")# FileHandler is created saving in "/project/log/a_log_file.log"
4:可以安全快速地与配置文件交互(支持json和ini):
importLouisToolsasLTjson_path="/home/usr/projectL/projectL.json"# A typical json file path in Linuxconfig_content=LT.read_json(json_path,encoding_="utf-8")# You can change encoding_ arg as what you want!assertisinstance(config_content,dict)ini_path=r"C:\Users\A_USER\projectX\projectX.ini"# A typical ini file path in Windowsconfig_content=LT.read_ini(ini_path,encoding_="utf-8-sig")# Windows' gift: a BOM added for freee!assertisinstance(config_content,dict)
5:你可以转储结果而不覆盖可能存在的文件(安全,安全,安全!即使目录不存在也会被检查和创建):
importLouisToolsasLT@LT.dump_without_overwrite(sep="\t",encoding="utf-8",header=True,index=False)defgenerate_df(df,df_path):# You can do something on dfreturndf,df_path
- 项目
标签: