未提供项目说明
keras-bert-ner的Python项目详细描述
Keras Bert Ner公司
使用BiLSTM CRF/BiGRU CRF/IDCNN-CRF模型的Chinese-NER task的Keras解：支持BERT/RoBERTa/ALBERT）。在
更新日志
- 在
2020.02.27重建
在keras_bert_ner的代码并删除一些冗余文件。bert4keras == 0.2.5现在集成为该项目的主要部分。在 - 在
2019.11.14
在bert4keras现在作为一个包使用，因为它的变化不大。^{str1}$albert模型现在只能支持Google的版本。在 - 在
2019.11.04在计算句子精度和进行预测时修复错误结果的错误。在
在 - 在
2019.11.01将
在keras-contrib中的crf_accuracity/crf_loss替换为处理mask标记。在
今后的工作
- 在
迁移到tensorflow 2.0。在
在 - 在
再加上其他的BERTs模型，比如蒸馏甜甜圈，小甜甜圈。在
在
依赖关系
- 烧瓶==1.1.1
- keras==2.3.1
- 数量==1.18.1
- 洛古鲁==0.4.1
- 终端颜色==1.1.0
- 张量流量==1.13.1
- keras_contrib==2.0.8
列车运行阶段
Data Format
[["揭秘趣步骗局，趣步是什么，趣步是怎么赚钱的？趣步公司可靠吗？趣步合法吗？相信是众多小伙伴最关心的话题，今天小编就来给大家揭开趣步这面“丑恶”且神秘的面纱，让小伙伴们看清事情的真相。接下来，我用简单的文字，给大家详细剖析一下趣步公司及趣步app的逻辑到底是什么样>的？3分钟时间...全文：?揭秘趣步骗局，趣步是什么，趣步是怎么赚钱的？趣步公司可靠吗？趣步合法吗？相信是众多小伙伴最关心的话题，今天小编就来给大家揭开趣步这面“丑恶”且神秘的面纱，让小伙伴们看清事情的真相。接下来，我用简单的文字，给大家详细剖析一下趣步公司及趣步app的逻>辑到底是什么样的？3分钟时间...全文：","O O B I O O O B I O O O O B I O O O O O O O B I O O O O O O B I O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B I O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B I O O O B I O O O O O O O O O O O O O O O O O O O O O O O O O O O O B I O O O B I O O O O B I O O O O O O O B I O O O O O O B I O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B I O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B I O O O B I O O O O O O O O O O O O O O O O O O O O O O O O O"],["企业纳税贷额度，全国小微企业都可做！公司张总说：“没想到缴税还能办贷款，本来我们还在为准备纳税证明、银行流水而焦躁，这下好了，3分钟解决我们燃眉之急，这次当第一个吃螃蟹的人可真值得！”至今，产品上线推广两月有余，今天正式介绍一下这款主要满足小微企业生产经营过>程中真实合法的流动资金需求的“纳税贷”产品！一、产品特点1、贷款额度：最高300万2、贷款期限：12个月3、贷款利率：最低月息4厘4、贷款类型：免抵押、免担保、纯信用5、还款方式：后息后本6、申请方式：线上申请，无需提供纸质材料。二，准入条件：1、企业法人，企业主为中国内地公民，年龄18-65周岁之间2、企业生产经营1年以上，企业及企业主信用状况良好3、融资银行总计不超过3家(低风险及小额网贷业务除外）4、纳税等级A、B、C级，纳税总额2万以上，诚信纳税，无欠缴税款想体验“纳税贷”吗？欢迎加西部助贷。我们团队将为你提供全方位、定制化的服务。百万批款，3分钟>完成若你有银行贷款需求，但不符合这个产品的要求，请添加专员的个人微信进行咨询其他产品。我们会根据你的具体条件为你综合策划与优化，匹配申请其他低成本的产品，为您解决资金周转需求，欢迎咨询~西部助贷是伙伴领域资本旗下专业的助贷平台，专注于西部地区贷款研究，主营个人及中小微企业融资贷款金融咨询服务。金融团队秉承全心全意微企业服务的理念服务客户，我们团队服务的客户80%都是慕名而来与老客户转介绍！服务信得过！欢迎您咨询！我是西部助贷，主营个人/中小企业贷款金融服务，如您有贷款需求，欢迎拨打全国统一客服热线40087-90508，随时咨询更多最新信息。也欢迎您把这篇文章转发给身边有需要的朋友。","O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B I I I O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B I I I O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B I I I O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O"],...]
请参见./examples/data/train.txt，数据源：互联网金融新实体发现
Parameters
运行python keras_bert_ner/helper.py train快速浏览。在
Run python keras_bert_ner/helper.py train --help获取更多详细信息。
Some Tips
如果您的预训练语言模型是ALBERT，请记住添加参数-albert。在
如果您想获得最佳的训练结果，则需要为提前停止和降低学习率分配参数（请参阅“列车配置”，并且不要忘记添加参数-best_fit。在
Example
{cd10>中可以看到示例。只需运行bash run_train.sh即可开始训练。在
以下是CNN下游和^{str1}$RNN下游的两个模板：
CNN
PRETRAINED_LM_DIR="/home/liushaoweihua/pretrained_lm/albert_small_chinese"DATA_DIR="../data"OUTPUT_DIR="../models" python run_train.py \ -train_data ${DATA_DIR}/train.txt \ -dev_data ${DATA_DIR}/dev.txt \ -save_path ${OUTPUT_DIR}\ -bert_config ${PRETRAINED_LM_DIR}/albert_config.json \ -bert_checkpoint ${PRETRAINED_LM_DIR}/albert_model.ckpt \ -bert_vocab ${PRETRAINED_LM_DIR}/vocab.txt \ -albert \ -do_eval \ -device_map "0"\ -tag_padding "X"\ -best_fit \ -max_epochs 256\ -early_stop_patience 5\ -reduce_lr_patience 3\ -reduce_lr_factor 0.5 \ -batch_size 64\ -max_len 64\ -learning_rate 5e-6 \ -model_type "cnn"\ -cnn_filters 128\ -cnn_kernel_size 3\ -cnn_blocks 4\ -dropout_rate 0.0 \ -learning_rate 5e-5
RNN
PRETRAINED_LM_DIR="/home/liushaoweihua/pretrained_lm/albert_small_chinese"DATA_DIR="../data"OUTPUT_DIR="../models" python run_train.py \ -train_data ${DATA_DIR}/train.txt \ -dev_data ${DATA_DIR}/dev.txt \ -save_path ${OUTPUT_DIR}\ -bert_config ${PRETRAINED_LM_DIR}/albert_config.json \ -bert_checkpoint ${PRETRAINED_LM_DIR}/albert_model.ckpt \ -bert_vocab ${PRETRAINED_LM_DIR}/vocab.txt \ -albert \ -do_eval \ -device_map "0"\ -tag_padding "X"\ -best_fit \ -max_epochs 256\ -early_stop_patience 5\ -reduce_lr_patience 3\ -reduce_lr_factor 0.5 \ -batch_size 64\ -max_len 64\ -learning_rate 5e-6 \ -model_type "cnn"\ -cell_type "lstm"\ -rnn_units 128\ -rnn_num_hidden_layers 2\ -dropout_rate 0.0 \ -learning_rate 5e-5
Tag/句子的准确性可以在培训阶段看到，并将保存在指定的save_path。
试验阶段
Data Format
["时空周转公众注册，当天秒下时空周转是一款非常靠谱的小额现金快捷贷款平台。时空周转贷款申请到下款全过程都是在手机上完成的。扫一扫，立即申请时空周转app功能1、极速放款:自动审核、极速放款、实时到账;2、流程简单:在线填写资料，芝麻信用授权即可贷款;3、信息安全:数据库加>密技术、保护借款人隐私;4、随借随还:无论何时何地、借款轻松，还款便捷。时空周转app亮点1、闪电借款：纯线上自动化审核，快至30分钟到账!2、额度灵活：单期借款、现金分期，万元额度任你选。3、门槛超低：无门槛、无担保，有身份证即可借款。关注我们，更多口子信息问：有人在时空周>转借款过吗答：时空周转正常情况下2-3小时以内，也有特殊情况。问：时空周转贷款审核需要多少时间，时空周转贷款审核时间多长答：提前还款后，也还是能继续在时空周转借款的。问：时空周转没有还清还可以申请吗？答：时空周转！不需要太多的条件，借款也很快！问：时空周转真的像广告里面说的没有信用卡也能贷款吗答：用过，不是的，时空周转最大的好处就是可以节省分期的手续费问：时空周转好用吗时空周转，使用的人多不多啊答：时空周转它的手续费是比较低的，而且还款压力也比较小的。低于银行七哩八。5万块两年利息才6000多，分期手续费1200左右，算下来在时空周转年息只有7个点。还可以，一般吧，平台不错问：手机QQ里突然多了个时空周转，是什么？有谁知道？答：时空周转一般不会给借款人留的联系人打电话的，打电话主要是为了核实借款人提供的信息是否真实，再次确定借款人是否值得信赖。绝对不会透漏个人隐私","抢红包、做任务、缺销路、缺人脉、推广产品，来这就对了!兼职赚钱+聚集人脉!本篇文章将对两种人群进行分析，一种是不做任何项目，只撸些APP拉新，做做任务赚钱的纯羊毛党，另一种是做项目，带团队的专职网赚者.通过本篇文章，你们会知道这才是你想要的东西.首先讲纯羊毛党:打开此>款APP，我发现，这里真是纯羊毛党的天堂，对于羊毛党，我只介绍这两个功能.1.红包大厅:有做项目的为了推广项目，会发些图方广告，以红包的形式，你只要观看10秒，就能抢到红包，对于羊毛党来说，向来是以量取胜的，而且你若有心，你会发现不少的优质项目.一手资源如图:2.任务大厅:就跟>其它比如蚂蚁，牛帮，众人帮等任务平台一样.这里可以发任务，接任务.价格也不错，最有突出的一个就是有朋友圈任务，简单转发到朋友圈，最低是1元/条，两三块/条的也有.每天光接这些任务，都够你一天几十的了.如图:3.这里要顺便说下我的微信群，大家都知道，每个任务平台收徒弟，徒弟完>成任务，师傅是有奖励的，之前我建立了众人帮，牛帮，余赚网，闲趣赚这几个平台的徒弟群，每天返70%的奖励给大家，得到了很好的效果.大家做任务都很积极，也得到了更多的奖励.现在我又单独建立了全民推的群，因为我发现全民推，在我开通了金牌站长+VIP会员后，我能得到徒弟30%的奖励，>所以，这个数字是非常可观的，为此，请做任务的兄弟们，一定要走我链接，加我微信，进群享高额分红，每天红包雨让你爽翻天.往下拉，加我微信进群.第二种人群:专职网赚带队干项目的为什么一定要来这里呢?请先听下我的故事:最近我手上有不少的好项目，却一直建立不起来一个更大的团队，思前思后，主要是没有找到可以引流的池子.一直到我有天看朋友圈发现有人在推广这个APP，下载之后才发现这里是真正的流量池.好了，我只说到这，干项目的都不是傻子，我只发点图给你们看，其它自己揣摩.第一张，请注意，数字:1.79亿，再看中间广告页的点击率，这上面是不断刷新的这一张，是加粉中心页面，可以把自己微信，群，小程序，公众号，甚至货源发上去综上所述，我觉得全民推这款APP是值得大家下载安装的.点击左下角阅读原文做任务的伙伴们记得加我微信进群享每日70%分红!有钱大家一起赚才是正确的操作方式.跟我干有钱赚点击阅读原文注册往期精彩回顾淘宝评价自动变现小而美的项目全国招收云闪付推广员:18元/单，一单一结手机端POS机-店小友，手机就是POS机，央行支付牌照，用友集团旗下，值得拥有软银支付是什么?有了店小友，我为什么还要推广软银支付?","2019健康行业趋势，住家创业，稳赚不亏",...]
Parameters
运行python keras_bert_ner/helper.py test或python keras_bert_ner/helper.py predict快速浏览。在
(nlp) liushaoweihua@ai-server-8:~/projects/Ner/tools/Keras-Bert-Ner$ python keras_bert_ner/helper.py test usage: helper.py [-h] -test_data TEST_DATA -model_configs MODEL_CONFIGS [-output_path OUTPUT_PATH][-device_map DEVICE_MAP] helper.py: error: the following arguments are required: -test_data, -model_configs
Run python keras_bert_ner/helper.py test --help或{
Example
示例可以在./examples/test_example中看到。只需运行bash run_test.sh即可开始测试。在
部署阶段
Example
示例可以在./examples/deploy_example中看到。只需运行bash run_deploy.sh即可开始部署API。在
然后运行python query.py "时空周转公众注册，当天秒下时空周转是一款非常靠谱的小额现金快捷贷款平台。"以获取实体。在
几种汉语预训练语言模型
BERT
ALBERT
- Google_albert_base
- Google_albert_large
- Google_albert_xlarge
- Google_albert_xxlarge
- Xuliang_albert_xlarge
- Xuliang_albert_large
- Xuliang_albert_base
- Xuliang_albert_base_ext
- Xuliang_albert_small
- Xuliang_albert_tiny
Roberta
参考文献
- 这个存储库的原始架构参考了macanv的工作：BERT-BiLSTM-CRF-NER。在
- keras_bert_ner最重要的部分是指bojone的工作：bert4keras。在
- albert_zh的工作使汉语内质网任务推理时间短、准确度相对较高成为可能。在
- BERT，ALBERT，RoBERTa。在
感谢所有这些精彩的作品！在
- 项目
标签：
欢迎加入QQ群-->： 979659372
