fastfilepackage 1.0.24

快速文件包

使用纯python c扩展名编写的模块，用于打开文件和 缓存最近访问的行。 有关用法示例，请参见以下文件：

1. 测试/fastfileperformance.py
2. 测试/fastfiletest.py
3. 测试/getline\u c\u performance.cpp
4. 测试/getline\u cpp_performance.cpp

安装

需要python 3， pip3，distutils，setuptools，wheel和 安装< <代码> C++ 11 编译器：

sudo apt-get install build-essential g++ python3-dev python3 python3-pip
pip3 install setuptools wheel

然后，可以使用以下命令克隆此存储库：

git clone https://github.com/evandrocoan/fastfilepackage
cd fastfilepackage
pip3 install .

或者安装时使用：

pip3 install fastfilepackage

alternive文件读取

有3种可供选择的文件读取实现。 他们两个， 应该有相同的性能。

1. 您可以定义fastfile\u getline=0来使用python builtins.open（）实现（默认值）
可以定义<代码> FASFILIGETGLIN = 1 使用C++ STD：：GETLILE（）实现< /LI>
2. 您可以定义fastfile\u getline=2来使用posix c getline（）实现

用法示例：

1. fastfile\u getline=1 pip3安装。-v
2. fastfile\u getline=1 fastfile\u debug=1 pip3安装。-v

文件读取优化

您可以使用环境变量fastfile_regex=1启用文件读取优化。 不要定义此变量或将其定义为fastfile\u regex=0以禁用优化。

1. fastfile_regex=1将使用C语言内置的regex库regex.h： https://linux.die.net/man/3/regexec
2. fastfile_regex=2将使用pcre2 regex库pcre2.h： http://pcre.org/current/doc/html/pcre2_match.html， 它需要安装带有sudo apt get install libpcre2 dev的libpcre2 dev包
3. fastfile_regex=3将使用re2 regex库re2/re2.h： https://github.com/google/re2/wiki/cplusplusapi， 它需要安装re2库，其中：

   git clone https://github.com/google/re2 re2 &&cd re2 &&
   make &&
   sudo make install &&
   make testinstall
   

4. fastfile_regex=4将使用hyperscan regex库hs.h： https://github.com/intel/hyperscan， 它需要安装带有sudo apt get install libhyperscan dev的libhyperscan dev包

注意：

• 定义变量fastfile_regex仅在设置了fastfile_getline=2时才有效（值为2）。 如果变量fastfile\u getline=2未定义（作为/具有值2）。 任何fastfile\u regex的定义都将被忽略。

调试

您可以使用enable debug mode部分中指定的fastfile\u debug=1变量， 您不需要使用cflags="-o0…"cxxflags="-o0…"/usr/bin/pip3安装来构建程序。因为这些标志已经由 fastfile\u debug=1

如果python出现分段错误， 你需要安装调试符号包， 并将程序编译成模式调试。 这些指令对linux和 CygWin。

sudo apt-get install python3-dbg
apt-cyg install libcrypt-devel python36-devel python36-debuginfo python3-debuginfo python3-cython-debuginfo
CFLAGS="-O0 -g -ggdb -fstack-protector-all" CXXFLAGS="-O0 -g -ggdb -fstack-protector-all" /usr/bin/pip3 install .

cd modulename/source
gdb --args /usr/bin/python3 -m modulename.__init__ -p ../tests/light/
python3 -m pdb -m modulename.__init__ -p ../tests/light/

cd /usr/bin
/usr/bin/python3 -u -m trace -t modulename-script.py -p ../tests/light/

1. https://github.com/spiside/pdb教程
2. https://docs.python.org/3.7/library/pdb.html
3. https://docs.python.org/3.7/library/trace.html
4. https://stackoverflow.com/questions/1629685/when and how to use gccs stack protection feature
5. https://stackoverflow.com/questions/25678978/how to debug python脚本that is crashing python
6. https://stackoverflow.com/questions/46265835/how-to-debug-a-python-module-run-with-python-m-from-the-command-line

如果程序进入死锁（或livelock）状态， 您可以使用gdb来发现或发现正在发生的事情。 为此， 首先，您需要以某种方式获取系统的核心转储文件。 一旦得到核心转储文件， 您可以调用gdb program_name coredump。 现在， 您可以使用gdb命令在现有线程和 为了发现他们中的哪一个在等另一个， 即，它导致死锁或活锁。

1. p/s 0x6ffffdf8ed0在地址上打印或内容，格式为"%s"
2. x/100w 0x6ffffdf8ed0"检查"指定的内存地址
3. 第0帧显示相应的堆栈帧0为bt f（backtrace full）
4. bt f 5显示最后5个堆栈帧以及所有调试符号数据
5. f 0和p varname在frame 0上下文上打印varname
6. https://stackoverflow.com/questions/14659147/如何在gdb中打印指针内容
7. https://stackoverflow.com/questions/14502236/how-to-view-a-pointer-like-an-array-in-gdb

FASTFILE_DEBUG=1 pip install .
FASTFILE_DEBUG=1 pip install -e .

FASTFILE_DEBUG=1 python setup.py install
FASTFILE_DEBUG=1 python setup.py develop

set "FASTFILE_DEBUG=1" && pip install .
set "FASTFILE_DEBUG=1" && pip install -e .
set "FASTFILE_DEBUG=1" && python setup.py install
set "FASTFILE_DEBUG=1" && python setup.py develop

export CYGWIN="$CYGWIN error_start=dumper -d %1 %2"

[New Thread 8980.0x626c]
[New Thread 8980.0x1ba0]
[New Thread 8980.0x2454]
[New Thread 8980.0x3fbc]
warning: the debug information found in "/usr/lib/debug//usr/bin/cygwin1.dbg" does not match "/usr/bin/cygwin1.dll" (CRC mismatch).

[New Thread 8980.0x21c4]