在摆弄TensorFlow的时候,我注意到一个相对简单的任务(批处理一些3D加速计数据并取每个历元的总和)的性能相对较差。这是我跑步的精髓,一旦我得到(难以置信的漂亮!)Timeline功能启动:
import numpy as np
import tensorflow as tf
from tensorflow.python.client import timeline
# Some dummy functions to compute "features" from the data
def compute_features( data ):
feature_functions = [
lambda x: test_sum( x, axis = 0 ),
lambda x: test_sum( x, axis = 1 ),
lambda x: test_sum( x, axis = 2 ),
]
return tf.convert_to_tensor( [ f( data ) for f in feature_functions ] )
def test_sum( data, axis = 0 ):
t, v = data
return tf.reduce_sum( v[:, axis] )
# Setup for using Timeline
sess = tf.Session()
run_options = tf.RunOptions( trace_level = tf.RunOptions.FULL_TRACE )
run_metadata = tf.RunMetadata()
# Some magic numbers for our dataset
test_sampling_rate = 5000.0
segment_size = int( 60 * test_sampling_rate )
# Load the dataset
with np.load( 'data.npz' ) as data:
t_raw = data['t']
v_raw = data['v']
# Build the iterator
full_dataset = tf.data.Dataset.from_tensor_slices( (t_raw, v_raw) ).batch( segment_size )
dataset_iterator = full_dataset.make_initializable_iterator()
next_datum = dataset_iterator.get_next()
sess.run( dataset_iterator.initializer )
i = 0
while True:
try:
print( sess.run( compute_features( next_datum ), options = run_options,
run_metadata = run_metadata ) )
# Write Timeline data to a file for analysis later
tl = timeline.Timeline( run_metadata.step_stats )
ctf = tl.generate_chrome_trace_format()
with open( 'timeline_{0}.json'.format( i ), 'w' ) as f:
f.write( ctf )
i += 1
except tf.errors.OutOfRangeError:
break
在Chrome中,我发现在每次迭代中,IteratorGetNext
占用了绝大多数时间:
Screenshot of Chrome displaying the timeline for one iteration
如您所见,计算的“主要”部分被塞进右手边的小圆点中,而这个周期的绝大多数时间都停留在IteratorGetNext
。在
我在想,我是否遗漏了一些显而易见的东西,因为我构建图表的方式会导致性能在这一步中急剧下降。我有点困惑,为什么这个设置表现如此糟糕。在
如果
IteratorGetNext
在时间轴中显示为一个大事件,那么您的模型在输入处理方面会遇到瓶颈。在这种情况下,管道非常简单,但是在将300000个元素复制到一个批处理上是一个瓶颈。通过向数据集定义添加Dataset.prefetch(1)
转换,可以将此副本移出关键路径:有关更多性能建议,请参阅tensorflow.org网站. 在
在一个循环中调用
^{pr2}$compute_features(next_datum)
将导致您的图形随着时间的推移而增长,并且循环速度减慢。将其改写为以下内容将更有效:相关问题 更多 >
编程相关推荐