Pig中的Python UDFs

Question

我看过这部纪录片，但我承认我觉得很缺乏。我想知道是否有人能给我一些例子来说明如何将Python udf合并到Pig中。尤其是

• 在pig0.10之前，boolean类型不存在，但是FILTER操作需要将结果解析为布尔值。如果我没有最新的版本，我是否会永远被诅咒返回1或0并使用{}？在
• Algebraic、Accumulator和{}接口是否无法从Python访问？在
• 我也不能访问分布式缓存吗？在
• 存储/加载功能如何？在

Answer 1

Python的udf非常有限。不能使用代数或累加器接口，也不能用Python编写LoadFunc。对于比映射操作更复杂的操作，您可能需要使用javaudf。在

也就是说，可以在http://ragrawal.wordpress.com/2013/02/24/on-writing-python-udf-for-pig-a-perspective/找到一个更复杂的Python UDF，它具有动态outputSchema。这可能无助于您，但它将使您更好地理解pythonudf的功能。在

Answer 2

这可能无法回答您的大多数特定问题，但是this blog post和链接代码包含了几个在Python中使用Pig的好例子，其中包括存储/加载的用法以及它们与Python的交互。在