有没有支持在线学习的Python支持向量机库？

Question

我知道有一些库可以让我们在Python代码中使用支持向量机，但我特别想找那些可以在线学习的库，也就是说，不需要一次性把所有数据都给它。

有没有这样的库呢？

Answer 1

虽然那里没有Python的接口，但在http://leon.bottou.org/projects/sgd上描述的算法是以在线的方式进行训练的，而且用比如numpy这样的工具很容易就能重新实现。

Answer 2

我没听说过有这样的东西。不过你真的需要在线学习吗？我用支持向量机（SVM）已经有一段时间了，从来没有遇到过必须使用在线学习的情况。通常我会设定一个训练样本变化的阈值（可能是100个或1000个），然后一次性重新训练所有的样本。

如果你的问题规模大到必须使用在线学习，那你可以看看 vowpal wabbit。

下面是我在看到评论后重新编辑的内容：

Olivier Grisel 建议使用一个 ctypes 包装器来使用 LaSVM。因为我之前不知道 LaSVM，感觉它看起来很不错，我很想在自己的问题上试试 :）。

如果你只能使用 Python 虚拟机（比如嵌入式设备或机器人），我建议你使用投票/平均感知机，它的表现接近 SVM，但实现起来简单，而且默认就是“在线”的。

我刚看到 Elefant 有一些在线 SVM 的代码。

Answer 3

LibSVM 是一个支持向量机（SVM）库，它里面有一个可以用Python编程的接口，这个接口是通过一种叫SWIG的工具实现的。

下面是他们提供的一个示例文件 svm-test.py：

#!/usr/bin/env python

from svm import *

# a three-class problem
labels = [0, 1, 1, 2]
samples = [[0, 0], [0, 1], [1, 0], [1, 1]]
problem = svm_problem(labels, samples);
size = len(samples)

kernels = [LINEAR, POLY, RBF]
kname = ['linear','polynomial','rbf']

param = svm_parameter(C = 10,nr_weight = 2,weight_label = [1,0],weight = [10,1])
for k in kernels:
    param.kernel_type = k;
    model = svm_model(problem,param)
    errors = 0
    for i in range(size):
        prediction = model.predict(samples[i])
        probability = model.predict_probability
        if (labels[i] != prediction):
            errors = errors + 1
    print "##########################################"
    print " kernel %s: error rate = %d / %d" % (kname[param.kernel_type], errors, size)
    print "##########################################"

param = svm_parameter(kernel_type = RBF, C=10)
model = svm_model(problem, param)
print "##########################################"
print " Decision values of predicting %s" % (samples[0])
print "##########################################"

print "Numer of Classes:", model.get_nr_class()
d = model.predict_values(samples[0])
for i in model.get_labels():
    for j in model.get_labels():
        if j>i:
            print "{%d, %d} = %9.5f" % (i, j, d[i,j])

param = svm_parameter(kernel_type = RBF, C=10, probability = 1)
model = svm_model(problem, param)
pred_label, pred_probability = model.predict_probability(samples[1])
print "##########################################"
print " Probability estimate of predicting %s" % (samples[1])
print "##########################################"
print "predicted class: %d" % (pred_label)
for i in model.get_labels():
    print "prob(label=%d) = %f" % (i, pred_probability[i])

print "##########################################"
print " Precomputed kernels"
print "##########################################"
samples = [[1, 0, 0, 0, 0], [2, 0, 1, 0, 1], [3, 0, 0, 1, 1], [4, 0, 1, 1, 2]]
problem = svm_problem(labels, samples);
param = svm_parameter(kernel_type=PRECOMPUTED,C = 10,nr_weight = 2,weight_label = [1,0],weight = [10,1])
model = svm_model(problem, param)
pred_label = model.predict(samples[0])