用NetworkX和PyG玩转空手道俱乐部数据集：从社交网络到节点分类的实战指南-洪萨配资

用NetworkX和PyG玩转空手道俱乐部数据集：从社交网络到节点分类的实战指南

空手道俱乐部数据集（Zachary's karate club network）是图数据分析领域的经典案例，常被用于教学和研究。这个小型社交网络记录了34名俱乐部成员之间的互动关系，以及因内部冲突导致的分裂结果。本文将带你从基础图分析到高级图神经网络建模，完整走通这个经典数据集的实战流程。

1. 理解空手道俱乐部数据集

1977年，Wayne Zachary在研究一个小型空手道俱乐部时，记录了成员之间的社交互动。这个看似简单的数据集却蕴含着丰富的图论特性：

节点：34个俱乐部成员
边：78条无向边，表示成员在俱乐部外的社交关系
分裂事件：管理员与教练发生冲突，导致俱乐部最终分裂为两个群体

有趣的是，Zachary仅基于网络拓扑结构就准确预测了除1人外所有成员最终会加入哪个新俱乐部。这一成果展示了网络结构分析在社交群体行为预测中的强大潜力。

提示：该数据集之所以经典，不仅因为其简洁性，更因为它完美展示了现实世界中社区检测和节点分类的挑战。

2. 使用NetworkX进行基础图分析

NetworkX是Python中最流行的图分析库之一，让我们从基础操作开始：

import networkx as nx import matplotlib.pyplot as plt # 加载数据集 G = nx.karate_club_graph() # 基本图信息 print(f"节点数: {G.number_of_nodes()}") print(f"边数: {G.number_of_edges()}") print(f"平均聚类系数: {nx.average_clustering(G):.2f}")

2.1 可视化社团结构

空手道俱乐部最引人注目的特性是其明显的社区结构。让我们用不同颜色标记最终分裂的两个群体：

# 定义节点颜色（根据最终归属） color_map = [] for node in G: if G.nodes[node]['club'] == 'Mr. Hi': color_map.append('blue') else: color_map.append('red') # 绘制图形 plt.figure(figsize=(10, 8)) nx.draw_spring(G, node_color=color_map, with_labels=True) plt.title("Zachary's Karate Club Network") plt.show()

2.2 关键图指标计算

理解一个社交网络，需要计算几个关键指标：

指标	计算公式	本数据集值	意义
平均最短路径	$\frac{1}{n(n-1)}\sum_{i\neq j}d(i,j)$	2.41	网络紧密程度
直径	$\max d(i,j)$	5	网络最大分离度
平均度	$\frac{1}{n}\sum_i k_i$	4.59	平均连接数
模块度	-	0.44	社区结构强度

计算这些指标的代码：

# 计算网络指标 print(f"平均最短路径: {nx.average_shortest_path_length(G):.2f}") print(f"网络直径: {nx.diameter(G)}") print(f"平均度: {sum(dict(G.degree()).values())/G.number_of_nodes():.2f}")

3. 使用PyG进行图神经网络建模

PyTorch Geometric（PyG）是专门为图神经网络设计的库，让我们看看如何处理同一数据集：

3.1 数据加载与理解

from torch_geometric.datasets import KarateClub dataset = KarateClub() data = dataset[0] print(data)

PyG版本的数据集包含更多信息：

x: 34维节点特征（独热编码）
edge_index: 边索引（156=78×2，因为无向边存储为双向）
y: 节点标签（4个社区）
train_mask: 训练节点标记

3.2 构建GCN模型

下面实现一个简单的图卷积网络（GCN）进行节点分类：

import torch import torch.nn.functional as F from torch_geometric.nn import GCNConv class GCN(torch.nn.Module): def __init__(self): super().__init__() self.conv1 = GCNConv(dataset.num_features, 16) self.conv2 = GCNConv(16, dataset.num_classes) def forward(self, data): x, edge_index = data.x, data.edge_index x = self.conv1(x, edge_index) x = F.relu(x) x = F.dropout(x, training=self.training) x = self.conv2(x, edge_index) return F.log_softmax(x, dim=1)

3.3 训练与评估

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') model = GCN().to(device) data = data.to(device) optimizer = torch.optim.Adam(model.parameters(), lr=0.01) model.train() for epoch in range(200): optimizer.zero_grad() out = model(data) loss = F.nll_loss(out[data.train_mask], data.y[data.train_mask]) loss.backward() optimizer.step() if epoch % 20 == 0: print(f'Epoch: {epoch:03d}, Loss: {loss:.4f}')

4. 两种方法的对比与结合

NetworkX和PyG代表了图数据分析的两个不同层面：

传统图分析 vs 图神经网络

特性	NetworkX	PyG
分析层面	拓扑结构	节点特征+结构
主要技术	图算法	深度学习
输出	统计指标	预测模型
适用场景	小规模网络分析	大规模图学习

在实际项目中，我们通常会结合使用两种方法：

先用NetworkX进行探索性分析，理解数据特性
再用PyG构建预测模型，利用特征和结构信息
最后用NetworkX可视化模型结果，解释预测

5. 进阶技巧与实战建议

5.1 特征工程改进

原始数据使用简单的独热编码，我们可以尝试更有意义的特征：

# 使用节点中心性作为特征 betweenness = nx.betweenness_centrality(G) closeness = nx.closeness_centrality(G) eigenvector = nx.eigenvector_centrality(G) # 构建特征矩阵 import numpy as np features = np.array([list(betweenness.values()), list(closeness.values()), list(eigenvector.values())]).T