数据优先、简易环境搭建与数据预处理
1. 数据本体论与准备工作
当所有组件都正确安装后,你会看到类似的图像,这意味着你已成功查看一个常见的深度学习数据集。在相关文献中,对数据的讨论常涉及数据本体论,比如数据实际是如何分解和使用的,哪些是重要的类别,能否描述类别分布和类型等。随着对这部分科学的深入探索,你会发现还有诸如异常检测和数据平衡等一系列主题。实际上,一开始就碰到平衡的数据集是很难的,通常需要对数据进行预处理。
为了更深入了解其他可能的数据类型或数据使用方式,以下是一些有用的链接:
- Python 数据类型:https://developer.rhino3d.com/guides/rhinopython/python-datatypes/
- TensorFlow 中的数据类型:https://www.tensorflow.org/versions/r1.2/programmers_guide/dims_types
2. 数据预处理
数据预处理是确保数据能轻松被算法摄入的明确过程。在将数据输入算法时,需要保证每个数据点既有用又准确。对于大规模数据集,可以查看宏观指标,如三个标准差之外的异常值;对于小规模数据集,直观检查每个类别或类型的部分训练数据也是一种选择。
以下是数据预处理的具体操作步骤:
1.导入必要的包:
#!/usr/bin/env python import numpy as np import pandas as pd import matplotlib.pyplo