深度学习理论与实践 习题及答案 第2章

第二章深度学习框架选择题（1）以下选项中，（A）不是深度学习框架。A.LeNetB.PaddlePaddleC.MXNetD.PyTorch（2）Pytorch框架支持的语言有（D）。A.C++B.PythonC.JavaD.以上都支持3、下列关于TensorFlow的描述中，不正确的是A：TensorFlow的计算图中每个节点代表一个操作，如加法、减法等B：TensorFlow的张量是作为非子叶节点出现的（注：不能作为非子叶节点出现）C：基于梯度的机器学习算法会受益于TensorFlow的自动求微分能力D：TensorFlow支持C++和Python程序4、下列关于Pytorch的描述中，正确的是A：Pytorch可以视作加入了GPU支持的NumpyB：Pytorch采用静态的、命令式的编程语言C：Pytorch的网络都是有向无环图的集合，可以直接定义D：Pytorch的底层代买高度工业化，不容易看懂（5）下列深度学习框架中，（B）是国产深度学习框架。A.LeNetB.PaddlePaddleC.PyTorchD.Theano填空题（1）PyTorch通过一种_动态图__技术，可以让用户零延迟地任意改变神经网络的行为。（2）PyTorch的设计遵循tensor→variable→nn.Module三个由低至高的抽象层次，分别代表_多维数组_，自动求导和神经网络，而且三个抽象层次之间紧密联系，可以同时进行修改和操作。3、在TensorFlow的数据流图中，节点表示数学操作，线表示节点间相互联系的多维数据组（张量）。4、计算图中，同级节点的操作彼此独立，可以并行运行，TensorFlow使用这一特性允许用户更快地执行操作。（5）PaddleInference提供原生推理库，_PaddleServing_提供方便的服务端部署，PaddleLite则面向轻量级部署。判断题（1）Pytorch的基本工作流程：所有计算以层的形式表示，网络层所做的事情就是输入数据，然后输出计算结果。（×）2、TensorFlow是一个采用数据流图用于数据计算的开源软件库。√3、TensorFlow中的数据流图可以形成环路。×4、Pytorch通过反向自动求导技术实现了神经网络的零延迟任意改变。√（5）作为灵活性的代价，PyTorch早期版本速度表现不如TensorFlow。（√）问答题（1）PyTorch的基本工作流程是怎样的？以卷积为例，简述这一过程。PyTorch的基本工作流程是：首先定义一个模型，然后通过训练循环进行迭代，每次迭代中，获取一批数据，执行前向传播计算输出，计算损失，执行反向传播更新梯度，最后使用优化器更新模型参数，如此反复直到模型训练完成。以卷积神经网络为例，这包括通过卷积层提取特征，使用激活函数引入非线性，通过池化层降低特征维度，最后通过全连接层进行分类，整个过程是动态的，支持在运行时改变网络结构。（2）请简述PyTorch的数据结构。PyTorch的数据结构主要包括Tensor，它是多维数组的基础数据类型，用于存储数值数据；Variable，它是Tensor的扩展，用于自动微分，已在较新版本的PyTorch中被Tensor替代；以及nn.Module，它是构建神经网络的基类，包含网络层、损失函数等组件，支持模型定义和参数管理。TensorFlow的核心组件包括哪些部分？它们各自负责什么工作？分布式TensorFlow的核心组件包括：分发中心、执行器、内核应用和最底端的设备层/网络层。分发中心从输入的数据流图中剪取子图，将其划分为操作片段并启动执行器。分发中心处理数据流图时会进行预设定的操作优化，包括公共子表达式消去、常量折叠等

。执行器负责图操作在进程和设备中的运行、收发其它执行器的结果。分布式TensorFlow拥有参数器以汇总和更新其它执行器返回的模型参数。执行器在调度本地设备时会选择进行并行计算和GPU加速

。内核应用负责单一的图操作，包括数学计算、数组操作、控制流和状态管理操作。内核应用使用Eigen执行张量的并行计算、cuDNN库等执行GPU加速、gemmlowp执行低数值精度计算，此外用户可以在内核应用中注册注册额外的内核以提升基础操作，例如激励函数和其梯度计算的运行效率

。单进程版本的TensorFlow没有分发中心和执行器，而是使用特殊的会话应用联系本地设备。TensorFlow的C语言API是核心组件和用户代码的分界，其它组件/API均通过C语言API与核心组件进行交互。4、如何理解TensorFlow中的流？TensorFlow中的流是指一个计算图或简单的一个图，图不能形成环路，图中的每一个节点代表一个操作，如加法、减法等。每个操作都会导致新的向量生成。流中的计算图有如下属性：

（1）叶子起点或起始节点始终是张量，这表明操作永远不会出现在图的开头，图中的每一个操作都应该接受一个张量并产生一个新的张量张量不能作为非叶子节点出现，这意味着它们应始终作为输入提供给操作/节点。计算图总是以层次顺序表达复杂的操作：反向遍历时，图形形成子表达式，这些子表达式组合形成最终表达式；正向遍历时，遇到的定点总是成为下一个定点的依赖关系。图中的同级节点操作彼此独立，使得图具有并行执行性。（5）PyTorch、TensorFlow、PaddlePaddle三种深度学习框架，各自有什么优劣？PyTorch：优点是动态图易于