blob: 68420d837bf8017a8422ce4e67b6c3c29c59d137 [file] [log] [blame]
.. role:: hidden
:class: hidden-section
torch.nn
===================================
.. automodule:: torch.nn
.. currentmodule:: torch.nn
Parameters
----------
.. autoclass:: Parameter
:members:
Containers
----------------------------------
:hidden:`Module`
~~~~~~~~~~~~~~~~
.. autoclass:: Module
:members:
:hidden:`Sequential`
~~~~~~~~~~~~~~~~~~~~
.. autoclass:: Sequential
:members:
:hidden:`ModuleList`
~~~~~~~~~~~~~~~~~~~~
.. autoclass:: ModuleList
:members:
:hidden:`ModuleDict`
~~~~~~~~~~~~~~~~~~~~
.. autoclass:: ModuleDict
:members:
:hidden:`ParameterList`
~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: ParameterList
:members:
:hidden:`ParameterDict`
~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: ParameterDict
:members:
Convolution layers
----------------------------------
:hidden:`Conv1d`
~~~~~~~~~~~~~~~~
.. autoclass:: Conv1d
:members:
:hidden:`Conv2d`
~~~~~~~~~~~~~~~~
.. autoclass:: Conv2d
:members:
:hidden:`Conv3d`
~~~~~~~~~~~~~~~~
.. autoclass:: Conv3d
:members:
:hidden:`ConvTranspose1d`
~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: ConvTranspose1d
:members:
:hidden:`ConvTranspose2d`
~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: ConvTranspose2d
:members:
:hidden:`ConvTranspose3d`
~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: ConvTranspose3d
:members:
:hidden:`Unfold`
~~~~~~~~~~~~~~~~
.. autoclass:: Unfold
:members:
:hidden:`Fold`
~~~~~~~~~~~~~~
.. autoclass:: Fold
:members:
Pooling layers
----------------------------------
:hidden:`MaxPool1d`
~~~~~~~~~~~~~~~~~~~
.. autoclass:: MaxPool1d
:members:
:hidden:`MaxPool2d`
~~~~~~~~~~~~~~~~~~~
.. autoclass:: MaxPool2d
:members:
:hidden:`MaxPool3d`
~~~~~~~~~~~~~~~~~~~
.. autoclass:: MaxPool3d
:members:
:hidden:`MaxUnpool1d`
~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: MaxUnpool1d
:members:
:hidden:`MaxUnpool2d`
~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: MaxUnpool2d
:members:
:hidden:`MaxUnpool3d`
~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: MaxUnpool3d
:members:
:hidden:`AvgPool1d`
~~~~~~~~~~~~~~~~~~~
.. autoclass:: AvgPool1d
:members:
:hidden:`AvgPool2d`
~~~~~~~~~~~~~~~~~~~
.. autoclass:: AvgPool2d
:members:
:hidden:`AvgPool3d`
~~~~~~~~~~~~~~~~~~~
.. autoclass:: AvgPool3d
:members:
:hidden:`FractionalMaxPool2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: FractionalMaxPool2d
:members:
:hidden:`LPPool1d`
~~~~~~~~~~~~~~~~~~
.. autoclass:: LPPool1d
:members:
:hidden:`LPPool2d`
~~~~~~~~~~~~~~~~~~
.. autoclass:: LPPool2d
:members:
:hidden:`AdaptiveMaxPool1d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: AdaptiveMaxPool1d
:members:
:hidden:`AdaptiveMaxPool2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: AdaptiveMaxPool2d
:members:
:hidden:`AdaptiveMaxPool3d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: AdaptiveMaxPool3d
:members:
:hidden:`AdaptiveAvgPool1d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: AdaptiveAvgPool1d
:members:
:hidden:`AdaptiveAvgPool2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: AdaptiveAvgPool2d
:members:
:hidden:`AdaptiveAvgPool3d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: AdaptiveAvgPool3d
:members:
Padding layers
--------------
:hidden:`ReflectionPad1d`
~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: ReflectionPad1d
:members:
:hidden:`ReflectionPad2d`
~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: ReflectionPad2d
:members:
:hidden:`ReplicationPad1d`
~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: ReplicationPad1d
:members:
:hidden:`ReplicationPad2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: ReplicationPad2d
:members:
:hidden:`ReplicationPad3d`
~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: ReplicationPad3d
:members:
:hidden:`ZeroPad2d`
~~~~~~~~~~~~~~~~~~~
.. autoclass:: ZeroPad2d
:members:
:hidden:`ConstantPad1d`
~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: ConstantPad1d
:members:
:hidden:`ConstantPad2d`
~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: ConstantPad2d
:members:
:hidden:`ConstantPad3d`
~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: ConstantPad3d
:members:
Non-linear activations (weighted sum, nonlinearity)
---------------------------------------------------
:hidden:`ELU`
~~~~~~~~~~~~~
.. autoclass:: ELU
:members:
:hidden:`Hardshrink`
~~~~~~~~~~~~~~~~~~~~
.. autoclass:: Hardshrink
:members:
:hidden:`Hardtanh`
~~~~~~~~~~~~~~~~~~
.. autoclass:: Hardtanh
:members:
:hidden:`LeakyReLU`
~~~~~~~~~~~~~~~~~~~
.. autoclass:: LeakyReLU
:members:
:hidden:`LogSigmoid`
~~~~~~~~~~~~~~~~~~~~
.. autoclass:: LogSigmoid
:members:
:hidden:`PReLU`
~~~~~~~~~~~~~~~
.. autoclass:: PReLU
:members:
:hidden:`ReLU`
~~~~~~~~~~~~~~
.. autoclass:: ReLU
:members:
:hidden:`ReLU6`
~~~~~~~~~~~~~~~
.. autoclass:: ReLU6
:members:
:hidden:`RReLU`
~~~~~~~~~~~~~~~
.. autoclass:: RReLU
:members:
:hidden:`SELU`
~~~~~~~~~~~~~~
.. autoclass:: SELU
:members:
:hidden:`CELU`
~~~~~~~~~~~~~~
.. autoclass:: CELU
:members:
:hidden:`Sigmoid`
~~~~~~~~~~~~~~~~~
.. autoclass:: Sigmoid
:members:
:hidden:`Softplus`
~~~~~~~~~~~~~~~~~~
.. autoclass:: Softplus
:members:
:hidden:`Softshrink`
~~~~~~~~~~~~~~~~~~~~
.. autoclass:: Softshrink
:members:
:hidden:`Softsign`
~~~~~~~~~~~~~~~~~~
.. autoclass:: Softsign
:members:
:hidden:`Tanh`
~~~~~~~~~~~~~~
.. autoclass:: Tanh
:members:
:hidden:`Tanhshrink`
~~~~~~~~~~~~~~~~~~~~
.. autoclass:: Tanhshrink
:members:
:hidden:`Threshold`
~~~~~~~~~~~~~~~~~~~
.. autoclass:: Threshold
:members:
Non-linear activations (other)
------------------------------
:hidden:`Softmin`
~~~~~~~~~~~~~~~~~
.. autoclass:: Softmin
:members:
:hidden:`Softmax`
~~~~~~~~~~~~~~~~~
.. autoclass:: Softmax
:members:
:hidden:`Softmax2d`
~~~~~~~~~~~~~~~~~~~
.. autoclass:: Softmax2d
:members:
:hidden:`LogSoftmax`
~~~~~~~~~~~~~~~~~~~~
.. autoclass:: LogSoftmax
:members:
:hidden:`AdaptiveLogSoftmaxWithLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: AdaptiveLogSoftmaxWithLoss
:members:
Normalization layers
----------------------------------
:hidden:`BatchNorm1d`
~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: BatchNorm1d
:members:
:hidden:`BatchNorm2d`
~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: BatchNorm2d
:members:
:hidden:`BatchNorm3d`
~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: BatchNorm3d
:members:
:hidden:`GroupNorm`
~~~~~~~~~~~~~~~~~~~
.. autoclass:: GroupNorm
:members:
:hidden:`InstanceNorm1d`
~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: InstanceNorm1d
:members:
:hidden:`InstanceNorm2d`
~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: InstanceNorm2d
:members:
:hidden:`InstanceNorm3d`
~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: InstanceNorm3d
:members:
:hidden:`LayerNorm`
~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: LayerNorm
:members:
:hidden:`LocalResponseNorm`
~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: LocalResponseNorm
:members:
Recurrent layers
----------------------------------
:hidden:`RNN`
~~~~~~~~~~~~~
.. autoclass:: RNN
:members:
:hidden:`LSTM`
~~~~~~~~~~~~~~
.. autoclass:: LSTM
:members:
:hidden:`GRU`
~~~~~~~~~~~~~
.. autoclass:: GRU
:members:
:hidden:`RNNCell`
~~~~~~~~~~~~~~~~~
.. autoclass:: RNNCell
:members:
:hidden:`LSTMCell`
~~~~~~~~~~~~~~~~~~
.. autoclass:: LSTMCell
:members:
:hidden:`GRUCell`
~~~~~~~~~~~~~~~~~
.. autoclass:: GRUCell
:members:
Linear layers
----------------------------------
:hidden:`Linear`
~~~~~~~~~~~~~~~~
.. autoclass:: Linear
:members:
:hidden:`Bilinear`
~~~~~~~~~~~~~~~~~~
.. autoclass:: Bilinear
:members:
Dropout layers
----------------------------------
:hidden:`Dropout`
~~~~~~~~~~~~~~~~~
.. autoclass:: Dropout
:members:
:hidden:`Dropout2d`
~~~~~~~~~~~~~~~~~~~
.. autoclass:: Dropout2d
:members:
:hidden:`Dropout3d`
~~~~~~~~~~~~~~~~~~~
.. autoclass:: Dropout3d
:members:
:hidden:`AlphaDropout`
~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: AlphaDropout
:members:
Sparse layers
----------------------------------
:hidden:`Embedding`
~~~~~~~~~~~~~~~~~~~
.. autoclass:: Embedding
:members:
:hidden:`EmbeddingBag`
~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: EmbeddingBag
:members:
Distance functions
----------------------------------
:hidden:`CosineSimilarity`
~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: CosineSimilarity
:members:
:hidden:`PairwiseDistance`
~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: PairwiseDistance
:members:
Loss functions
----------------------------------
:hidden:`L1Loss`
~~~~~~~~~~~~~~~~
.. autoclass:: L1Loss
:members:
:hidden:`MSELoss`
~~~~~~~~~~~~~~~~~
.. autoclass:: MSELoss
:members:
:hidden:`CrossEntropyLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: CrossEntropyLoss
:members:
:hidden:`CTCLoss`
~~~~~~~~~~~~~~~~~
.. autoclass:: CTCLoss
:members:
:hidden:`NLLLoss`
~~~~~~~~~~~~~~~~~
.. autoclass:: NLLLoss
:members:
:hidden:`PoissonNLLLoss`
~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: PoissonNLLLoss
:members:
:hidden:`KLDivLoss`
~~~~~~~~~~~~~~~~~~~
.. autoclass:: KLDivLoss
:members:
:hidden:`BCELoss`
~~~~~~~~~~~~~~~~~~~
.. autoclass:: BCELoss
:members:
:hidden:`BCEWithLogitsLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: BCEWithLogitsLoss
:members:
:hidden:`MarginRankingLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: MarginRankingLoss
:members:
:hidden:`HingeEmbeddingLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: HingeEmbeddingLoss
:members:
:hidden:`MultiLabelMarginLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: MultiLabelMarginLoss
:members:
:hidden:`SmoothL1Loss`
~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: SmoothL1Loss
:members:
:hidden:`SoftMarginLoss`
~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: SoftMarginLoss
:members:
:hidden:`MultiLabelSoftMarginLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: MultiLabelSoftMarginLoss
:members:
:hidden:`CosineEmbeddingLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: CosineEmbeddingLoss
:members:
:hidden:`MultiMarginLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: MultiMarginLoss
:members:
:hidden:`TripletMarginLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: TripletMarginLoss
:members:
Vision layers
----------------
:hidden:`PixelShuffle`
~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: PixelShuffle
:members:
:hidden:`Upsample`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: Upsample
:members:
:hidden:`UpsamplingNearest2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: UpsamplingNearest2d
:members:
:hidden:`UpsamplingBilinear2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: UpsamplingBilinear2d
:members:
DataParallel layers (multi-GPU, distributed)
--------------------------------------------
:hidden:`DataParallel`
~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: DataParallel
:members:
:hidden:`DistributedDataParallel`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autoclass:: torch.nn.parallel.DistributedDataParallel
:members:
Utilities
---------
:hidden:`clip_grad_norm_`
~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: torch.nn.utils.clip_grad_norm_
:hidden:`clip_grad_value_`
~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: torch.nn.utils.clip_grad_value_
:hidden:`parameters_to_vector`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: torch.nn.utils.parameters_to_vector
:hidden:`vector_to_parameters`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: torch.nn.utils.vector_to_parameters
:hidden:`weight_norm`
~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: torch.nn.utils.weight_norm
:hidden:`remove_weight_norm`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: torch.nn.utils.remove_weight_norm
:hidden:`spectral_norm`
~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: torch.nn.utils.spectral_norm
:hidden:`remove_spectral_norm`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: torch.nn.utils.remove_spectral_norm
.. currentmodule:: torch.nn.utils.rnn
:hidden:`PackedSequence`
~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: torch.nn.utils.rnn.PackedSequence
:hidden:`pack_padded_sequence`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: torch.nn.utils.rnn.pack_padded_sequence
:hidden:`pad_packed_sequence`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: torch.nn.utils.rnn.pad_packed_sequence
:hidden:`pad_sequence`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: torch.nn.utils.rnn.pad_sequence
:hidden:`pack_sequence`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: torch.nn.utils.rnn.pack_sequence
torch.nn.functional
===================
.. currentmodule:: torch.nn.functional
Convolution functions
----------------------------------
:hidden:`conv1d`
~~~~~~~~~~~~~~~~
.. autofunction:: conv1d
:hidden:`conv2d`
~~~~~~~~~~~~~~~~
.. autofunction:: conv2d
:hidden:`conv3d`
~~~~~~~~~~~~~~~~
.. autofunction:: conv3d
:hidden:`conv_transpose1d`
~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: conv_transpose1d
:hidden:`conv_transpose2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: conv_transpose2d
:hidden:`conv_transpose3d`
~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: conv_transpose3d
:hidden:`unfold`
~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: unfold
:hidden:`fold`
~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: fold
Pooling functions
----------------------------------
:hidden:`avg_pool1d`
~~~~~~~~~~~~~~~~~~~~
.. autofunction:: avg_pool1d
:hidden:`avg_pool2d`
~~~~~~~~~~~~~~~~~~~~
.. autofunction:: avg_pool2d
:hidden:`avg_pool3d`
~~~~~~~~~~~~~~~~~~~~
.. autofunction:: avg_pool3d
:hidden:`max_pool1d`
~~~~~~~~~~~~~~~~~~~~
.. autofunction:: max_pool1d
:hidden:`max_pool2d`
~~~~~~~~~~~~~~~~~~~~
.. autofunction:: max_pool2d
:hidden:`max_pool3d`
~~~~~~~~~~~~~~~~~~~~
.. autofunction:: max_pool3d
:hidden:`max_unpool1d`
~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: max_unpool1d
:hidden:`max_unpool2d`
~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: max_unpool2d
:hidden:`max_unpool3d`
~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: max_unpool3d
:hidden:`lp_pool1d`
~~~~~~~~~~~~~~~~~~~
.. autofunction:: lp_pool1d
:hidden:`lp_pool2d`
~~~~~~~~~~~~~~~~~~~
.. autofunction:: lp_pool2d
:hidden:`adaptive_max_pool1d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: adaptive_max_pool1d
:hidden:`adaptive_max_pool2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: adaptive_max_pool2d
:hidden:`adaptive_max_pool3d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: adaptive_max_pool3d
:hidden:`adaptive_avg_pool1d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: adaptive_avg_pool1d
:hidden:`adaptive_avg_pool2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: adaptive_avg_pool2d
:hidden:`adaptive_avg_pool3d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: adaptive_avg_pool3d
Non-linear activation functions
-------------------------------
:hidden:`threshold`
~~~~~~~~~~~~~~~~~~~
.. autofunction:: threshold
.. autofunction:: threshold_
:hidden:`relu`
~~~~~~~~~~~~~~
.. autofunction:: relu
.. autofunction:: relu_
:hidden:`hardtanh`
~~~~~~~~~~~~~~~~~~
.. autofunction:: hardtanh
.. autofunction:: hardtanh_
:hidden:`relu6`
~~~~~~~~~~~~~~~
.. autofunction:: relu6
:hidden:`elu`
~~~~~~~~~~~~~
.. autofunction:: elu
.. autofunction:: elu_
:hidden:`selu`
~~~~~~~~~~~~~~
.. autofunction:: selu
:hidden:`celu`
~~~~~~~~~~~~~~
.. autofunction:: celu
:hidden:`leaky_relu`
~~~~~~~~~~~~~~~~~~~~
.. autofunction:: leaky_relu
.. autofunction:: leaky_relu_
:hidden:`prelu`
~~~~~~~~~~~~~~~
.. autofunction:: prelu
:hidden:`rrelu`
~~~~~~~~~~~~~~~
.. autofunction:: rrelu
.. autofunction:: rrelu_
:hidden:`glu`
~~~~~~~~~~~~~~~
.. autofunction:: glu
:hidden:`logsigmoid`
~~~~~~~~~~~~~~~~~~~~
.. autofunction:: logsigmoid
:hidden:`hardshrink`
~~~~~~~~~~~~~~~~~~~~
.. autofunction:: hardshrink
:hidden:`tanhshrink`
~~~~~~~~~~~~~~~~~~~~
.. autofunction:: tanhshrink
:hidden:`softsign`
~~~~~~~~~~~~~~~~~~
.. autofunction:: softsign
:hidden:`softplus`
~~~~~~~~~~~~~~~~~~
.. autofunction:: softplus
:hidden:`softmin`
~~~~~~~~~~~~~~~~~
.. autofunction:: softmin
:hidden:`softmax`
~~~~~~~~~~~~~~~~~
.. autofunction:: softmax
:hidden:`softshrink`
~~~~~~~~~~~~~~~~~~~~
.. autofunction:: softshrink
:hidden:`gumbel_softmax`
~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: gumbel_softmax
:hidden:`log_softmax`
~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: log_softmax
:hidden:`tanh`
~~~~~~~~~~~~~~
.. autofunction:: tanh
:hidden:`sigmoid`
~~~~~~~~~~~~~~~~~
.. autofunction:: sigmoid
Normalization functions
-----------------------
:hidden:`batch_norm`
~~~~~~~~~~~~~~~~~~~~
.. autofunction:: batch_norm
:hidden:`instance_norm`
~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: instance_norm
:hidden:`layer_norm`
~~~~~~~~~~~~~~~~~~~~
.. autofunction:: layer_norm
:hidden:`local_response_norm`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: local_response_norm
:hidden:`normalize`
~~~~~~~~~~~~~~~~~~~~
.. autofunction:: normalize
Linear functions
----------------
:hidden:`linear`
~~~~~~~~~~~~~~~~
.. autofunction:: linear
:hidden:`bilinear`
~~~~~~~~~~~~~~~~~~
.. autofunction:: bilinear
Dropout functions
-----------------
:hidden:`dropout`
~~~~~~~~~~~~~~~~~
.. autofunction:: dropout
:hidden:`alpha_dropout`
~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: alpha_dropout
:hidden:`dropout2d`
~~~~~~~~~~~~~~~~~~~
.. autofunction:: dropout2d
:hidden:`dropout3d`
~~~~~~~~~~~~~~~~~~~
.. autofunction:: dropout3d
Sparse functions
----------------------------------
:hidden:`embedding`
~~~~~~~~~~~~~~~~~~~
.. autofunction:: embedding
:hidden:`embedding_bag`
~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: embedding_bag
Distance functions
----------------------------------
:hidden:`pairwise_distance`
~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: pairwise_distance
:hidden:`cosine_similarity`
~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: cosine_similarity
Loss functions
--------------
:hidden:`binary_cross_entropy`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: binary_cross_entropy
:hidden:`binary_cross_entropy_with_logits`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: binary_cross_entropy_with_logits
:hidden:`poisson_nll_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: poisson_nll_loss
:hidden:`cosine_embedding_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: cosine_embedding_loss
:hidden:`cross_entropy`
~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: cross_entropy
:hidden:`ctc_loss`
~~~~~~~~~~~~~~~~~~
.. autofunction:: ctc_loss
:hidden:`hinge_embedding_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: hinge_embedding_loss
:hidden:`kl_div`
~~~~~~~~~~~~~~~~
.. autofunction:: kl_div
:hidden:`l1_loss`
~~~~~~~~~~~~~~~~~
.. autofunction:: l1_loss
:hidden:`mse_loss`
~~~~~~~~~~~~~~~~~~
.. autofunction:: mse_loss
:hidden:`margin_ranking_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: margin_ranking_loss
:hidden:`multilabel_margin_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: multilabel_margin_loss
:hidden:`multilabel_soft_margin_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: multilabel_soft_margin_loss
:hidden:`multi_margin_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: multi_margin_loss
:hidden:`nll_loss`
~~~~~~~~~~~~~~~~~~
.. autofunction:: nll_loss
:hidden:`smooth_l1_loss`
~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: smooth_l1_loss
:hidden:`soft_margin_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: soft_margin_loss
:hidden:`triplet_margin_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: triplet_margin_loss
Vision functions
----------------
:hidden:`pixel_shuffle`
~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: pixel_shuffle
:hidden:`pad`
~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: pad
:hidden:`interpolate`
~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: interpolate
:hidden:`upsample`
~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: upsample
:hidden:`upsample_nearest`
~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: upsample_nearest
:hidden:`upsample_bilinear`
~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: upsample_bilinear
:hidden:`grid_sample`
~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: grid_sample
:hidden:`affine_grid`
~~~~~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: affine_grid
DataParallel functions (multi-GPU, distributed)
-----------------------------------------------
:hidden:`data_parallel`
~~~~~~~~~~~~~~~~~~~~~~~
.. autofunction:: torch.nn.parallel.data_parallel
torch.nn.init
=============
.. currentmodule:: torch.nn.init
.. autofunction:: calculate_gain
.. autofunction:: uniform_
.. autofunction:: normal_
.. autofunction:: constant_
.. autofunction:: eye_
.. autofunction:: dirac_
.. autofunction:: xavier_uniform_
.. autofunction:: xavier_normal_
.. autofunction:: kaiming_uniform_
.. autofunction:: kaiming_normal_
.. autofunction:: orthogonal_
.. autofunction:: sparse_