mwptoolkit.data.utils

mwptoolkit.data.utils.create_dataloader(config)

Create dataloader according to config

Parameters

config (mwptoolkit.config.configuration.Config) – An instance object of Config, used to record parameter information.

Returns

Dataloader module

mwptoolkit.data.utils.create_dataset(config)

Create dataset according to config

Parameters

config (mwptoolkit.config.configuration.Config) – An instance object of Config, used to record parameter information.

Returns

Constructed dataset.

Return type

Dataset

mwptoolkit.data.utils.get_dataloader_module(config: mwptoolkit.config.configuration.Config) → Type[Union[mwptoolkit.data.dataloader.dataloader_multiencdec.DataLoaderMultiEncDec, mwptoolkit.data.dataloader.dataloader_ept.DataLoaderEPT, mwptoolkit.data.dataloader.dataloader_hms.DataLoaderHMS, mwptoolkit.data.dataloader.dataloader_gpt2.DataLoaderGPT2, mwptoolkit.data.dataloader.pretrain_dataloader.PretrainDataLoader, mwptoolkit.data.dataloader.single_equation_dataloader.SingleEquationDataLoader, mwptoolkit.data.dataloader.multi_equation_dataloader.MultiEquationDataLoader, mwptoolkit.data.dataloader.abstract_dataloader.AbstractDataLoader]]

Create dataloader according to config

Parameters

config (mwptoolkit.config.configuration.Config) – An instance object of Config, used to record parameter information.

Returns

Dataloader module

mwptoolkit.data.utils.get_dataset_module(config: mwptoolkit.config.configuration.Config) → Type[Union[mwptoolkit.data.dataset.dataset_multiencdec.DatasetMultiEncDec, mwptoolkit.data.dataset.dataset_ept.DatasetEPT, mwptoolkit.data.dataset.dataset_hms.DatasetHMS, mwptoolkit.data.dataset.dataset_gpt2.DatasetGPT2, mwptoolkit.data.dataset.pretrain_dataset.PretrainDataset, mwptoolkit.data.dataset.single_equation_dataset.SingleEquationDataset, mwptoolkit.data.dataset.multi_equation_dataset.MultiEquationDataset, mwptoolkit.data.dataset.abstract_dataset.AbstractDataset]]

return a dataset module according to config

Parameters

config – An instance object of Config, used to record parameter information.

Returns

dataset module