recs_searcher package

Subpackages

• recs_searcher.api package
  • Submodules
  • recs_searcher.api.api module
    • Pipeline
      • Pipeline.__clear_dataset()
      • Pipeline.__create_searcher()
      • Pipeline.__fit_transform()
      • Pipeline.__verbose()
      • Pipeline.change_explainer()
      • Pipeline.change_searcher()
      • Pipeline.explain()
      • Pipeline.fine_tuning()
      • Pipeline.get_model()
      • Pipeline.get_preprocessing()
      • Pipeline.load()
      • Pipeline.save()
      • Pipeline.search()
      • Pipeline.validate()
    • load_pipeline()
  • Module contents
• recs_searcher.augmentation package
  • Submodules
  • recs_searcher.augmentation._actions module
  • recs_searcher.augmentation._base module
    • BaseAugmentation
      • BaseAugmentation.__augs_count()
      • BaseAugmentation.__get_random_idx()
      • BaseAugmentation._abc_impl
      • BaseAugmentation._aug_indexing()
      • BaseAugmentation._transform()
  • recs_searcher.augmentation._char_aug module
    • CharAugmentation
      • CharAugmentation.__delete()
      • CharAugmentation.__insert()
      • CharAugmentation.__multiply()
      • CharAugmentation._abc_impl
      • CharAugmentation._transform()
      • CharAugmentation.actions_list
  • recs_searcher.augmentation._word_aug module
    • WordAugmentation
      • WordAugmentation.__delete()
      • WordAugmentation.__split()
      • WordAugmentation._abc_impl
      • WordAugmentation._transform()
      • WordAugmentation.actions_list
  • Module contents
• recs_searcher.dataset package
  • Subpackages
    • recs_searcher.dataset.data package
      • Module contents
  • Submodules
  • recs_searcher.dataset._base module
    • SentenceTransformerDataset
  • recs_searcher.dataset._dataframes module
    • _load_csv_data()
    • load_address_krasnoyarsk()
    • load_city_russia()
    • load_company_russia()
    • load_exoplanes()
    • load_medical_supplies()
    • load_mobile_phones()
    • load_russian_dictionary()
    • load_video_games()
  • Module contents
• recs_searcher.embeddings package
  • Submodules
  • recs_searcher.embeddings._base module
    • CountVectorizerWrapperEmbedding
      • CountVectorizerWrapperEmbedding._abc_impl
      • CountVectorizerWrapperEmbedding.fit()
      • CountVectorizerWrapperEmbedding.transform()
    • EnsembleWrapperEmbedding
      • EnsembleWrapperEmbedding._abc_impl
      • EnsembleWrapperEmbedding.fit()
      • EnsembleWrapperEmbedding.transform()
    • SentenceTransformerWrapperEmbedding
      • SentenceTransformerWrapperEmbedding._abc_impl
      • SentenceTransformerWrapperEmbedding.fit()
      • SentenceTransformerWrapperEmbedding.transform()
  • Module contents
• recs_searcher.explain package
  • Submodules
  • recs_searcher.explain._base module
    • DistanceExplain
      • DistanceExplain.__define_distance()
      • DistanceExplain._abc_impl
      • DistanceExplain._explain()
  • Module contents
• recs_searcher.preprocessing package
  • Submodules
  • recs_searcher.preprocessing._base_clear module
    • RemoveEmoji
      • RemoveEmoji._abc_impl
      • RemoveEmoji._transform()
    • RemoveHTML
      • RemoveHTML._abc_impl
      • RemoveHTML._transform()
    • RemoveNumber
      • RemoveNumber._abc_impl
      • RemoveNumber._transform()
    • RemovePunct
      • RemovePunct._abc_impl
      • RemovePunct._transform()
    • RemoveURL
      • RemoveURL._abc_impl
      • RemoveURL._transform()
    • RemoveWhitespace
      • RemoveWhitespace._abc_impl
      • RemoveWhitespace._transform()
    • SpacyClear
      • SpacyClear._abc_impl
      • SpacyClear._transform()
    • TextLower
      • TextLower._abc_impl
      • TextLower._transform()
  • recs_searcher.preprocessing._base_normalize module
    • LemmatizeSpacy
      • LemmatizeSpacy._abc_impl
      • LemmatizeSpacy._transform()
    • RemoveStopwordsSpacy
      • RemoveStopwordsSpacy._abc_impl
      • RemoveStopwordsSpacy._transform()
  • Module contents
• recs_searcher.similarity_search package
  • Submodules
  • recs_searcher.similarity_search._base module
    • ChromaDBSearch
      • ChromaDBSearch._MAX_BATCH_CHROMA_DB
      • ChromaDBSearch._abc_impl
      • ChromaDBSearch._search()
    • FaissSearch
      • FaissSearch._abc_impl
      • FaissSearch._search()
    • NearestNeighborsSearch
      • NearestNeighborsSearch._abc_impl
      • NearestNeighborsSearch._search()
    • TheFuzzSearch
      • TheFuzzSearch._abc_impl
      • TheFuzzSearch._search()
  • recs_searcher.similarity_search._validate module
    • Validate
  • Module contents
• recs_searcher.utils package
  • Submodules
  • recs_searcher.utils._concat_embeddings module
    • concat_embeddings()
  • recs_searcher.utils._create_date_name module
    • create_date_name()
  • recs_searcher.utils._distances module
    • cosine_distance()
    • euclidean_distance()
  • Module contents

Submodules

recs_searcher.base module

Базовые классы модуля.

class recs_searcher.base.BaseEmbedding

Базовые классы: ABC

Абстрактный класс для эмбеддингов.

_abc_impl = <_abc._abc_data object>

abstract fit(array: Iterable[str]) → object

Обучение vectorizer.

Параметры

arrayIterable[str]

Массив с текстом, на котором обучается vectorizer.

Returns

self

fit_transform(array: Iterable[str]) → ndarray

Обучение vectorizer и трансформация текста. Выполняет методы fit() и transform() текущего класса.

Параметры

arrayIterable[str]

Массив с текстом, на котором обучаемся и который нужно трансформировать в вектор чисел.

Returns

array: np.ndarray

Массив с закодированными словами в числа.

load(path_folder_load: str, filename: str) → None

Загрузка vectorizer из файла.

Параметры

path_folder_loadstr

Путь, где лежит файл.

filenamestr

Название файла для загрузки.

Returns

None

save(path_folder_save: str, filename: str) → None

Сохранение vectorizer в файл.

Параметры

path_folder_savestr

Путь сохранения файла.

filenamestr

Название файла для сохранения.

Returns

None

abstract transform(array: Iterable[str]) → ndarray

Обучение vectorizer.

Параметры

arrayIterable[str]

Массив с текстом, который нужно трансформировать в вектор чисел.

Returns

array: np.ndarray

Массив с закодированными словами в числа.

class recs_searcher.base.BaseEmbeddingSearch(model: BaseEmbedding, embedding_database, original_array: Iterable[str], metric: str, preprocessing: List[BaseTransformation] = [], clear_array: Iterable[str] | None = None)

Базовые классы: BaseSearch

Абстрактный класс для получения результатов поиска наиболее схожего текста из БД на основе эмбеддингов.

_abc_impl = <_abc._abc_data object>

abstract _search(array: ndarray, k: int) → Tuple[List[str], List[float]]

Поиск наиболее схожих k-векторов из БД на array пользователя.

Параметры

arraynp.ndarray

Пользовательский текст в виде эмбеддинга, которому нужно найти наиболее схожие вектора из БД.

kint

Кол-во выдаваемых результатов.

Returns

list_texts, list_similarity: Tuple[List[str], List[float]]

Вычисленные результаты. В списке list_texts хранится текст, который похож на текст пользователя. В списке list_similarity хранится схожесть пользовательского текста на текст

из бд в виде числа.

Все данные соотносятся по индексу в этих двух списках.

search(text: str, k: int, ascending: bool = False) → DataFrame

Поиск наиболее схожих k-текстов из БД на text пользователя.

Параметры

textstr

Пользовательский текст, которому нужно найти наиболее схожий текст из БД.

kint

Кол-во выдаваемых результатов.

ascendingbool

Флаг сортировки полученных результатов. False - убывающая, True - возрастающая сортировка.

Returns

df: pd.DataFrame

Датафрейм с результатами. df.columns = [„text“, „similarity“]

class recs_searcher.base.BaseExplain(model: BaseEmbedding, preprocessing: List[BaseTransformation] = [])

Базовые классы: ABC

Абстрактный класс для интерпретации схожести двух текстовых данных.

_abc_impl = <_abc._abc_data object>

abstract _explain(clear_compared_text: str, clear_original_text: str, n_grams: int = 1, analyzer: Literal['word', 'char'] = 'word', sep: str | None = ' ') → Tuple[List[str], List[float], List[Tuple[int, int]]]

Поиск наиболее схожих N-грамм из clear_compared_text в clear_original_text.

Параметры

clear_compared_textstr

Пользовательский текст, в котором нужно найти n-граммы, похожие на clear_original_text.

clear_original_textstr

Текст, с которым сравнивается clear_compared_text.

n_gramsint

Длина N-грамм.

analyzer: Literal[„word“, „char“]

Считать схожесть текстов на основе N-грамм слов или символов.

sep: Optional[str]

Разделитель слов.

Returns

text_list: List[str]

Список N-грамм слов или символов.

similarity_list: List[float]

Список близости N-граммы к clear_original_text.

indeces_n_grams_list: List[Tuple[int, int]]

Список кортежей индексов старта и конца N-граммы из text_list.

_preprocessing_text(text: Iterable[str] | str, preprocessing: List[BaseTransformation]) → List[str] | str

Предобработка текста.

Параметры

textUnion[Iterable[str], str]

Необработанный текст.

preprocessingList[BaseTransformation]

Список алгоритмов для предобработка текста.

Returns

text: Union[List[str], str]

Обработанный текст.

_split_by_chars(clear_text: str, n_grams: int | None = 1, sep: str | None = ' ') → Tuple[List[str], List[Tuple[int, int]]]

Получение N-грамм символов.

Параметры

clear_textstr

Предобработанный текст.

n_gramsOptional[int]

Длина N-грамм.

sep: Optional[str]

Разделитель слов.

Returns

n_grams_list: List[str]

Список N-грамм символов.

indeces_n_grams_list: List[Tuple[int, int]]

Список кортежей индексов начала и конца N-граммы из n_grams_list.

_split_by_words(clear_text: str, n_grams: int | None = 1, sep: str | None = ' ') → Tuple[List[str], List[Tuple[int, int]]]

Получение N-грамм слов.

Параметры

clear_textstr

Предобработанный текст.

n_gramsOptional[int]

Длина N-грамм.

sep: Optional[str]

Разделитель слов.

Returns

n_grams_list: List[str]

Список N-грамм слов.

indeces_n_grams_list: List[Tuple[int, int]]

Список кортежей индексов начала и конца N-граммы из n_grams_list.

explain(compared_text: str, original_text: str, n_grams: Tuple[int, int] | int | None = 1, analyzer: Literal['word', 'char'] | None = 'word', sep: str | None = ' ', k: int | None = 10, ascending: bool | None = True) → Tuple[DataFrame, List[Tuple[int, int]]]

Поиск наиболее схожих N-грамм из compared_text в original_text.

Параметры

compared_textstr

Пользовательский текст, в котором нужно найти n-граммы, похожие на original_text.

original_textstr

Текст, с которым сравнивается compared_text.

n_gramsOptional[Union[Tuple[int, int], int]]

Длины N-грамм, которые будут оцениваться. Может приниматься либо одно число, либо список чисел.

analyzer: Optional[Literal[„word“, „char“]]

Считать схожесть текстов на основе N-грамм слов или символов.

sep: Optional[str]

Разделитель слов.

kOptional[int]

Кол-во выдаваемых результатов.

ascendingOptional[bool]

Флаг сортировки полученных результатов. False - убывающая, True - возрастающая сортировка.

Returns

df: pd.DataFrame

Датафрейм с результатами. df.columns = [„text“, „similarity“]

indeces_n_grams: List[Tuple[int, int]]

Список кортежей индексов старта и конца самых важных N-грамм из df.

class recs_searcher.base.BaseSearch(original_array: Iterable[str], preprocessing: List[BaseTransformation] = [], clear_array: Iterable[str] | None = None)

Базовые классы: ABC

Абстрактный класс для получения результатов поиска наиболее схожего текста из БД.

_abc_impl = <_abc._abc_data object>

_preprocessing_text(text: Iterable[str] | str, preprocessing: List[BaseTransformation]) → List[str] | str

Предобработка текста.

Параметры

textUnion[Iterable[str], str]

Необработанный текст.

preprocessingList[BaseTransformation]

Список алгоритмов для предобработка текста.

Returns

text: Union[List[str], str]

Обработанный текст.

abstract _search(clear_text: str, k: int) → Tuple[List[str], List[float]]

Поиск наиболее схожих текстов из БД на clear_text пользователя.

Параметры

clear_textstr

Пользовательский текст, которому нужно найти наиболее схожие тексты из БД.

kint

Кол-во выдаваемых результатов.

Returns

list_texts, list_similarity: Tuple[List[str], List[float]]

Вычисленные результаты. В списке list_texts хранится текст, который похож на текст пользователя. В списке list_similarity хранится схожесть пользовательского текста на текст

из бд в виде числа.

Все данные соотносятся по индексу в этих двух списках.

search(text: str, k: int, ascending: bool = False) → DataFrame

Поиск наиболее схожих k-текстов из БД на text пользователя.

Параметры

textstr

Пользовательский текст, которому нужно найти наиболее схожий текст из БД.

kint

Кол-во выдаваемых результатов.

ascendingbool

Флаг сортировки полученных результатов. False - убывающая, True - возрастающая сортировка.

Returns

df: pd.DataFrame

Датафрейм с результатами. df.columns = [„text“, „similarity“]

class recs_searcher.base.BaseTransformation(seed: int | None = None)

Базовые классы: ABC

Абстрактный класс для трансформаторов текста.

_abc_impl = <_abc._abc_data object>

abstract _transform(array: List[str]) → List[str]

Преобразование, применяемое к каждому текстовому элементу списка array.

Параметры

arrayList[str]

Список с текстом, который нужно преобразовать. Например, [„Hello! My nam3 is Harry :)“, „Понятно, а я Рон.“].

Returns

array: List[str]

Список с применёнными преобразованиями текста.

transform(array: Iterable[str]) → List[str]

Применение преобразования к массиву.

Параметры

arrayIterable[str]

Массив с текстом, который нужно преобразовать.

Returns

array: List[str]

Список с применёнными преобразованиями текста.

recs_searcher.base._preprocessing_text(text: Iterable[str] | str, preprocessing: List[BaseTransformation]) → List[str] | str

Предобработка текста.

Параметры

textUnion[Iterable[str], str]

Необработанный текст.

preprocessingList[BaseTransformation]

Список алгоритмов для предобработка текста.

Returns

text: Union[List[str], str]

Обработанный текст.

Module contents