Собираю каталоги поставщиков и товаров вручную, часто копирую с разных сайтов. Но потом всё это объединяется в один большой файл, и там просто куча дублей. Раньше тратил по часу, чтобы всё почистить. Теперь использую https://cpa.live/instrumenty/udalenie-dublikatov/ — вставил весь текст, нажал кнопку, и получил чистую выборку. Очень удобно, особенно когда работаешь с тысячами строк. Сейчас даже в команде внедрил этот инструмент — экономим время и нервы.