Здравствуйте, сможете помочь с кодом для такой задачи:
Есть три txt файла на SSD диске
Файл Word1 - основной отсортированный список неповторяющихся слов (около 100млн строк) - 10гб
Файл Test1 - список слов которые надо проверить на совпадение с файлом Base1 (по 10 млн строк) - 1гб
Файл Check1 - построчный список слов совпавших при сравнении файлов Word1 и Test1
Смысл в том что б выявить дубляжи слов которые есть в Test1 при сравнении с основным словарем - Word1. И показать только эти дубляжи в файле Check1.
Я уже находил несколько реализаций, но все работает ужасно медленно, а надо что б не жрало память и был максимально быстрый поиск. На что то более серьезное у меня просто не хватит знаний Делфи.
Автоматизированый быстрый поиск
Здравствуйте, сможете помочь с кодом для такой задачи:
Есть три txt файла на SSD диске
Файл Word1 - основной отсортированный список неповторяющихся слов (около 100млн строк) - 10гб
Файл Test1 - список слов которые надо проверить на совпадение с файлом Base1 (по 10 млн строк) - 1гб
Файл Check1 - построчный список слов совпавших при сравнении файлов Word1 и Test1
Смысл в том что б выявить дубляжи слов которые есть в Test1 при сравнении с основным словарем - Word1. И показать только эти дубляжи в файле Check1.
Я уже находил несколько реализаций, но все работает ужасно медленно, а надо что б не жрало память и был максимально быстрый поиск. На что то более серьезное у меня просто не хватит знаний Делфи.