Сортировать миллионы текстовых файлов в папке, используя сортировку Unix
Заключение в кавычки официальных документов в https://docs.python.org/2.0/ref/strings.html :
Без обиняков: Строковые литералы могут быть включены в соответствие одинарным кавычкам (') или двойные кавычки (").
, Таким образом, нет никакого различия. Вместо этого люди скажут Вам выбирать, какой бы ни разрабатывают, который соответствует контексту, и быть последователен . И я согласился бы - добавляющий, что бессмысленно попытаться придумать "соглашения" для этого вида вещи, потому что Вы только закончите тем, что смутили любых вновь прибывших.
1 ответ
Проблема не имеет никакого отношения к затмению или Python. Вы поражаете предел ARG_MAX, поскольку больше деталей видит здесь , но кратко, это - предел того, каким количеством байтов список аргументов команде может быть.
Так, для предотвращения этого Вам нужно к sort способом, который не перечисляет файлы. Например:
for i in /home/viraj/NZ/NZParsed/*; do cat "$i" ; done |
sort -k1,1 -k3,3n -k4,4n -y 1048576 > /home/viraj/NZ/SplitIndex/abcd.txt
команда выше желания cat каждый файл и затем передают содержание всех файлов через Ваш sort команда. Тем путем файлы никогда не перечисляются, и Вы не будете иметь ARG_MAX проблема.
Другой подход должен был бы использовать находку -exec опция:
find /home/viraj/NZ/NZParsed/ -type f -name '[0-9]*.txt' -exec cat {} + |
sort -k1,1 -k3,3n -k4,4n -y 1048576 > /home/viraj/NZ/SplitIndex/abcd.txt
findкоманда. – Balazs F. 16.05.2020, 19:23*вfind. Попробуйте обновленным ответом. – Christian Bonato 16.05.2020, 19:24