Грани возможного

"""
Библиотеки:
Модуль xlwt - для создания и загрузки данных в xlc(xlsx) файл
Модуль os используется для поиска файла и отбору по дате изменения
Модуль time - для генерации имени

Переменные:
firstDir - хранит в себе путь к папке, где будет искаться первый файл
secondDir - хранит в себе путь к папке, где будет искаться второй файл
saveDir - хранит в себе путь к папке, где будет сохранена таблица
lastFile_1/2 - хранит в себе полный путь до файла
fileName - содержит в себе имя и расширение файла
saveFile - хранит в себе полный путь к месту сохранения
row_num - используется в цикле. Записывает номер строки, в которой был дубль

Списки:
date_arr - содержит строку о дате создания записи
metric_arr - вложенный список, хранит списки с значением метрик

Словари:
dict_miss_file1 - хранит в себе удаленные дубли, используются для восстановления
dict_miss_file2 - хранит в себе удаленные дубли, используются для восстановления
"""
import xlwt, os, time, datacollect as dc

# Указываем директорию файла #1 41кв
firstDir = r'\\192.168.1.41\pi\Share'
files = os.listdir(firstDir) # Получаем список всех файлов в папке №1
files = [os.path.join(firstDir, file) for file in files] # Объединяем путь и имя файла
files = [file for file in files if os.path.isfile(file)]
lastFile_1 = max(files, key=os.path.getctime) # Получаем последний созданный файл
print(f'Из первой директории выбран файл: {lastFile_1}')

# Указываем директорию файла #2 34кв
secondDir = r'\\192.168.1.34\pi\Share'
files = os.listdir(secondDir) # Получаем список всех файлов в папке №2
files = [os.path.join(secondDir, file) for file in files] # Объединяем путь и имя файла
files = [file for file in files if os.path.isfile(file)]
lastFile_2 = max(files, key=os.path.getctime)
print(f'Из второй директории выбран файл: {lastFile_2}')

# Указываем директорию для сохранения
saveDir = r'C:\Users\vlgru\OneDrive\Рабочий стол\Сбор результатов от Ильи\save_tb_34_41'
split_time = time.ctime().split(' ') # ['Wed', 'Feb', '', '3', '15:24:07', '2021']
fileName = 'metric_table_' + split_time[1] + '_' + split_time[0] + "_" + split_time[2] + "_" + split_time[3].replace(
':', '')
saveFile = f'{saveDir}/{fileName}.xls'
print(f'Файл будет сохранен в: {saveFile}')

# Создаем два массива. Один хранит дату создание, другой значения
date_arr = []
metrics_arr = []
# Открываем тестовый файл №1 и разделяем строки по массивам
with open(lastFile_1, 'r', encoding='utf-8') as f:
for text in f.read().splitlines():
if text and len(text) > 20: # Проверяем, что мы нашли не пустую строку
metrics_arr.append(text[33:].strip().split(' ')) # Отрезаем данные метрики и удаляем лишние пробелы
elif text and len(text) < 20:
date_arr.append(text)

dc.data_save(date_arr,metrics_arr,'34')
# Внимание. При Преобразовании в число, могу измениться значения
# for i in metrics_arr:
# for x in range(len(i)):
# i[x] = float(i[x])

# print(metrics_arr)



# Инициализируем создание таблицы
book = xlwt.Workbook()
sheet1 = book.add_sheet("file1") # Наименование таблицы №1
# sheet2 = book.add_sheet('file2',cell_overwrite_ok=True) # Наименование таблицы №2
sheet1.col(0).width = len(date_arr[0]) * 300 # Регулируем ширину столбца с индексом 0 у таблицы №1
sheet1.col(4).width = sheet1.col(0).width # Регулируем ширину столба с индексом 0 у таблицы №2

# Добавляем наименования колонкам таблицы №1
sheet1.write_merge(0, 0, 0, 3, 'Данные из квартиры 34')
sheet1.write_merge(0, 0, 4, 7, 'Данные из квартиры 41')
sheet1.write(1, 0, 'created_at')
sheet1.write(1, 1, 'magnit')
sheet1.write(1, 2, 'accel')
sheet1.write(1, 3, 'gyro')

# Добавляем наименования колонкам таблицы №2
sheet1.write(1, 4, 'created_at')
sheet1.write(1, 5, 'magnit')
sheet1.write(1, 6, 'accel')
sheet1.write(1, 7, 'gyro')

# Записываем дату создания из файла №1 в таблицу №1
for i in date_arr:
sheet1.write(date_arr.index(i) + 2, 0, i)

# Записываем данные метрик из файла №1 в таблицу №1
row_num = 0
dict_miss_file1 = {}
for i in metrics_arr:
row_num += 1
row = sheet1.row(metrics_arr.index(i) + 2)
for x in i:
col = i.index(x) + 1
try:
row.write(col, x)
except:
sheet1._cell_overwrite_ok = True
row.write(col, x)
sheet1._cell_overwrite_ok = False
dict_miss_file1[row_num] = i

# Восстановление данных
for key in dict_miss_file1:
row = sheet1.row(key + 1)
for value in dict_miss_file1[key]:
col = dict_miss_file1[key].index(value) + 1
sheet1._cell_overwrite_ok = True
row.write(col, value)
sheet1._cell_overwrite_ok = False

# Очищаем массивы от данных файла №1
date_arr.clear()
metrics_arr.clear()

# Открываем тестовый файл №2 и разделяем строки по массивам
with open(lastFile_2, 'r', encoding='utf-8') as f:
for text in f.read().splitlines():
if text and len(text) > 20:
metrics_arr.append(text[33:].strip().split(' '))
elif text and len(text) < 20:
date_arr.append(text)

dc.data_save(date_arr,metrics_arr,'41')
# Внимание. При Преобразовании в число, могу измениться значения
# for i in metrics_arr:
# for x in range(len(i)):
# i[x] = float(i[x])

# print(metrics_arr)

# Записываем дату создания из файла №2 в таблицу №2
for i in date_arr:
sheet1.write(date_arr.index(i) + 2, 4, i)

# Записываем данные метрик из файла №2 в таблицу №2
row_num = 0
dict_miss_file2 = {}
for i in metrics_arr:
row_num += 1
row = sheet1.row(metrics_arr.index(i) + 2)
for x in i:
col = i.index(x) + 5
try:
row.write(col, x)
except:
sheet1._cell_overwrite_ok = True
row.write(col, x)
sheet1._cell_overwrite_ok = False
dict_miss_file2[row_num] = i

# Восстановление данных
for key in dict_miss_file2:
row = sheet1.row(key + 1)
for value in dict_miss_file2[key]:
col = dict_miss_file2[key].index(value) + 5
sheet1._cell_overwrite_ok = True
row.write(col, value)
sheet1._cell_overwrite_ok = False

# Очищаем массивы от данных файла №2
date_arr.clear()
metrics_arr.clear()

book.save(saveFile)