Выходы Hadoop и конвейерная запись
0 user2345694 [2014-03-13 08:57:00]
Несколько вопросов: 1. В чем разница между File_Bytes_Read и HDfs_bytes_read. 2. Когда клиент собирается записать файл hdfs, если во время передачи первого блока в первый Datanode, если он будет DN1, если DN1 не удастся, клиент все равно закончит писать или потерять его. Как работает узел имен на этом этапе? Спасибо S
hadoop
1 ответ
0 Aravind R. Yarram [2014-05-10 19:43:00]
Я могу ответить на вопрос 1
File_Bytes_Read: количество байтов, считанных локальной файловой системой. Предположим, что все входные данные карты поступают из HDFS, а затем в фазу карты она должна быть равна нулю. С другой стороны, входной файл редукторов - это данные на локальных дисках на стороне сбоку, которые извлекаются из карт на стороне карты. Следовательно, он обозначает общее количество байтов, считанных редукторами.
HDfs_bytes_read: Количество прочитанных байтов: обозначает байты, считанные с помощью HDFS при запуске задания. Эти данные включают не только содержимое исходного файла, но и метаданные о расколах.