Выходы Hadoop и конвейерная запись

0 user2345694 [2014-03-13 08:57:00]

Несколько вопросов: 1. В чем разница между File_Bytes_Read и HDfs_bytes_read. 2. Когда клиент собирается записать файл hdfs, если во время передачи первого блока в первый Datanode, если он будет DN1, если DN1 не удастся, клиент все равно закончит писать или потерять его. Как работает узел имен на этом этапе? Спасибо S

hadoop


1 ответ


0 Aravind R. Yarram [2014-05-10 19:43:00]

Я могу ответить на вопрос 1

File_Bytes_Read: количество байтов, считанных локальной файловой системой. Предположим, что все входные данные карты поступают из HDFS, а затем в фазу карты она должна быть равна нулю. С другой стороны, входной файл редукторов - это данные на локальных дисках на стороне сбоку, которые извлекаются из карт на стороне карты. Следовательно, он обозначает общее количество байтов, считанных редукторами.

HDfs_bytes_read: Количество прочитанных байтов: обозначает байты, считанные с помощью HDFS при запуске задания. Эти данные включают не только содержимое исходного файла, но и метаданные о расколах.